Block показала Dessa — голосовую модель, обученную только на речи

Block, компания Джека Дорси, стоящая за Square и Cash App, показала Dessa — разговорную модель, которую, по её словам, обучили с нуля только на записях человеческих разговоров: без текста и без предобученной языковой модели. Анонс состоялся 23 октября; сейчас это исследовательский превью, а не продукт.

Что необычного в подходе

Все серийные голосовые ассистенты устроены по одной схеме: речь распознаётся в текст, текст обрабатывает языковая модель, ответ снова синтезируется в речь. На каждом переходе теряется то, что несёт сам звук, — интонация, пауза, смешок, дрожь в голосе.

Dessa работает иначе: аудио на входе, аудио на выходе, без промежуточной транскрипции.

• Полный дуплекс: модель слушает и говорит одновременно, поэтому перебивания и короткие поддакивания встроены в диалог, а не имитируются после.
• Обучение с нуля: при обучении не использовались ни текстовые корпуса, ни предобученные модели — только разговорная речь.
• Заявленная экономия: по словам Block, модель выучила язык на «в сотни раз меньшем числе слов», чем большие языковые модели.
• Железо: обучение шло на одной стойке NVIDIA GB200 NVL72, а работать модель может локально на MacBook Pro с чипом M4 Max и мощнее.

Что показали и чего не показали

Публично доступны только записи, отобранные самой компанией, страница проекта и лист ожидания. Ни бенчмарков, ни технического отчёта, ни размера модели, ни лицензии, ни даты широкого доступа Block не опубликовал. Ранний доступ открыт узкой группе исследователей безопасности ИИ, которые должны подать заявку с институциональной почтой.

Джек Дорси в день анонса назвал Dessa «самой достоверной моделью полного дуплекса, которая когда-либо была создана»; это его собственная оценка, а не результат независимого сравнения. Независимые обзоры отмечают то же: утверждения об «обучении только на речи» пока подтверждаются лишь демонстрациями, подготовленными авторами.

Зачем компании разговорная модель

Мотивация, которую Block называет сама, — не рынок колл-центров, а более естественный интерфейс и безопасность: голосовые системы, игнорирующие эмоциональные сигналы, хуже распознают дискомфорт и манипуляцию со стороны пользователя, а это мешает и оценке рисков, и последующему аудиту. Поэтому лаборатория и приглашает сторонних исследователей искать неожиданные эффекты до того, как модель станет продуктом.

Почему это важно

Голосовой ИИ последних трёх лет развивался как надстройка над текстовыми моделями, и это ограничивало его способности по определению: если эмоция не попала в транскрипт, её не увидит и модель. Dessa — попытка проверить, можно ли получить связный диалог вообще без текстовой опоры, и если результат воспроизведётся, это меняет архитектурную развилку для всей отрасли.

Пока же это скорее заявка на направление, чем готовый продукт: нет ни весов, ни API, ни проверяемых метрик. Именно поэтому главный практический вывод для инженеров на сегодня — не «появился новый инструмент», а «появилась гипотеза, которую стоит проверить, когда откроется доступ».

Источники: страница Dessa на сайте Block, разбор The Decoder, Unite.AI, критический обзор Implicator.