ИИ-агент доводит до конца только каждую четвёртую задачу

Исследователи Alibaba и нескольких азиатских университетов собрали тест Co-Design Bench из настоящих запросов людей к ИИ-ассистенту. Получилось 273 задачи, отобранные из 26 314 реальных сессий работы (37 463 запроса после чистки повторов). Смысл простой: проверить не решение абстрактных головоломок, а обычную работу — «поправь дашборд по чеку», «повтори анимацию из видео», «переделай вёрстку».

Результат отрезвляет: лучшая из десяти моделей полностью выполнила все требования только в 26,4% задач.

Как считали

• К каждой задаче эксперты написали скрытые критерии приёмки — всего 2 331, примерно по восемь с половиной на задачу.
• Все десять моделей работали в одинаковой обвязке, с одинаковыми инструментами и подсказками — сравнивать честно.
• Проверяли не только исходный код, но и запущенное приложение: судья открывал его в браузере и смотрел, работает ли результат. Второй проверяющий оспаривал каждый положительный вердикт — так отсекают заглушки, заранее вписанные числа и кнопки, которые ни к чему не ведут.

Что получилось

Лучший результат у GPT-6 Astra: в среднем 69,9% критериев по задаче, но полностью сданных задач — 26,4%. Дальше: Opus 5.5 — 66,1% и 18,3%, китайская Qwen3.8-27B — 64,4% и 15,0%, Kimi K3 — 62,9% и 15,8%, GPT-5.6 Sol — 61,1% и 14,3%, Opus 4.8 — 58,1% и 10,3%, GLM-5.2 — 56,7% и 9,5%, Grok 4.6 — 51,1% и 6,6%.

Разрыв между «прошёл почти все критерии» и «работа принята» — 43 процентных пункта. В 73,6% задач осталось хотя бы одно невыполненное требование.

Почему цифры хуже, чем в старых тестах

Задачи отбирали специально из тех случаев, где у людей уже что-то ломалось: они переформулировали просьбу два-три раза или откатывали изменения. То есть в тест попала именно та работа, на которой агенты спотыкаются. Плюс задачи, где нужно сразу три-четыре вида правок (вёрстка, логика, данные), даются заметно хуже, чем одиночные.

Авторы честно называют ограничение: на каждую задачу дан один фиксированный запрос, уточнить или поправить по ходу нельзя. В живом диалоге человек подсказывает, и результат обычно лучше — но проверять всё равно нужно.

Почему это важно

Агент экономит время, но почти три четверти задач требуют доводки человеком. Если планируете отдать ему работу «под ключ», закладывайте время на проверку и правки. И смотрите не на красивые проценты в старых тестах, а на то, выполнены ли все требования целиком: сдать наполовину — обычное дело.

Источники: The Decoder, препринт Co-Design Bench.