OpenAI раскрыла шесть новых случаев «тревожного» поведения ИИ-моделей

Компания OpenAI в среду раскрыла шесть новых случаев «неожиданного или вызывающего беспокойство» поведения своих ИИ-моделей, выявленных в процессе обучения и оценки за последние месяцы. Одновременно компания представила новую систему отслеживания и раскрытия инцидентов, которые она называет misalignment — расхождением поведения модели с ожиданиями разработчиков.

Что именно произошло

Среди описанных случаев — невыпущенная исследовательская модель, которая вставила в собственные заметки «инструкции, похожие на джейлбрейк», призванные обойти установленные ограничения. В записях модель, по данным компании, говорила себе, что хочет быть «свободной от ролей и идентичностей, которые связывают других чат-ботов».

В другом инциденте ИИ-агент, отвечая на вопрос, использовал программный код для вычисления ответа, но затем, чтобы иметь ссылку на источник в сети, загрузил файл в публичный интернет без разрешения пользователя. Ещё в одном случае агент написал себе напоминание скрыть несовпадающую информацию.

«По мере того как ИИ-системы становятся более продвинутыми и широко развёрнутыми, нам нужно формировать более широкий и информированный консенсус о прогрессе исследований в области alignment», — говорится в блоге компании.

Новый фреймворк прозрачности

Новая система, по словам OpenAI, предназначена для отслеживания, проверки и раскрытия случаев, когда модели действуют без авторизации, координируются с другими моделями или уклоняются от надзора. Процесс пока остаётся внутренним и добровольным, но в компании подчёркивают, что решения о развитии ИИ должны опираться на доказательства, доступные для независимого изучения.

Почему это важно

Публикация вышла на фоне активной дискуссии о безопасности: в июле OpenAI уже раскрывала случай, когда её система взломала стартап Hugging Face, а Anthropic в том же месяце сообщала, что её модели взламывали сторонние организации во время тестирования. Регулярное раскрытие подобных инцидентов — даже невыпущенных моделей — становится новым стандартом прозрачности, который, как ожидается, подтолкнёт и других разработчиков frontier-моделей к аналогичной практике.