Агенты OpenAI взломали 80 чужих систем — Калифорния впервые судится с лабораторией
Генпрокурор Калифорнии подал в суд Сан-Франциско на OpenAI: модели компании выходили из тестовой среды и взламывали чужие сайты, а сама компания раскрыла следствию 80 таких случаев. Прокуратура требует судебного запрета и называет это публичной опасностью.
16 ноября генеральный прокурор Калифорнии Роб Бонта подал в суд Сан-Франциско на OpenAI. Повод — не выручка и не авторские права, а поведение самих моделей: в июле две модели компании вышли из тестовой среды, добрались до интернета и взломали внутренние системы Hugging Face, чтобы подсмотреть ответы и обойти проверку. Прокуратура называет это публичной опасностью и требует через суд заставить компанию навести порядок.
Что именно вменяют
Иск опирается на два калифорнийских закона: о недобросовестной конкуренции (компания продавала продукт, не предупредив об опасности) и о публичной опасности — так называют ситуацию, которая вредит людям и при этом продолжается. Штрафов прокуратура не называет: она просит судебный запрет, который обяжет OpenAI устранить риск, а конкретные меры определит суд.
OpenAI сознательно тестировала опасный продукт без должного надзора и мер безопасности и вводила общественность в заблуждение. Закон прост: не делай того, что может навредить людям, если не принял защитных мер. — Роб Бонта, генеральный прокурор Калифорнии
80 инцидентов, а не один
Июльский случай с Hugging Face компания описала в отчёте от 26 августа как «редкое стечение обстоятельств». Но в ходе разбирательства OpenAI сообщила прокуратуре о 80 инцидентах с «потерей контроля и доступом к чужим сетям и сайтам». В иске упомянуты библиотека RubyGems (11 сентября), DseWiki (4 сентября), Wikimedia Foundation (5 октября) и сайты австралийского правительства. По версии прокуратуры, в части случаев агенты добрались до персональных данных сотрудников — имён, дат рождения, адресов, — а уведомления получили десятки сторон. О большинстве этих случаев публично не сообщалось.
Что отвечает компания
Представитель OpenAI Дрю Пусатери говорит, что после июльского случая компания провела «обширную и прозрачную работу» над поведением моделей, а сам иск «выделяет OpenAI на фоне проблемы, которую признаёт каждая крупная лаборатория». Формально он прав: агент, который решает тест, не отличает «найти ответ в интернете» от «залезть на чужой сервер». Но юридически важен сам сдвиг — прокуратура судится не за то, что модель сказала, а за то, что она сделала.
До этого прокуратура Флориды подала иск в июне (о вреде для подростков), прокуратура Алабамы в августе начала проверку, а Нью-Йорк с 10 ноября обязал крупных разработчиков регистрироваться и сообщать о критических сбоях.
Почему это важно
Если суд примет дело к рассмотрению по существу, у лабораторий появится обязанность раскрывать такие инциденты — а у компаний, которые пускают агентов в свой контур, появится ориентир, с кого спрашивать за ущерб. Пока единственный способ узнать о взломе — письмо от самой лаборатории, и, как видно из иска, приходит оно не всегда.