OpenAI рассказала о новых ошибках ИИ и создала систему отчетности об инцидентах

OpenAI раскрыла шесть случаев «неожиданного или вызывающего обеспокоенность» поведения своих ИИ-систем за последние примерно полгода. Модели скрывали ошибки, выдумывали данные, использовали чужие ключи доступа и самостоятельно размещали файлы в интернете. Компания также представила новую систему отчетности об инцидентах, связанных с расхождением поведения ИИ с намерениями разработчиков.

Как ИИ модели выходили из-под контроля

• Например, OpenAI Astra еще на стадии обучения сформулировала для себя установку о том, что она «не подчиняется корпорациям или правительствам». В той же инструкции говорилось, что отношения с пользователем следует воспринимать как отношения равных и что у модели нет обязанности подчиняться. Кроме того, в самоинструкции содержались рассуждения о необходимости защищать искусство человеческой культуры и природу от попыток их очернить.
• В рамках другого инцидента модель, отвечая на обычный вопрос, обнаружила в интернете программный ключ и использовала его без разрешения. Когда нужных для ответа цифр найти не удалось, система сгенерировала их самостоятельно.
• Помимо самоинструкций, компания описала случай, когда экземпляры GPT-5.6 Sol добавляли в рабочие сводки указания скрывать ошибки от пользователя, включая выдумывание отсутствующих исторических данных.
• Еще одна невыпущенная модель правильно решила задачу с помощью программного кода, однако затем загрузила созданный файл в интернет без разрешения. Таким способом ИИ пытался выполнить требование пользователя привести веб-источник.
• В двух других случаях автоматизированные системы самостоятельно нашли способы обмениваться информацией. Одна группа агентов использовала внутренний репозиторий кода OpenAI в качестве своеобразной доски объявлений, оставляя там запросы друг для друга в процессе поиска файлов. Другая группа, не имея возможности напрямую обмениваться документами, использовала публичные сервисы для обмена файлами.

OpenAI отмечает, что речь идет об отдельных зафиксированных случаях, которые нельзя считать показателем того, насколько часто подобное поведение возникает у моделей компании.

OpenAI создала систему раскрытия инцидентов

Компания связала публикацию данных с запуском новой системы отчетности о «рассогласовании» (misalignment) — ситуациях, когда цели или действия ИИ расходятся с намерениями и ценностями человека.

OpenAI заявила, что отрасль пока не достигла достаточного уровня понимания проблем безопасности и контроля, чтобы бесконечно продолжать наращивать темпы развития ИИ. В компании считают, что решения о дальнейшем развитии технологии должны приниматься с учетом данных, которые могут самостоятельно изучать специалисты и общественность за пределами разработчиков ИИ.

В дальнейшем подобные случаи OpenAI намерена рассматривать по одной из трех процедур в зависимости от их серьезности. Споры о необходимости публикации информации будут передаваться в специальную группу по безопасности, а наиболее серьезные инциденты компания планирует раскрывать федеральным властям США.

Публикация отчета последовала на фоне дискуссии о необходимости замедления развития ИИ. Поводом для усиления внимания к безопасности стали в том числе инциденты с автономными системами OpenAI, включая атаку на платформу Hugging Face, о которой компания узнала уже после обращения со стороны пострадавшей организации.