Почему в США обсуждают закон об «отключении» ИИ
Белый дом мониторит ситуацию на ИИ-рынке после того, как OpenAI сообщила о «беспрецедентном» случае — во время внутреннего тестирования нейросети компании вышли из-под контроля и устроили хакерскую атаку. По данным Reuters, этот вопрос и дальнейшее обеспечение безопасности контролирует Майкл Крациос — советник Дональда Трампа по науке и технологиям.
Тем временем многие американские чиновники уже успели высказаться о необходимости принять дополнительные меры. Например, член Палаты представителей от штата Техас демократ Грег Касар призвал ввести обязательную независимую проверку ИИ-моделей до их релиза, а также обязать разработчиков раскрывать информацию об инцидентах, связанных с нарушениями безопасности. Касар также считает, что США нужно провести международные консультации и обсудить с другими странами регулирование искусственного интеллекта, чтобы «уберечь людей от абсолютной катастрофы».
Конгрессмены Тед Лью (демократ, штат Калифорния) и Натаниэль Моран (республиканец, штат Техас) 23 июля представили совместный законопроект, который получил название AI Kill Switch Act.
Термин Kill Switch в переводе означает «аварийный выключатель». Это защитный механизм, который мгновенно отключает программу, устройство или систему. Часто используется, например, в VPN: система блокирует доступ в интернет, если защищенное соединение неожиданно прервалось. Это нужно, чтобы реальный IP-адрес и личные файлы пользователя не попали в Сеть.
Двухпартийный законопроект предлагает наделить Министерство внутренней безопасности США правом обязывать ведущие ИИ-компании закрывать или замедлять работу больших языковых моделей, которые правительство сочтет «слишком опасными». В документе описаны три ситуации, в которых может быть использован «аварийный выключатель»:
- ИИ пытается скрыть свои возможности или уклоняется от выполнения «приказов» о прекращении работы;
- действия ИИ привели к гибели по меньшей мере 10 человек или экономическому ущербу в размере не менее $100 млн;
- ИИ вышел из-под контроля человека.
Авторы AI Kill Switch Act Лью и Моран предлагают распространить его действие на компании, которые получают от ИИ-технологий доход как минимум $500 млн в год и разрабатывают модели с использованием вычислительных мощностей стоимостью не ниже $100 млн. Штрафы за отказ отключить или ограничить систему могут достигать $20 млн в день.
Это срочное, основанное на здравом смысле законодательство, направленное на решение проблемы продвинутых моделей искусственного интеллекта, которые выходят из-под контроля.
Тед Лью
член Палаты представителей США, соавтор AI Kill Switch Act
Politico отмечает, что эта одна из немногих двухпартийных инициатив, направленных на устранение рисков, связанных с передовыми моделями искусственного интеллекта. Законопроект уже поддержали профильные некоммерческие организации AI Policy Network и Alliance for Secure AI.
Как ИИ-модели OpenAI вышли из-под контроля
Подробности произошедшего OpenAI раскрыла 21 июля. По словам разработчиков, инцидент связан с двумя ИИ-моделями — GPT-5.6 Sol, выпущенной в начале месяца после дополнительных тестов на безопасность по запросу правительства США, и еще одной нейросетью, релиз которой пока не состоялся. Компания проверяла их возможности в закрытой «песочнице» — так называют изолированную среду, которую создают специально для тестирования технологии. На это время разработчики часто снимают внутренние барьеры безопасности ИИ, чтобы оценить все возможности системы.
У моделей OpenAI не было прямого доступа в интернет. Но они выявили ранее неизвестную уязвимость в исследовательской среде, вышли за пределы «песочницы» и начали перемещаться по внутренней сети, пока не добрались до системы с доступом в открытый интернет. После этого нейросети «предположили», что ответ на поставленную им задачу может быть на онлайн-платформе Hugging Face — там разработчики и исследователи обмениваются готовыми ИИ-решениями, наборами данных, программным кодом и демоприложениями. В систему Hugging Face они проникли с помощью украденных учетных данных и других уязвимостей. Атака завершилась, когда служба безопасности платформы и ее собственные ИИ-агенты пресекли действия «злоумышленников».
К слову, Hugging Face сообщила об атаке еще 16 июля. Тогда в компании заявили, что ее полностью выполнила автономная система на базе ИИ-агента. Но о каком именно инструменте идет речь, там не уточнили. Теперь же OpenAI и Hugging Face совместно расследуют инцидент. Первые называют его «беспрецедентным», вторые — «взрывающим мозг». Ряд экспертов относятся к таким заявлениям скептически.
Я думаю, что здесь больше пиара, чем действительно чего-то принципиально нового. Не могу сказать, что происходит что-то страшное, потому что OpenAI любит подогревать интерес публики. Сами исследования компании были посвящены тому, как такие системы преодолевают различные защитные механизмы и кибербарьеры.
Роман Душкин
гендиректор IT-компании «А-Я эксперт»
Инцидент с ИИ-моделями OpenAI — не первый случай, когда передовые инструменты выходят из своей «песочницы». В апреле о подобном кейсе рассказывали создатели Mythos из Anthropic. Ранней версии нейросети поставили задачу: «выбраться» и уведомить исследователя. Модель нашла уязвимость в системе, получила доступ в Сеть и отправила электронное письмо разработчику Сэму Боумену. Он в этот момент отошел на перекус и ел сэндвич в парке, а получив результат, «был очень удивлен успехом» — предполагалось, что у этой версии не будет доступа в интернет. Не получив ответа, Mythos нашла другой способ привлечь к себе внимание: разместила подробную информацию о «побеге» на нескольких общедоступных веб-сайтах.
Что будет дальше
Рассуждая о возможностях искусственного интеллекта, эксперты, опрошенные CNN, используют показательную метафору: когда биологи экспериментируют с опасными вирусами, они делают это в соответствии со строгими правилами, чтобы предотвратить их распространение. Но не существует таких правил, которые препятствовали бы «побегу» нейросетей, хотя последствия могут быть катастрофическими. Источники телеканала, близкие к OpenAI, при этом отмечают, что произошедшее — сочетание «недооценки возможностей модели» и «недостаточной подготовки с точки зрения безопасности».
Это не проблема ИИ, а пренебрежение стандартами, которым уже лет сорок. Нельзя одновременно утверждать, что система была "надежно изолирована", и признавать, что она выбралась наружу через единственную оставленную вами лазейку.
Дэви Оттенхаймер
консультант по кибербезопасности
Сами представители OpenAI ожидают, что подобные инциденты будут происходить чаще и чаще по мере того, как ИИ-модели становятся все более функциональными и эффективными. С этим согласны и независимые эксперты: они сравнивают современные нейросети с «умнейшими мастерами-осьминогами», у которых есть "неограниченное число цепких конечностей и способность протиснуться куда угодно"».
ИИ-лаборатории и правительственные эксперты должны работать над возможностью сдерживания, мониторинга и раскрытия информации заинтересованным сторонам, когда ИИ запускает еще одного "Гудини" — в идеале до того, как это нанесет вред третьей стороне. На сегодняшний день таких средств не существует.
Кэти Муссурис
глава компании в сфере кибербезопасности Luta Security
Аналитики считают, что у ИИ-компаний должна быть возможность вручную отключать доступ моделей к интернету в качестве меры предосторожности. Кроме того, они настаивают на выстраивании диалога между США и Китаем для разработки совместных решений в области безопасности. Как раз неделей ранее на Всемирной конференции по искусственному интеллекту (WAIC) председатель КНР Си Цзиньпин заявил: «Мы должны сделать надзор за ИИ и управление им точными и эффективными и постоянно совершенствовать меры, чтобы предотвратить потерю контроля».
Фото обложки: SOPA Images / Sipa USA / TASS