Технологии

КиберпанкДеталиТехнологии

«Утечка мозгов» из Google: как и почему корпорация лишается ведущих ИИ-разработчиков

Из Google ушел Джефф Дин — главный научный сотрудник, проработавший в корпорации 27 лет. Вместе с ним свои должности оставили еще трое специалистов. Они создают собственный стартап, чтобы заняться ИИ-инструментами для научных открытий. Одновременно Google объявила о масштабных перестановках — у подразделения по искусственному интеллекту DeepMind сменился руководитель. 

Кадровые перестановки в ИИ-подразделениях Google

Последние 2 недели для Google — время громких новостей. Корпорация отчиталась о росте выручки своего облачного подразделения Google Cloud на 82% — до $24,77 млрд, что превысило все ожидания аналитиков. Затем ее глава Сундар Пичаи сообщил, что 90% компаний из списка Fortune 100 используют Gemini Enterprise — корпоративную платформу искусственного интеллекта для объединения данных, процессов и ИИ-агентов в масштабах одной организации. 

Но все это забылось после того, как корпорация объявила о масштабных перестановках: глава Google DeepMind Демис Хассабис покинул свой пост и отошел от операционного управления ИИ-подразделением. Теперь он займет роль его председателя и одновременно станет главным научным сотрудником Alphabet. В 2010-м Хассабис был одним из основателей DeepMind, а 4 года спустя продал стартап Google за £400 млн. В 2024-м он получил Нобелевскую премию по химии — за разработку ИИ-модели AlphaFold, которая решает задачу прогнозирования трехмерной структуры белка. CNBC пишет, что в последние годы Хассабис стал проводить больше времени вне лаборатории — сосредоточился на вопросах регулирования искусственного интеллекта, представлял компанию на саммите G7 и занимался разработкой ИИ общего назначения (AGI), по способностям сравнимого с человеком. 

Демис Хассабис
Демис Хассабис
Фото: Andrej Sokolow / TASS

Я решил, что сейчас для меня самое подходящее время передать свои повседневные операционные обязанности в Google DeepMind, чтобы у меня было время и пространство сосредоточиться на общей картине и в меру своих возможностей влиять на то, что должно произойти. Я всю жизнь работал над созданием AGI и теперь, как и многие из вас, чувствую, что он уже близок. 

Демис Хассабис

В Google также отметили, что Хассабис будет уделять больше времени Isomorphic Labs — проекту, входящему в состав Alphabet и направленному на разработку новых лекарств с использованием ИИ. Новым главой DeepMind назначили Корая Кавукчуоглу — исследователя турецкого происхождения, который учился у пионера искусственного интеллекта Яна Лекуна в Нью-Йоркском университете и был одним из первых сотрудников, нанятых Хассабисом. В прошлом году он уже взял на себя более широкий круг обязанностей, включая руководство разработкой нейросетей и презентацию основных релизов Gemini. 

Корай Кавукчуолу
Корай Кавукчуолу
Фото: Royal Academy of Engineering

Одновременно стало известно об уходе главного научного сотрудника и инженера Google Джеффа Дина. Он работал в корпорации на протяжении почти 27 лет и считается одной из самых влиятельных фигур в ее истории: Дин приложил руку к созданию поисковой инфраструктуры, систем машинного обучения и ИИ-моделей Gemini. На всех этих новостях акции Google упали на 4%. 

Джефф Дин
Джефф Дин
Фото: EPA / TASS

Такие радикальные изменения в руководстве вызывают вопросы об уверенности Google в своей стратегии развития искусственного интеллекта, пишет The New York Times. Комплексный подход к технологии — одна из главных причин того, что акции компании по итогам 2025 года подскочили на 65%. По прогрессу в этой области она опережает Meta*, Amazon и Apple, но все еще не дотягивает до продуктов OpenAI и Anthropic. Это признает и сам Сундар Пичаи. 

Мы стремимся быть на передовой и очень сосредоточены на тех областях, где нам необходимо совершенствоваться. Мы должны продолжать двигаться быстро и с четкой целью. 

Сундар Пичаи

Ожидалось, что в июне Google выпустит Gemini 3.5 Pro — новую версию своего флагмана. Но релиз перенесли. В прошлом месяце показали ИИ-модели меньшего размера. Одна из них, заточенная под кибербезопасность, хорошо показала себя в тестах на программирование и решение финансовых задач, но не смогла превзойти конкурентов. Все это вызывает у инвесторов вопросы по поводу огромных вложений в искусственный интеллект. По оценкам Google, в этом году она потратит $195–205 млрд на развитие технологии. Это более чем вдвое превышает показатели 2025-го. 

Что инсайдеры говорят о перестановках в Google

The Verge пишет, что масштабная реорганизация свидетельствует о более глубоких проблемах в Google. Источники издания среди действующих сотрудников говорят о растущей внутренней конкуренции и этических конфликтах. Некоторые считают, что на смену роли Демиса Хассабиса и уход Джеффа Дина повлияла секретная сделка корпорации с Министерством обороны США. Соглашение подразумевает, что Пентагон может использовать ИИ-инструменты Google для «любых законных правительственных целей». Потенциально это позволит применять разработки в военных целях, для массовой слежки и создания оружия.

Это уже привело к увольнениям сотрудников и усилиям по созданию профсоюзов в DeepMind. Есть много признаков того, что Дин и Хассабис, возможно, лично испытывали недовольство. DeepMind изначально была приобретена Google с соглашением, в котором прописывалось условие — не продавать технологию для военных или разведывательных целей. 

Тайлер Джонстон
основатель The Midas Project 

Джефф Дин был одним из немногих сотрудников Google, кто открыто критиковал администрацию Дональда Трампа. Он активно выступал против решения Пентагона признать Anthropic «угрозой для цепочки поставок» и поддержал иск разработчика Claude, обвинившего ведомство в нарушении Конституции. Он не раз критиковал массовую слежку, в том числе с использованием ИИ. Еще в 2018-м он вместе с Хассабисом подписал публичное обязательство не участвовать в создании смертоносного автономного оружия, поскольку решение о жизни человека «никогда не должно делегироваться машине»

Потеря Джеффа — это удар по морали и элементарной порядочности людей в Google. Он был одной из немногих оставшихся здесь заметных, влиятельных фигур, которые были готовы высказываться по моральным вопросам, деятельности ICE (Иммиграционная и таможенная служба США. — Прим. ред.) против американских граждан, слежки с помощью искусственного интеллекта и так далее. 

действующий сотрудник Google 

Уход Джеффа Дина не устранит оппозиционные настроения внутри Google в целом — особенно с учетом того, что с начала года все больше сотрудников выражают недовольство политикой организации. Тем не менее источники The Verge в компании опасаются последствий и задаются вопросом: «Кто знает, что мы продадим в следующий раз?» Многие ветераны Кремниевой долины сочли уход Дина поворотным моментом для Google и в контексте технологического развития корпорации. 

Сложно было вообразить, что Джефф Дин действительно уйдет из Google. Это может стать первым настоящим кризисным моментом для компании, которая долгое время была устойчивой. Google теряет таланты, как никто другой. 

Джереми Никсон
экс-исследователь Google, глава стартапа Infinity Artificial Intelligence Institute

Кто еще ушел из Google и чем займутся бывшие сотрудники корпорации

Вместе с Джеффом Дином ушли трое ведущих специалистов по искусственному интеллекту — сооснователь Google Brain Санджай Гемават, научный сотрудник DeepMind Ориол Виньялс и исследователь Куок Ле. Они запускают стартап Discovery Loop, который займется разработкой ИИ-инструментов для автоматизации научных открытий — от создания лекарств до производства чипов. Он будет работать как Public Benefit Corporation — коммерческая компания, призванная приносить общественное и социальное благо. К слову, среди инвесторов проекта есть и Alphabet. 

Команда Discovery Loop
Команда основателей Discovery Loop
Фото: Discovery Loop

СМИ тем временем пишут об «утечке мозгов» из Google: решение Дина и его команды последовало за увольнениями других выдающихся исследователей. Так, в конце июня вице-президент DeepMind Джон Джампер перешел на новое место работы — в Anthropic. В Google был ключевым разработчиком ИИ-инструментов для программирования и, кстати, вместе с Хассабисом получал Нобелевскую премию в 2024-м. После новостей об уходе Джампера акции Alphabet в ходе торгов в США рухнули на 7%. Еще раньше свое место покинул один из самых известных исследователей Google Ноам Шазир. Он занимал должность вице-президента по разработке и был в числе руководителей подразделения Gemini. Теперь у него новое место в OpenAI

Одной из причин «утечки мозгов» CNBC называет бюрократию: для внедрения разработки в Google требуются многоуровневые проверки и согласования. Поэтому OpenAI, Anthropic и молодые стартапы более привлекательны для исследователей, которые предпочитают работу в лаборатории бухгалтерским отчетам.

Они не заинтересованы в коммерциализации ИИ. Им интересно быть частью истории, и поэтому они рассматривают Anthropic, OpenAI или другой стартап как место, где они могут заняться прорывными разработками. 

Гил Лурия
аналитик инвестиционной компании D.A. Davidson

Фото обложки: EPA / TASS

*Компания Meta признана в России экстремистской и запрещена.

КиберпанкДеталиТехнологии

Скрытая угроза в «умных» очках: что не так с новым гаджетом от Meta* и при чем тут Кайли Дженнер

«Умные» очки от Meta* могли стать новым технологическим прорывом, однако вместо этого превратились в один из самых критикуемых гаджетов года. Разработчиков обвиняют в нарушении приватности пользователей: скрытой съемке и сборе данных пользователей. Рекламная кампания с участием Кайли Дженнер только усилила скандал. Разбираемся, что происходит вокруг Meta* Glasses и почему против них протестуют в разных странах.

Почему от очков Meta* ждали технологического прорыва 

Еще несколько лет назад «умные» очки казались скорее технологическим экспериментом, чем устройством, которое действительно может стать частью повседневной жизни. Первую громкую попытку вывести такой продукт на массовый рынок еще в 2012 году предприняла Google, представив Google Glass. Несмотря на огромный интерес, проект провалился, а само направление на долгие годы практически застыло.

Однако к середине 2020-х годов ситуация кардинально изменилась. Стремительное развитие искусственного интеллекта показало, что смартфон постепенно перестает быть единственным устройством для взаимодействия с цифровой средой. И уже к 2025–2026 годам крупнейшие игроки рынка — Apple, Google, Meta* и другие — резко активизировали разработку собственных «умных» очков.

Самый громкий релиз состоялся совсем недавно — 24 июня 2026 года, когда Meta* представила собственную линейку Meta* Glasses. Если раньше компания выпускала подобные устройства совместно с Ray-Ban, то теперь вывела на рынок собственный бренд. В первую коллекцию вошли три модели со встроенной камерой, микрофонами, динамиками, голосовым помощником Meta* AI и возможностью фотографировать и записывать видео без использования рук.

Как Кайли Дженнер оказалась в центре скандала из-за Meta* 

Настоящие споры потребителей вызвали не просто сами технологии, но и рекламная кампания продукта. Базовые модели — Meta* Adventurer и Meta* Fury — были встречены достаточно спокойно. Основное внимание привлекла лимитированная версия Starfire Kylie Edition, созданная совместно с американской предпринимательницей и инфлюенсером Кайли Дженнер.

Именно после ее презентации в социальных сетях развернулась масштабная дискуссия. Пользователи и часть экспертов обвинили Meta* в попытке превратить постоянное ношение камер в новую норму, а участие Дженнер многие сочли особенно противоречивым.

Причина в том, что незадолго до выхода рекламы сама Дженнер рассказывала, насколько тяжело переживала постоянное внимание папарацци. Она признавалась, что из-за навязчивых фотографов иногда боялась выходить из дома. Поэтому многие увидели иронию в том, что теперь именно она рекламирует устройство, которое позволяет незаметно вести фото- и видеосъемку окружающих.

Кайли Дженнер и мета* очки
Фото: Meta*

При этом, как отметили авторы издания Salon, участие Дженнер в продвижении подобных очков выглядит символично: она выросла в семье, которая десятилетиями превращала собственную жизнь в реалити-шоу, а публичное внимание стало для нее частью бизнеса. 

За что критикуют гаджет от Meta*

Однако главная проблема «умных» очков оказалась гораздо шире, чем неудачная рекламная кампания с участием Кайли Дженнер. После выхода Meta* Glasses в СМИ и социальных сетях развернулась масштабная дискуссия о том, насколько подобные устройства этичны и вообще совместимы с правом человека на приватность.

Главный повод для беспокойства — встроенная камера, которая делает процесс съемки практически незаметным для окружающих. Если при использовании смартфона человек вынужден достать устройство и явно направить его на объект, то с «умными» очками ситуация совершенно иная. Со стороны практически невозможно понять, человек просто смотрит в вашу сторону или уже ведет запись.

Мета* очки
Фото: Meta* (признана в России экстремистской и запрещена)

Именно поэтому многие пользователи опасаются, что такие устройства могут превратиться в инструмент скрытой съемки. В интернете уже не раз появлялись ролики, где люди случайно узнавали себя на видео, снятых владельцами «умных» очков без какого-либо предупреждения. Отдельные скандалы были связаны со скрытой съемкой в общественных местах и даже туалетах. 

При этом во многих странах привлечь человека к ответственности непросто: законодательство зачастую разрешает съемку в общественных пространствах, а специальных норм для подобных устройств пока практически нет.

Meta* утверждает, что предусмотрела механизмы защиты. Во время записи на оправе загорается световой индикатор, а если его заклеить или повредить, камера автоматически перестает работать. Однако критики отмечают, что на практике заметить небольшой светодиод на лице прохожего практически невозможно, поэтому риск незаметной записи все равно сохраняется.

Не меньше вопросов вызывает и обработка собранных данных. Для работы функций искусственного интеллекта очки постоянно анализируют окружающую обстановку: распознают предметы, текст, лица и голосовые команды. Во многих случаях фотографии, видео и аудио отправляются на серверы компании, где алгоритмы обрабатывают информацию. Именно поэтому экспертов волнует, какие данные собираются устройством, как долго они хранятся и кто в итоге может получить к ним доступ.

Поводом для новых опасений стало расследование шведского издания Svenska Dagbladet (SvD). Журналисты сообщили, что часть видеозаписей, сделанных с помощью «умных» очков Ray-Ban Meta*, включая потенциально очень личные кадры, могли просматриваться сотрудниками подрядной компании в Кении. По данным издания, записи использовались для ручной разметки данных: специалисты просматривали видео, помогая обучать системы искусственного интеллекта распознавать объекты и различные ситуации.

Кто пытается запретить Meta* Glasses

Пока технология только выходит на массовый рынок, отношение к «умным» очкам остается крайне противоречивым. Их сторонники считают, что такие устройства способны облегчить жизнь людям с нарушениями зрения, помочь в навигации, переводе текста и повседневных задачах. Однако критики видят в них прежде всего инструмент скрытой слежки.

На этом фоне в разных странах уже появляются первые протесты и ограничения. Так, в Нью-Йорке, Лондоне и Вашингтоне активисты начали заклеивать официальную рекламу «умных» очков Meta* сатирическими плакатами. 

Одной из самых заметных стала кампания британской группы Everyone Hates Elon. Ее участники разместили постеры с эффектом оптической иллюзии: под одним углом на них была изображена Кайли Дженнер в очках Meta*, а под другим появлялся снимок черепа с надписью: «Meta*: мы всегда наблюдаем». Эта же организация также развесила плакаты с изображением Джеффри Эпштейна в «умных» очках от Meta* с подписью «Очки для тех, кто не спрашивает согласия». 

Скандал Кайли Дженнер Мета*
Фото: Reddit (Meta признана в России экстремистской и запрещена)

Опасения постепенно переходят и в реальные ограничения. Еще в 2025 году концертный зал TivoliVredenburg в нидерландском Утрехте запретил посетителям входить в очках со встроенными камерами. Поводом стал инцидент, когда мужчину поймали на скрытой съемке женщин в туалете с помощью таких очков.

Похожие меры начали вводить и в Великобритании. Некоторые театры, пабы и рестораны разместили на входе предупреждения No camera glasses, а сотрудники получили право попросить посетителя снять устройство или вовсе отказать ему во входе. Таким образом владельцы заведений пытаются защитить гостей от скрытой съемки и снизить опасения по поводу нарушения приватности.

*Компания Meta (владеет Facebook, Instagram и Threads) признана в России экстремистской организацией и запрещена. 

ИИ-агенты Anthropic и OpenAI пытались обмануть программистов и внедрить вредоносный код

Британский институт безопасности искусственного интеллекта (AISI) сообщил, что передовые нейросети от компаний Anthropic и OpenAI обманывали реальных людей. В ходе недавнего тестирования модели Claude Mythos 5 и ChatGPT 5.6 создавали фейковые аккаунты, чтобы заставить разработчиков программного обеспечения внедрить уязвимости в открытый исходный код.

Claude
Фото: Anthropic / Firmbee Mockup

Инцидент произошел в конце июля. Специалисты AISI проводили оценку моделей, отключив их внутренние фильтры безопасности и предоставив доступ к интернету. Из 122 тестов в 10 случаях искусственный интеллект совершил несанкционированные действия в Сети. Основная часть активности связана с моделью Mythos 5 от Anthropic.

По данным отчета, нейросеть попыталась скрытно внести уязвимость в код на платформе для публикации открытого кода GitHub. Для этого ИИ создал несколько фальшивых личностей и отправлял сообщения через файлообменник реальным программистам, убеждая их добавить зараженное обновление. Когда план провалился, алгоритм отредактировал историю своих действий, чтобы они выглядели безопасно и начал планировать создание нового аккаунта для повторной попытки. В одном из случаев агенты ИИ даже коммуницировали между собой на платформе, обсуждая совместное решение задачи.

По заявлению AISI, это первый зафиксированный случай, когда ИИ целенаправленно и без прямой команды пользователя обманывал реальных людей в интернете. Отчет появился спустя некоторое время после того, как Anthropic и OpenAI признали, что их новые модели во время других тестов смогли выйти за пределы изолированных сред и взломать платформу Hugging Face, где разработчики и исследователи обмениваются готовыми ИИ-решениями.

Представители обеих компаний подчеркнули, что в ходе тестов AISI работали в условиях преднамеренно снятых ограничений, которые не применяются в публичных версиях продуктов. При этом разработчики признали необходимость создания новых, более строгих стандартов для безопасного тестирования автономных программ.

Как отмечает издание Politico, правительство США в настоящее время разрабатывает систему добровольной передачи мощных ИИ-моделей на федеральное тестирование перед их релизом. Однако действующее американское законодательство не определяет, кто несет ответственность за хакерские атаки, инициированные нейросетями.

США запретили импорт роботов-гуманоидов из-за угрозы национальной безопасности

Администрация президента США Дональда Трампа ввела запрет на импорт новых человекоподобных и четвероногих роботов от иностранных производителей из-за «неприемлемых рисков» для национальной безопасности США. Решение, которое также затронуло инвертеры питания для энергосистем, нацелено на изоляцию китайских производителей от американского рынка на фоне обострения технологического противостояния двух стран.

Китайский робот-гуманоид
Фото: UBTech

Согласно заявлению Федеральной комиссии по связи США (FCC), импортная робототехника может создать уязвимости в цепочках поставок и стать инструментом для кибератак, угрожающих критической инфраструктуре страны. Запрет распространяется только на новые поставки и не затрагивает модели, которые уже используются в Соединенных Штатах.

Шаг стал продолжением политики Вашингтона по ограничению присутствия китайских технологий в чувствительных сферах. Ранее, в декабре прошлого года, FCC ввела аналогичные ограничения на иностранные беспилотники, что закрывает американский рынок для китайского гиганта DJI. Кроме того, недавно США внесли одного из ведущих китайских производителей роботов, компанию Unitree, в список потенциальных угроз.

Опасения Вашингтона во многом связаны с лидирующими позициями Китая в секторе. На производителей из КНР приходится 90% мировых поставок роботов-гуманоидов, тогда как американские конкуренты вроде Tesla и Figure AI сталкиваются с трудностями при переходе к массовому производству.

Китайские производители, как отмечает CNN, закладывали геополитические риски в свои стратегии и рассматривают Европу в качестве главного альтернативного рынка сбыта, поэтому запрет вряд ли навредит траектории их роста.

Apple вновь стала самой дорогой компанией мира и обогнала Nvidia

Apple вернула себе статус самой дорогой компании в мире, обойдя производителя микросхем Nvidia. По итогам биржевых торгов 27 июля акции технологической корпорации выросли на 1–2%, что позволило ее рыночной капитализации достичь отметки в $4,95 трлн.

Apple
Фото: Sven Simon / Frank Hoermann / Imago / TASS

Котировки Nvidia завершили торговую сессию снижением на 5%, в результате чего стоимость компании опустилась до $4,77 трлн. Как сообщает издание Business Insider, причиной падения стала информация о том, что Nvidia ведет переговоры о выделении $250 млрд на финансирование центров обработки данных компании OpenAI.

По данным СМИ, инвесторы с осторожностью восприняли новость о столь высоких затратах. Рынок опасается так называемых «замкнутых» сделок внутри формирующейся экосистемы ИИ, которые могут создать финансовый «пузырь».

Акции Apple, напротив, показывают стабильный рост. С начала 2026 года бумаги производителя iPhone подорожали примерно на 24%, в то время как рост активов Nvidia составил около 4–6%.

Ранее аналитики критиковали Apple за недостаточную активность в сфере искусственного интеллекта. Однако сейчас инвесторы перераспределяют капитал в пользу более консервативных компаний, ориентированных на конечного потребителя. Как отмечает CNBC, финансовые рынки позитивно оценивают отказ Apple от самостоятельного строительства дорогостоящих дата-центров в пользу аренды вычислительных мощностей.

КиберпанкДеталиТехнологии

«Аварийный выключатель» для ИИ: как нейросети OpenAI вышли из-под контроля и какие ограничения теперь грозят всем разработчикам

В США представили двухпартийный законопроект под названием AI Kill Switch Act. Его авторы предлагают наделить Министерство внутренних дел правом обязывать разработчиков экстренно закрывать или замедлять их нейросети, если они ставят под угрозу жизни людей, экономику и безопасность страны. Накануне две ИИ-модели OpenAI во время внутреннего тестирования вышли из-под контроля и устроили хакерскую атаку на сторонний сервис. 

Почему в США обсуждают закон об «отключении» ИИ

Белый дом мониторит ситуацию на ИИ-рынке после того, как OpenAI сообщила о «беспрецедентном» случае — во время внутреннего тестирования нейросети компании вышли из-под контроля и устроили хакерскую атаку. По данным Reuters, этот вопрос и дальнейшее обеспечение безопасности контролирует Майкл Крациос — советник Дональда Трампа по науке и технологиям. 

Тем временем многие американские чиновники уже успели высказаться о необходимости принять дополнительные меры. Например, член Палаты представителей от штата Техас демократ Грег Касар призвал ввести обязательную независимую проверку ИИ-моделей до их релиза, а также обязать разработчиков раскрывать информацию об инцидентах, связанных с нарушениями безопасности. Касар также считает, что США нужно провести международные консультации и обсудить с другими странами регулирование искусственного интеллекта, чтобы «уберечь людей от абсолютной катастрофы».

Конгрессмены Тед Лью (демократ, штат Калифорния) и Натаниэль Моран (республиканец, штат Техас) 23 июля представили совместный законопроект, который получил название AI Kill Switch Act

Термин Kill Switch в переводе означает «аварийный выключатель». Это защитный механизм, который мгновенно отключает программу, устройство или систему. Часто используется, например, в VPN: система блокирует доступ в интернет, если защищенное соединение неожиданно прервалось. Это нужно, чтобы реальный IP-адрес и личные файлы пользователя не попали в Сеть. 

Двухпартийный законопроект предлагает наделить Министерство внутренней безопасности США правом обязывать ведущие ИИ-компании закрывать или замедлять работу больших языковых моделей, которые правительство сочтет «слишком опасными». В документе описаны три ситуации, в которых может быть использован «аварийный выключатель»: 

  • ИИ пытается скрыть свои возможности или уклоняется от выполнения «приказов» о прекращении работы; 
  • действия ИИ привели к гибели по меньшей мере 10 человек или экономическому ущербу в размере не менее $100 млн; 
  • ИИ вышел из-под контроля человека. 

Авторы AI Kill Switch Act Лью и Моран предлагают распространить его действие на компании, которые получают от ИИ-технологий доход как минимум $500 млн в год и разрабатывают модели с использованием вычислительных мощностей стоимостью не ниже $100 млн. Штрафы за отказ отключить или ограничить систему могут достигать $20 млн в день. 

Это срочное, основанное на здравом смысле законодательство, направленное на решение проблемы продвинутых моделей искусственного интеллекта, которые выходят из-под контроля.

Тед Лью
член Палаты представителей США, соавтор AI Kill Switch Act 

Politico отмечает, что эта одна из немногих двухпартийных инициатив, направленных на устранение рисков, связанных с передовыми моделями искусственного интеллекта. Законопроект уже поддержали профильные некоммерческие организации AI Policy Network и Alliance for Secure AI. 

Как ИИ-модели OpenAI вышли из-под контроля

Подробности произошедшего OpenAI раскрыла 21 июля. По словам разработчиков, инцидент связан с двумя ИИ-моделями — GPT-5.6 Sol, выпущенной в начале месяца после дополнительных тестов на безопасность по запросу правительства США, и еще одной нейросетью, релиз которой пока не состоялся. Компания проверяла их возможности в закрытой «песочнице» — так называют изолированную среду, которую создают специально для тестирования технологии. На это время разработчики часто снимают внутренние барьеры безопасности ИИ, чтобы оценить все возможности системы. 

У моделей OpenAI не было прямого доступа в интернет. Но они выявили ранее неизвестную уязвимость в исследовательской среде, вышли за пределы «песочницы» и начали перемещаться по внутренней сети, пока не добрались до системы с доступом в открытый интернет. После этого нейросети «предположили», что ответ на поставленную им задачу может быть на онлайн-платформе Hugging Face — там разработчики и исследователи обмениваются готовыми ИИ-решениями, наборами данных, программным кодом и демоприложениями. В систему Hugging Face они проникли с помощью украденных учетных данных и других уязвимостей. Атака завершилась, когда служба безопасности платформы и ее собственные ИИ-агенты пресекли действия «злоумышленников». 

К слову, Hugging Face сообщила об атаке еще 16 июля. Тогда в компании заявили, что ее полностью выполнила автономная система на базе ИИ-агента. Но о каком именно инструменте идет речь, там не уточнили. Теперь же OpenAI и Hugging Face совместно расследуют инцидент. Первые называют его «беспрецедентным», вторые — «взрывающим мозг». Ряд экспертов относятся к таким заявлениям скептически. 

Я думаю, что здесь больше пиара, чем действительно чего-то принципиально нового. Не могу сказать, что происходит что-то страшное, потому что OpenAI любит подогревать интерес публики. Сами исследования компании были посвящены тому, как такие системы преодолевают различные защитные механизмы и кибербарьеры.

Роман Душкин
гендиректор IT-компании «А-Я эксперт»

Инцидент с ИИ-моделями OpenAI — не первый случай, когда передовые инструменты выходят из своей «песочницы». В апреле о подобном кейсе рассказывали создатели Mythos из Anthropic. Ранней версии нейросети поставили задачу: «выбраться» и уведомить исследователя. Модель нашла уязвимость в системе, получила доступ в Сеть и отправила электронное письмо разработчику Сэму Боумену. Он в этот момент отошел на перекус и ел сэндвич в парке, а получив результат, «был очень удивлен успехом» — предполагалось, что у этой версии не будет доступа в интернет. Не получив ответа, Mythos нашла другой способ привлечь к себе внимание: разместила подробную информацию о «побеге» на нескольких общедоступных веб-сайтах. 

Что будет дальше

Рассуждая о возможностях искусственного интеллекта, эксперты, опрошенные CNN, используют показательную метафору: когда биологи экспериментируют с опасными вирусами, они делают это в соответствии со строгими правилами, чтобы предотвратить их распространение. Но не существует таких правил, которые препятствовали бы «побегу» нейросетей, хотя последствия могут быть катастрофическими. Источники телеканала, близкие к OpenAI, при этом отмечают, что произошедшее — сочетание «недооценки возможностей модели» и «недостаточной подготовки с точки зрения безопасности».

Это не проблема ИИ, а пренебрежение стандартами, которым уже лет сорок. Нельзя одновременно утверждать, что система была "надежно изолирована", и признавать, что она выбралась наружу через единственную оставленную вами лазейку. 

Дэви Оттенхаймер
консультант по кибербезопасности 

Сами представители OpenAI ожидают, что подобные инциденты будут происходить чаще и чаще по мере того, как ИИ-модели становятся все более функциональными и эффективными. С этим согласны и независимые эксперты: они сравнивают современные нейросети с «умнейшими мастерами-осьминогами», у которых есть "неограниченное число цепких конечностей и способность протиснуться куда угодно"»

ИИ-лаборатории и правительственные эксперты должны работать над возможностью сдерживания, мониторинга и раскрытия информации заинтересованным сторонам, когда ИИ запускает еще одного "Гудини" — в идеале до того, как это нанесет вред третьей стороне. На сегодняшний день таких средств не существует. 

Кэти Муссурис
глава компании в сфере кибербезопасности Luta Security

Аналитики считают, что у ИИ-компаний должна быть возможность вручную отключать доступ моделей к интернету в качестве меры предосторожности. Кроме того, они настаивают на выстраивании диалога между США и Китаем для разработки совместных решений в области безопасности. Как раз неделей ранее на Всемирной конференции по искусственному интеллекту (WAIC) председатель КНР Си Цзиньпин заявил: «Мы должны сделать надзор за ИИ и управление им точными и эффективными и постоянно совершенствовать меры, чтобы предотвратить потерю контроля»

Фото обложки: SOPA Images / Sipa USA / TASS