Все вдруг заговорили о замедлении разработки ИИ. Что это значит?

Кто призывает к замедлению разработки ИИ и почему

Опасения по поводу рисков, связанных с развитием искусственного интеллекта, стали массовыми. Новый виток дискуссий на эту тему спровоцировало громкое увольнение сотрудника Anthropic Джейкоба Коксона: он заявил, что мир слишком быстро приближается к созданию систем, способных к самообучению, и обвинил компании, работающие с ИИ, в том, что они «рискуют жизнями» в погоне за передовыми технологиями. Его поддержали десятки других исследователей, а следом эссе под названием We Must Pace the Frontier («Мы должны контролировать темп развития передовых технологий») опубликовал глава Anthropic Дарио Амодеи.

За последние несколько месяцев я убедился, что полное устранение рисков требует еще большей осмотрительности — не просто инвестирования в предотвращение рисков. Мы должны замедлить темпы улучшения возможностей моделей искусственного интеллекта. Прогресс по-прежнему будет казаться быстрым, а мы разумно используем полученное время.

Дарио Амодеи

По мнению Амодеи, замедление развития ИИ необходимо по двум причинам: растущая способность технологии к самосовершенствованию и участившиеся случаи выхода систем из-под контроля — в частности, он упоминает июльский инцидент, когда группа агентов OpenAI, оставаясь незамеченной, взломала платформу Hugging Face. Генеральный директор Anthropic опасается, что через 6–12 месяцев «рой» таких агентов сможет «захватить весь интернет» и причинить ущерб «в сотни миллиардов долларов». Он предлагает три шага по регулированию индустрии: 

• внедрение в ИИ-компании сторонних экспертов, у которых будет доступ на уровне штатных сотрудников для оценки безопасности новых инструментов и информирования отрасли о потенциальных угрозах вроде выхода нейросетей из-под контроля (Anthropic пообещала реализовать эту меру даже «в одностороннем порядке», если инициатива не получит поддержки);
• объединение передовых ИИ-лабораторий для создания общих стандартов безопасности; 
• координация правительств для регулирования развития индустрии. 

Призыв Дарио Амодеи поддержали глава OpenAI Сэм Альтман и генеральный директор SpaceXAI Илон Маск. The Guardian называет это «редким проявлением единства» между конкурентами. 

Дарио прав. Я давно бил тревогу по поводу ИИ. Нам нужно быть очень осторожными с ИИ. Потенциально более опасным, чем ядерное оружие.

Илон Маск

Сэм Альтман отметил, что индустрии «нужно идти в ногу со временем». Он поддержал идею с привлечением независимых экспертов для оценки ИИ-систем и пообещал, что OpenAI «поступит так же». На вопрос журналистов о том, почему он, Дарио Амодеи, Илон Маск, руководители Meta* и Google до сих пор не сели за стол переговоров и не пришли к единому мнению о замедлении технологии, Альтман ответил: «Я думаю, что это произойдет». Более того, ссылаясь на опасения по поводу безопасности, он подтвердил: компания-разработчик ChatGPT в 2026 году не будет выходить на IPO. 

Я действительно думаю, что, учитывая все, что происходит в области безопасности, прямо сейчас было бы неразумно выходить на биржу. У всех нас огромный объем ответственности, и мы не можем позволить эго или стимулам для получения прибыли или чему-либо еще встать на пути. 

Сэм Альтман 

Комментируя эссе Дарио Амодеи, соучредитель и председатель Google Deep Mind Демис Хассабис заявил: детали и предложения «нуждаются в доработке», но «направление, в котором следует действовать в этот критический момент, — правильное». Глава Microsoft Сатья Наделла поддержал идею с независимыми аудиторами и сообщил, что корпорация собирается опубликовать собственный «кодекс поведения» для ИИ-моделей. 

Нам нужны более широкие усилия по разработке сдерживающих механизмов, позволяющих сделать больше, чем просто разговаривать. Ключевой момент — все это не может контролироваться горсткой организаций. 

Сатья Наделла

Тем временем американские законодатели все чаще призывают к введению новых правил для управления системами искусственного интеллекта. Так, сенаторы США предложили ввести постоянный запрет на разработку и запуск искусственного суперинтеллекта — системы, которая превзойдет человека, сможет решать глобальные проблемы и взаимодействовать с социумом. Спикер Палаты представителей Майк Джонсон видит решение в партнерстве между ИТ-гигантами и правительством и напомнил, что компании «несут корпоративную ответственность за обеспечение безопасности их продукции». А лидер меньшинства в Палате представителей Хаким Джеффрис заявил, что демократы соберутся на совещание утром 15 сентября, чтобы обсудить возможные меры в отношении ИИ. Но Bloomberg отмечает: маловероятно, что «сильно разделенный» Конгресс сможет прийти к консенсусу и принять существенный законопроект менее чем за два месяца до промежуточных выборов.

Кто против замедления развития ИИ и почему 

Ряд лидеров Кремниевой долины усомнились в мотивах Дарио Амодеи: они считают, что его опасения преувеличены, а предложение об объединении передовых ИИ-компаний для создания общих стандартов безопасности приведет к укреплению «олигополии» и «нарушению правил конкуренции». 

Должна ли горстка избранных, доминирующих на рынке ИИ-компаний из Кремниевой долины определять правила и стандарты безопасности технологий нового поколения для всего мира? Теперь они требуют нарушить правила конкуренции и разрешить им диктовать условия всем остальным. Волк в овечьей шкуре, картель под красивым именем. 

Эйдан Гомес
исполнительный директор ИИ-стартапа Cohere

Еще один повод для критики — пункт эссе о независимых экспертах: в качестве примера специалистов, которых можно привлечь к оценке способностей мощных нейросетей, Амодеи привел некоммерческие организации METR и Redwood Research, специализирующиеся на исследованиях в области искусственного интеллекта. Участники рынка, опрошенные The New York Times, говорят, что на самом деле у них «слишком много связей» с Anthropic. Лидеры индустрии и раньше обвиняли компанию в «корыстной» заботе о безопасности. Например, сооснователь и генеральный директор Nvidia Дженсен Хуанг уверен: ИИ-лаборатории делают на этом акцент, поскольку планируют выводить на рынок продукты по обеспечению кибербезопасности.

Что может быть лучше для спроса, чем создание проблемы? Кто не захочет, чтобы рынок бился в истерике по поводу их продукта и выстраивался за ним в длинную очередь?

Дженсен Хуанг

Президент США Дональд Трамп призывы руководителей Anthropic, OpenAI, SpaceXAI, Google и Microsoft отверг. 

Послушайте, мы опережаем Китай в сфере искусственного интеллекта. Мы самая развитая страна в мире, и, честно говоря, я хочу, чтобы так оно и оставалось, потому что тот, кто победит в гонке технологий искусственного интеллекта, — победит в целом.  Мы, конечно, можем установить ограничения. Но я думаю, что у есть просто много очень негативных сил, которые поднимают этот вопрос. 

Дональд Трамп 

Сопротивляться замедлению развития искусственного интеллекта будет и Уолл-стрит, считают обозреватели Bloomberg. В своем эссе Амодеи настаивает: снижением темпов не обязательно приведет к сокращению расходов ведущих компаний. Но любая пауза или задержка «нежелательна для инвесторов», которые делают ставку на то, что бум ИИ приведет к капитальным затратам в сотни миллиардов долларов, отмечает агентство. К слову, рынок на все предостережения отреагировал падением акций Samsung и SK Hynix на 4% и 6,35% соответственно. Акции японской корпорации SoftBank, владеющей долей в OpenAI, потеряли почти 11%. На этом фоне некоторые представители Уолл-стрит все же разделяют позицию о замедлении создания ИИ. 

К сожалению, история показывает, что до тех пор, пока ИИ не начнет убивать людей, мы ничего не будем предпринимать. Это произойдет, и было бы намного лучше, если бы мы начали разбираться с этим раньше. 

Грег Дженсен
директор по инвестициям Bridgewater Associates

Фото обложки: Omar:. Lopez-Rincon / Unsplash

*Компания Meta признана в России экстремистской и запрещена.