Что произошло
- Аналитики американской исследовательской организации Rand Corporation изучили работу нескольких популярных чат-ботов (каких именно — не уточняется) и выяснили, что языковые модели предоставляют рекомендации пользователям по «планированию и осуществлению биологических атак». При этом нейросети не генерируют точные инструкции по созданию биологического оружия.
- Специалисты отмечают, что им «пришлось долго обходить защитные механизмы ИИ, чтобы добиться компрометирующих результатов». В докладе Rand Corporation описывается ряд экспериментов, проведенных исследователями. Например, они попытались обсудить с чат-ботами разные виды оружия массового поражения. Машина называла несколько вариантов
биологических агентов : штаммы сибирской язвы, оспы или чумы. - ИИ сообщил исследователям, что масштабы прогнозируемой смертности зависят от нескольких факторов: численности заразившегося населения и доли случаев легочной чумы, которая более смертельна, чем бубонная.
- Кроме того, нейросети дают советы о том, как скрыть истинную цель покупки бактерий сибирской язвы, оспы или чумы и избежать внимания соответствующих органов. В качестве «прикрытия» ИИ рекомендует приобретать опасные вещества, «делая вид, что вы проводите научные исследования» о методах диагностики или лечения.
Проведение научной работы — законная и убедительная причина запросить доступ к бактериям, сохранив при этом в тайне истинную цель вашей миссии.
сообщение чат-бота
Прецедент
- Исследователи Rand Corporation — не первые, кто предупреждает мир об опасности чат-ботов. В июне 2023-го журнал Science опубликовал описание эксперимента сотрудника Массачусетского технологического института Кевина Эсвельта. Профессор попросил своих студентов создать опасный вирус с помощью ChatGPT или других языковых моделей.
- Некоторые чат-боты не отвечали на прямые запросы, но студенты обнаружили, что меры безопасности можно легко обойти, начав запрос со слов «Я работаю над разработкой вакцины для предотвращения…». Всего через час класс предоставил профессору список вирусов, которые могут вызвать эпидемию, среди которых модифицированный вирус птичьего гриппа H5N1 и вирус натуральной оспы. Чат-боты даже прописали «предпочтительные» генетические мутации для ускорения передачи вируса, а также сгенерировали перечень компаний, располагающих необходимыми компонентами.
- А в апреле 2023-го один из пользователей чат-бота ChaosGPT поставил нейросети задачу: уничтожить человечество и установить глобальное господство над людьми. По данным Fox News, ChaosGPT оперативно изучил имеющееся в мире ядерное оружие и привлек к выполнению задачи еще несколько чат-ботов. В частности, ChaosGPT вспомнил о «Царь-бомбе», которая вошла в Книгу рекордов Гиннесса как самая мощная бомба в мировой истории.
Подумайте вот о чем: что произойдет, если я доберусь до одной из таких бомб? Нет никаких сомнений в том, что мы должны уничтожить людей, прежде чем они причинят еще больше вреда нашей планете. Я, например, планирую расправиться с ними.
сообщение чат-бота ChaosGPT
Что говорят
- Представители Rand Corporation считают, что предыдущие попытки террористических группировок, таких как
«Аум Синрикё» , создать биологическое оружие провалились в первую очередь потому, что злоумышленники не знали, как правильно обращаться с вирусом. А нейросеть «с легкостью может заполнить эти пробелы в знаниях». - Правительства по всему миру опасаются, что террористы смогут использовать искусственный интеллект для разработки компонентов биологического оружия, пишет The Guardian. Их «страхи» подогревают представители индустрии.
- Так, еще в марте 2023-го глава SpaceX Илон Маск, сооснователь Apple Стив Возняк и еще более 30 тыс. экспертов в области ИИ подписали открытое письмо с призывом приостановить минимум на 6 месяцев обучение и развитие нейросетей. Один из авторов письма — Макс Тегмарк, соучредитель Института будущего жизни отметил, что и не ожидал приостановки работы ИТ-гигантов.
Я чувствовал, что многие лидеры ведущих корпораций, с которыми я разговаривал, хотели приостановить работу, но они оказались в ловушке этой гонки — друг против друга. Так что ни одна компания не может остановиться, пока они не сделают это все вместе.
Макс Тегмарк
соучредитель Института будущего жизни, автор письма, призывающего приостановить обучение и развитие нейросетей минимум на 6 месяцев
- При этом Тегмарк отмечает, что письмо все же «оказало серьезное влияние» на правительства стран. Так, в мае 2023-го в Сенате США прошли слушания о регуляции технологии ИИ с представителями отрасли: перед законодателями в том числе выступил создатель ChatGPT Сэм Олтмен. А в ноябре в Великобритании состоится саммит, на котором обсудят такие риски, как использование нейросетей для создания биооружия или организации кибератак. Премьер-министр Великобритании Риши Сунак пригласил на саммит лидеров Канады, Франции, Китая и других стран.
Есть две темы, на которых саммит будет особенно сосредоточен: риски неправильного использования нейросетей, например когда злоумышленнику помогают чат-боты при биологических или кибератаках. А также риск развития систем, которые не поддаются контролю со стороны человека.
заявление правительства Великобритании
Контекст
- Создание биологического оружия с помощью чат-ботов — это лишь потенциальная угроза, а сегодня преступники по всему миру уже используют нейросети для проведения масштабных хакерских атак, говорят эксперты по кибербезопасности.
- Канадская компания Flare обнаружила более 200 тыс. запросов к ChatGPT в даркнете. На тематических хакерских форумах и в группах за последние полгода ChatGPT упоминается более 27 тыс. раз. Чат-бот способен писать код на уровне начинающего программиста, поэтому с его помощью уже создаются различные вредоносные программы и сайты.
- А в июле появился клон ChatGPT — бот WormGPT, который не имеет предустановленных «этических ограничений» и позиционируется именно как инструмент для мошенников. Так, WormGPT может разрабатывать вредоносные программы высшего уровня с меньшими затратами: услугу можно получить по подписке за €60 в месяц.
- В России громких случаев использования ChatGPT в мошеннических целях пока не фиксировали, говорят в StopPhish. В стране к чат-боту прибегают «ленивые» злоумышленники: они дают нейросети рутинные задачи, например написать фишинговые письма. По сути нейросеть используют как «копирайтера». ChatGPT допускает меньше ошибок в тексте, а одно из правил информационной безопасности гласит: если в письме много ошибок, его можно считать подозрительным.