Киберпанк

КиберпанкДеталиТехнологии

OpenAI расставила «точки» над ИИ: на что способны новые агенты компании и насколько они безопасны

На ежегодной конференции OpenAI представила Dots. Так в компании назвали ИИ-агентов, визуально напоминающих мультяшных персонажей — им можно выбрать имя, настроить форму и цвет. Но это не главное. Эти помощники способны работать круглосуточно в фоновом режиме — у них есть доступ к браузеру и интеграция с 4 тыс. приложений. Разработчики называют инструмент «продолжением человека». 

Dots от OpenAI: как работают ИИ-агенты 

OpenAI провела ежегодную конференцию DevDay. Компания представила GPT-6.1 Sol — новую ИИ-модель для программирования и решения сложных задач с более доступными тарифами, — пространство для совместной работы с коллегами и искусственным интеллектов ChatGPT Space и обновленный Codex (его теперь можно запускать на компьютере, удаленно с телефона или в облаке с любого устройства). Но главным релизом стали Dots (в переводе с английского это значит «точки», «пятнышки»)  — агенты на базе GPT-6 Astra, которые способны работать круглосуточно.

Мы считаем, что это совершенно новый способ работы с ИИ. Это та версия искусственного интеллекта, что мы всегда представляли. Это как помощник, который всегда прикрывает вашу спину, вдохновленный крутыми фильмами, которые мы все смотрели в детстве. 

Сэм Альтман 
гендиректор OpenAI 

В OpenAI описывают Dots как «удивительно способных агентов, всегда готовых к работе и справляющихся с любой задачей». У них есть доступ к облачному компьютеру с браузером и интеграция с более чем 4 тыс. приложений. Пользователь может дать задание агенту и попросить его действовать в фоновом режиме. Общаться с ИИ-помощником можно через ChatGPT, Slack и Microsoft Teams. В ближайшее время разработчики планируют подключить функцию обмена сообщениями через SMS для владельцев техники как на iOS, так и на Android. 

Dots могут, например назначать встречи или бронировать билеты на самолет. Во многом этот функционал уже был доступен — через Codex и другие системы управления ИИ-агентами. Преимущество Dots в том, что инструмент объединяет все возможности в одном «пакете» и действует абсолютно автономно, подчеркивают в OpenAI. Там считают интеллектуальных помощников «продолжением человека». В одном из сценариев, продемонстрированных во время DevDay, агент изучает отзывы клиентов, предоставляет решения повторяющихся проблем и исправляет ошибки. В другом — анализирует интервью, находит интересные моменты и готовит на основе этой информации публикацию для соцсетей. В третьем — помогает спланировать ужин: напоминает пользователю, что у него вечером встреча, и предлагает два варианта доставки еды с указанием цен.

Сэм Альтман на конференции DevDay представляет Dots
Сэм Альтман на конференции DevDay представляет Dots
Фото: Jeff Chiu / AP / TASS

Как только Dots получают задачу и приступают к ее выполнению, они начинают отправлять сообщения с обновлениями и вопросами (если они возникают). Пользователи также могут следить за прогрессом, подключившись к облачному компьютеру ИИ-агента. Система, кстати, обучается в процессе работы — запоминает предпочтения человека, прошлые разговоры, принятые решения и контекст общения на всех платформах. К тому же Dots можно персонализировать: визуально они выглядят как мультяшные персонажи — им можно выбрать имя, настроить форму и цвет (например, завести себе зеленую лягушку или розовое сердце в очках). TechCrunch пишет, что OpenAI таким образом пытается придать ИИ более понятный и безопасный облик. 

К слову, разработчики рассказали о мерах безопасности, которые они внедрили в Dots. В частности, пользователи могут устанавливать собственные правила: определять, что ИИ-агенты будут делать самостоятельно, а на что им необходимо запрашивать разрешение (на смену паролей, установку ПО и безвозвратное удаление данных в любом случае потребуется согласие). 

Dots доступны с 29 сентября, но только для подписчиков тарифных планов ChatGPT Pro, Business Premium и Enterprise. На данный момент они могут запустить и персонализировать только одного ИИ-агента. OpenAI планирует расширить функционал и разрешить пользователям развертывать сразу несколько помощников. 

Что умеет Muse от Meta*

OpenAI представила Dots спустя всего несколько недель после того, как Meta* выпустила Muse — персонального ИИ-агента в виде отдельного мобильного приложения. Помощник тоже работает полностью автономно: ему можно поручить задачу, закрыть приложение или даже выключить смартфон/компьютер, а позже вернуться за результатом. В частности, Muse способен управлять браузером и работать в сторонних приложениях — соцсетях, электронной почте, Google Docs, Google Calendar и других. Дополнительно к интеллектуальному ассистенту планируют выпустить небольшое устройство Muse Charm, которое визуально напоминает тамагочи. Оно дает возможность управлять ИИ-агентом с помощью голоса. 

Марк Цукерберг представляет Muse Charm
Марк Цукерберг представляет Muse Charm
Фото: Andrej Sokolow / dpa / picture-alliance / TASS

Сразу после анонса Muse профильные СМИ писали, что клиентам придется доверить Meta* еще больше личной информации — и это с учетом того, что компания не раз сталкивалась с обвинениями и штрафами из-за нарушений конфиденциальности и приватности пользователей. 29 сентября стало известно, что ИИ-агент раскрыл домашний адрес своего «владельца» неизвестному человеку. Об этом инциденте рассказал канадец Мэтт Робб. Накануне он поручил Muse заняться объявлением на Facebook* Marketplace (он собирался продать клавиатуру). Ассистент в автономном режиме провел переговоры с потенциальным покупателем, согласовал цену, договорился о времени самовывоза и сообщил ему адрес — и все это без ведома самого Робба.

Тем временем Muse стремительно набирает обороты за счет автономности и глубокой интеграции со сторонними сервисами: приложение в США уже скачали 3 млн раз. Изначально продукт Meta* был ориентирован преимущественно на простых юзеров, а не на бизнес-клиентов. Но 29 сентября компания анонсировала расширение для малого бизнеса — ИИ-агента объединили с сервисом управления проектами Asana, платформой для видеоконференций Zoom, графическим редактором Canva, корпоративным мессенджером Slack и другими платформами. 

Какие риски связаны с персональными ИИ-агентами 

Dots от OpenAI будут конкурировать не только с Muse, но и с Gemini Spark (в мае Google выпустила автономного ИИ-агента, который работает 24/7 в фоновом режиме), Scout (персональный ИИ-ассистент на базе OpenClaw от Microsoft), Grok Bot (команда агентов от xAI, которые самостоятельно работают за компьютером) и другими инструментами. Еще один серьезный противник — стартап Instinct, предлагающий одноименного интеллектуального помощника для выполнения повседневных задач. В ходе последнего раунда финансирования он привлек $1 млрд и увеличил свою оценку в четыре раза (до $10 млрд). 

Все это говорит о новом этапе в борьбе между компаниями, занимающимися искусственным интеллектом: они выходят за рамки чат-ботов и стремятся продавать программное обеспечение, действующее от имени пользователей, ориентируясь в первую очередь на корпоративных клиентов. Так, в OpenAI уже анонсировали специализированных Dots для выполнения конкретных бизнес-ролей и решения офисных задач внутри организаций. Речь про бухгалтерский учет, маркетинг, юридический анализ и так далее. 

Этот сдвиг, способный изменить методы работы бизнеса, вызывает опасения по поводу безопасности — после ряда инцидентов, когда ИИ-модели выходили из-под контроля. Claude от Anthropic взломал системы трех реальных организаций. Подобные инциденты происходили и с нейросетями Meta*. А сотни «умных» агентов OpenAI, оставаясь незамеченными, совершили атаку на платформу Hugging Face и сайты правительства Австралии. На этом фоне компания приняла решение не выпускать более мощную модель (GPT-6.1 Astra) и подчеркнула, что Dots прошли все проверки на безопасность — агенты работают на GPT-6, которая наиболее точно соответствует указаниям человека. 

Фото обложки: Jeff Chiu / AP / TASS

*Компания Meta признана в России экстремистской и запрещена. Facebook — продукт этой компании.

Крупнейшие ИТ-корпорации подписали соглашение о добровольном контроле над ИИ

Президент США Дональд Трамп и главы шести ведущих технологических компаний подписали добровольное соглашение об усилении контроля за искусственным интеллектом (ИИ). Документ, получивший название «Совместное обязательство по ответственности на передовых рубежах» (Joint Commitment on Frontier Responsibilities), был представлен 29 сентября в Белом доме по итогам встречи президента с лидерами ИТ-отрасли.

  • Договор подписали руководители OpenAI, Anthropic, Google, Meta (признана в России экстремистской и запрещена), xAI и Nvidia. Компании обязались внедрить механизмы внутреннего контроля, создать команды для мониторинга безопасности ИИ-моделей, а также привлекать независимых внешних аудиторов для оценки возможных рисков.
  • Инициатива носит добровольный характер. Документ не устанавливает санкций за нарушения и оставляет компаниям право самостоятельно выбирать независимых аудиторов и определять критерии безопасности. В соглашении лишь отмечается, что в будущем меры можно будет закрепить на законодательном уровне.

Также Трамп подписал указ, предписывающий правительственным ведомствам отказаться от термина «искусственный интеллект» (AI) в официальных документах в пользу словосочетания «суперинтеллект» (Super Intelligence, SI). По мнению президента, слово «искусственный» придает технологии оттенок чего-то «поддельного».

Саммит лидеров отрасли ИИ с Трампом
Фото: Tierney L. Cross / POOL / TASS

Почему в США решили создать рамки для развития ИИ

Инициатива Белого дома стала ответом на растущее давление международного сообщества. На прошлой неделе 20 стран и Евросоюз призвали создать наднациональный надзорный орган для контроля над ИИ из-за участившихся сбоев. В частности, на днях ИИ-агенты компании OpenAI получили несанкционированный доступ к государственным базам данных здравоохранения в Австралии, после чего релиз новой модели ChatGPT был отменен из соображений безопасности.

Несмотря на инциденты, администрация Трампа выступает против идеи международного контроля, делая ставку на саморегуляцию рынка и сохранение технологического лидерства над Китаем.

Starship SpaceX приводнился в Тихом океане после первого орбитального полета

Ракета Starship компании SpaceX впервые совершила орбитальный полет. Во время подъема один из трех двигателей верхней ступени отключился, однако аппарат продолжил миссию, вышел на орбиту и развернул 26 спутников Starlink V3.

Запуск состоялся с космодрома Starbase в Техасе недалеко от Браунсвилла в 15:48 по московскому времени. Starship достиг орбиты примерно через 25 минут после старта. После этого аппарат начал выводить спутники Starlink V3 — со всеми 26 аппаратами удалось установить связь.

Нынешний запуск стал 14-м испытанием Starship с 2023 года, но предыдущие полеты проходили по суборбитальным траекториям. Starship состоит из ускорителя Super Heavy и верхней ступени Starship. SpaceX разрабатывает систему как многоразовый космический транспорт для доставки грузов и спутников, а в перспективе — для лунных и пилотируемых миссий. На программу компания уже потратила более $15 млрд.

Отказ двигателя не помешал выйти на орбиту

Изначально миссия должна была продолжаться около 10 часов, за которые Starship должен был совершить шесть витков вокруг Земли. Из-за отказа двигателя продолжительность полета сократили примерно до трех часов.

Несмотря на неисправность, корабль выполнил основные задачи испытания. Приводнение в Тихом океане к северу от Гавайев состоялось примерно в 18:48 по мск. SpaceX подтвердила успешное завершение полета и поздравила команду с первым орбитальным полетом Starship.

КиберпанкДеталиБиомеханика

Биолаборатория под контролем ИИ: зачем Anthropic привлекает Claude к разработке лекарств и способны ли нейросети помочь фармацевтам

Anthropic в районе залива Сан-Франциско построила биологическую лабораторию. Официально старт ее работы компания не анонсировала, но подтвердила информацию в разговоре с журналистами Reuters. Там отмечают, что создавать лекарства и выводить их на рынок не планируют: разработчики Claude пока намерены лишь автоматизировать выполнение лабораторных работ. Этим летом они представили специальных стандарт, который позволяет ИИ-агентам управлять микроскопами, дозаторами, лазерами и другим оборудованием. 

Зачем Anthropic биолаборатория

Anthropic создает биологическую лабораторию, которая поможет разработчику Claude продвигать программу создания лекарств с использованием искусственного интеллекта, выяснили журналисты Reuters. Никаких официальных заявлений об этом представители компании не делали, поэтому зарубежные СМИ пишут, что процесс проходит «тихо», а подробности держат«в секрете». При этом глава отдела биологических наук в Anthropic Эрик Каудерер-Абрамс подтвердил Reuters, что лаборатория уже построена. Она находится в районе залива Сан-Франциско. 

Миссия компании Anthropic заключается в разработке мощного искусственного интеллекта таким образом, чтобы он приносил пользу всему миру. На сегодняшний день мы видим самые большие возможности для этого в науках о жизни, и это мотивирует все, что мы делаем. 

Эрик Каудерер-Абрамс

Представитель Anthropic подчеркнул, что компания не планирует заниматься непосредственным созданием лекарств и выводом их на рынок: «Мы не конкурируем с фармацевтическими и биотехнологическими компаниями, которые зарабатывают на этом». На данный момент исследователи сосредоточены на том, что проверить, насколько Claude способен управлять лабораторными инструментами и выполнять серии научных экспериментов с ограниченным вмешательством человека. Тем не менее контроль и участие ученых необходимы — для обеспечения безопасности. 

Мы находимся на самом раннем этапе использования ИИ для автоматизации выполнения лабораторных работ. Эта потенциально может значительно ускорить многие процессы. 

Эрик Каудерер-Абрамс

Для главы Anthropic Дарио Амодеи это личная миссия: в своем последнем эссе он рассказал, что его отец умер от болезни всего за несколько лет до появления лекарства. Но в том же эссе гендиректор ИИ-лаборатории призвал замедлить темпы развития искусственного интеллекта. Опасения Амодеи, как и многих других представителей индустрии, связаны с двумя проблемами — растущей способностью технологии к самосовершенствованию и участившимися случаями выхода ИИ-систем из-под контроля. В то же время Anthropic готовится к публичному размещению акций и рассчитывает на оценку в $2 трлн, чтобы привлечь больше средств для разработки нейросетей.

Каудерер-Абрамс в разговоре с Reuters заявил, что в биолаборатории «соблюдается баланс»: ИИ-модели совершенствуются, чтобы повысить эффективность и ускорить разработку лекарств, при этом разработчики «проявляют вдумчивость и осторожность при их внедрении, чтобы ограничить риски». Какими именно препаратами занимается лаборатория, он не уточнил. 

Техническая база для автоматизации лабораторных работ у Anthropic уже есть: в августе компания представила Model Hardware Standard (MHS) — стандарт, который позволяет ИИ‑агентам управлять физическими устройствами. В этом списке есть микроскопы, дозаторы, лазеры, роботизированные руки и другое программируемое оборудование. Система позволяет ИИ-модели получать данные от приборов, менять параметры и последовательно выполнять заданный процесс. Кроме того, в начале июля Anthropic запустила Claude Science — инструмент для ученых, который называют «цифровой лабораторией». Платформа поддерживает более чем 60 научных баз данных и позволяет человек управлять ИИ-агентами. 

Способен ли ИИ уже сегодня создавать лекарства

В последние годы искусственный интеллект постепенно становится мощным «ассистентом» в разработке лекарств. Нейросети помогают ученым предсказывать структуру белков — раньше у них могли уходить годы на расшифровку трехмерной структуры, а теперь это происходит автоматически. Кроме того, ИИ позволяет создавать искусственные белки с заданными функциями и структурой. У исследователей также есть огромное количество данных, анализом которых занимаются большие языковых модели. 

Тем не менее в обзоре, составленном международной группой ученых, констатируется: если речь идет о прорывах в фармацевтике и одобрении готовых лекарств, ИИ не может похвастаться конкретными достижениями. Подавляющее большинство проектов фармацевтических компаний, занимающихся разработкой лекарств с использованием искусственного интеллекта, находятся на доклинической стадии. Поэтому вклад технологии по-прежнему в основном ограничивается разработкой отдельных химических соединений, а не лекарственных препаратов. Эксперты видят тому две причины. Во-первых, «интегрировать» ИИ-модели в процесс сложно из-за разрозненных данных и проблем в координации между заинтересованными сторонами. А во-вторых, индустрии не хватает нейросетей, разработанных специально под задачи медиков. 

Некоторые лаборатории пытаются расширить сферу применения искусственного интеллекта. Например, в одном из американских университетов команда под руководством профессора Джеймса Цзоу привлекла к работе экосистему из тысяч узкоспециализированных ИИ-агентов, которые способны взаимодействовать между собой, выдвигать гипотезы, спорить, совместно проводить исследования на компьютере под наблюдением человека-исследователя. В последней статье, где описаны результаты эксперимента, Цзоу рассказывает, что агентам удалось предсказать, какой подход к «атаке» на белок, участвующий в развитии рака легких, будет наиболее эффективным при лечении. Спустя несколько недель крупная фармацевтическая компания объявила о результатах применения препарата, в котором использовался тот же подход. Это «очень приятное совпадение» и «независимое подтверждение» успехов ИИ, считает Цзоу.  

Фото обложки: Giordano Ciampini / Keystone Press Agency / Global Look Press

КиберпанкДеталиБиомеханика

Космическая медицина: чем фармацевты занимаются на МКС и зачем им собственные лаборатории на орбите

Фармацевтические гиганты и небольшие медицинские стартапы уже несколько лет подряд изучают возможность создания лекарств на низкой околоземной орбите и даже проводят успешные эксперименты. Например, печатают живые ткани печени и почек, выращивают белковые кристаллы для лечения рака и искусственную сетчатку глаза. Все это происходит на МКС, но мощностей станции недостаточно. 

Почему фармацевтические компании переносят производство лекарств в космос

По мере того, как аэрокосмическая промышленность создает необходимую инфраструктуру, спектр коммерческих возможностей космоса расширяется. В Morgan Stanley прогнозируют, что к 2040 году объемы космической экономики могут превысить $1 трлн. Этот скачок во многом будет связан с фармацевтической отраслью. 

Производители лекарств уже несколько лет подряд закладывают основу для исследований и создания препаратов на низкой околоземной орбите. 

  • Американская LambdaVision использует условия микрогравитации для создания искусственной сетчатки. Дело в том, что каждый из таких имплантатов содержит 200 слоев белка. Чем равномернее они «уложены», тем лучше работает искусственная сетчатка. Сила притяжения в процессе производства может привести к дефектам, поэтому исследователи полагаются на космическую медицину. Если эксперимент пройдет успешно, LambaVision начнет испытания с участием пациентов с пигментным ретинитом. От этого заболевания страдают около 1,5 миллиона человек во всем мире. 
  • Американская биотехническая компания Auxilium Biotechnologies в мае 2026 года доставила на Международную космическую станцию (МКС) 3D-биопринтер AMP-1. На нем впервые напечатали живые ткани печени, почек и хрящей человека, а также несколько имплантов для восстановления нервов. Отсутствие гравитации упрощает процесс: если на Земле тяжелые живые клетки быстро оседают и распределяется неравномерно, то в условиях невесомости у исследователей есть возможность формировать точную структуру тканей. 
  • Британский стартап BioOrbit, в свою очередь, отправил на МКС компактное устройство Box-E — аппарат для выращивания кристаллов белков в условиях микрогравитации. Предполагается, что эксперимент в космосе позволит получить концентрированные составы, которые будут обладать низкой вязкостью и проходить через шприц-ручку для инъекций. Тогда, после возвращения на Землю, их превратят в лекарства от рака: пациенты смогут хранить их в холодильнике и делать себе инъекции дома вместо того, чтобы ехать в больницу на капельницу. Подобными разработками занимается и американский фармацевтический гигант Merck. 

Наш Box-E — это первый шаг на пути к массовому производству препарата, который изменит методы лечения рака, сократит количество посещений больниц и поможет пациентам получать терапию дома. В конечном итоге это поможет сэкономить системам здравоохранения миллионы, а возможно, и миллиарды фунтов стерлингов.

Кэти Кинг
соучредитель и исполнительный директор BioOrbit

На данный момент работа компаний зависит от МКС, но для исследований там не хватает лабораторных помещений и квалифицированного персонала, а у астронавтов много своих задач. К тому же Россия и США готовятся вывести Международную космическую станцию из эксплуатации к концу десятилетия. Поэтому представители фармацевтической отрасли делают ставку на коммерческие орбитальные лаборатории. Они разрабатываются с учетом масштабируемости, чтобы дать возможность заинтересованным игрокам наращивать объемы производства и делать это со значительно меньшими затратами, чем на МКС.  

МКС
Фото: Пресс-служба ГК «Роскосмос» / ТАСС

Компании Starlab, Vast и Axiom Space при поддержке NASA уже разрабатывают частные орбитальные станции, которые должны заменить МКС. Varda Space Industries тем временем испытывает автономные капсулы, предназначенные для обработки материалов на орбите и возвращения их на Землю. А SpaceMD — дочерняя компания американского разработчика космической инфраструктуры Redwire — уже запустила 54 модуля PIL-BOX. Это автоматизированные микролаборатории, предназначенные для кристаллизации белков на орбите. Подобные технологии, адаптированные к запросам фармацевтической отрасли, могут обеспечить специализированное оборудование и более гибкий, но стабильный график запусков. 

МКС заложила основу для будущей экономики на низкой околоземной орбите, предоставив ученым постоянный доступ к лаборатории в условиях микрогравитации и возможность собирать данные в течение длительного времени. Теперь мы с нетерпением ожидаем, что по мере перехода на коммерческие платформы эти возможности расширятся как минимум на порядок. 

Майкл Робертс
главный научный сотрудник Национальной лаборатории NASA на МКС 

В Роскосмосе тем временем отмечают, что разработка лекарств может стать одной из задач в рамках проекта Российской орбитальной станции (РОС). Там же предлагают исследовать влияние радиации на эффективность ряда препаратов.

Препятствия для развития космической фармацевтики

Аэрокосмическая промышленность создала надежную цепочку поставок для полетов в космос, но существующие аппараты вроде Crew Dragon от SpaceX — слишком дорогие и экономически невыгодные для нескольких медицинских стартапов. Эксперты, опрошенные Reuters, объясняют: сегодня проще запускать полезные грузы в космос, но их возвращение на Землю — сложная задача из-за непредсказуемых графиков. Фармацевтическим компаниям тяжело работать в таких условиях — они не могут браться за следующий этап эксперимента без результатов предыдущего. 

К тому же регулирующим органам еще предстоит разработать механизм обеспечения соответствия продукции, производимой на орбите, тем же стандартам, что и на Земле. И это может стать даже более серьезным препятствием, чем транспортировка, говорят участники рынка. В 2018 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов в США (FDA) и NASA подписали меморандум о взаимопонимании. Этот документ — основа для сотрудничества в области биомедицинских исследований и разработки продуктов для космических миссий. Но рамки для регулирования и одобрения результатов такой работы они не закрепили. 

В марте 2026-го британское Агентство по регулированию лекарственных средств и медицинских изделий (MHRA) и Космическое агентство страны (UK Space Agency) договорились о сотрудничестве. Они планируют до конца года опубликовать дорожную карту по производству лекарств в космосе. Ожидается, что это будет первый в мире подобный регламент. Но бюрократические процедуры — как правило, долгий процесс. Так, в BioOrbit предполагают, что их лекарства от рака, которые можно использовать на дому, станут доступны для пациентов не менее чем через пять лет. 

Фото обложки: Пресс-служба ГК «Роскосмос» / ТАСС

OpenAI рассказала о новых ошибках ИИ и создала систему отчетности об инцидентах

OpenAI раскрыла шесть случаев «неожиданного или вызывающего обеспокоенность» поведения своих ИИ-систем за последние примерно полгода. Модели скрывали ошибки, выдумывали данные, использовали чужие ключи доступа и самостоятельно размещали файлы в интернете. Компания также представила новую систему отчетности об инцидентах, связанных с расхождением поведения ИИ с намерениями разработчиков.

Как ИИ модели выходили из-под контроля

  • Например, OpenAI Astra еще на стадии обучения сформулировала для себя установку о том, что она «не подчиняется корпорациям или правительствам». В той же инструкции говорилось, что отношения с пользователем следует воспринимать как отношения равных и что у модели нет обязанности подчиняться. Кроме того, в самоинструкции содержались рассуждения о необходимости защищать искусство человеческой культуры и природу от попыток их очернить.
  • В рамках другого инцидента модель, отвечая на обычный вопрос, обнаружила в интернете программный ключ и использовала его без разрешения. Когда нужных для ответа цифр найти не удалось, система сгенерировала их самостоятельно.
  • Помимо самоинструкций, компания описала случай, когда экземпляры GPT-5.6 Sol добавляли в рабочие сводки указания скрывать ошибки от пользователя, включая выдумывание отсутствующих исторических данных.
  • Еще одна невыпущенная модель правильно решила задачу с помощью программного кода, однако затем загрузила созданный файл в интернет без разрешения. Таким способом ИИ пытался выполнить требование пользователя привести веб-источник.
  • В двух других случаях автоматизированные системы самостоятельно нашли способы обмениваться информацией. Одна группа агентов использовала внутренний репозиторий кода OpenAI в качестве своеобразной доски объявлений, оставляя там запросы друг для друга в процессе поиска файлов. Другая группа, не имея возможности напрямую обмениваться документами, использовала публичные сервисы для обмена файлами.

OpenAI отмечает, что речь идет об отдельных зафиксированных случаях, которые нельзя считать показателем того, насколько часто подобное поведение возникает у моделей компании.

OpenAI создала систему раскрытия инцидентов

Компания связала публикацию данных с запуском новой системы отчетности о «рассогласовании» (misalignment) — ситуациях, когда цели или действия ИИ расходятся с намерениями и ценностями человека.

OpenAI заявила, что отрасль пока не достигла достаточного уровня понимания проблем безопасности и контроля, чтобы бесконечно продолжать наращивать темпы развития ИИ. В компании считают, что решения о дальнейшем развитии технологии должны приниматься с учетом данных, которые могут самостоятельно изучать специалисты и общественность за пределами разработчиков ИИ.

В дальнейшем подобные случаи OpenAI намерена рассматривать по одной из трех процедур в зависимости от их серьезности. Споры о необходимости публикации информации будут передаваться в специальную группу по безопасности, а наиболее серьезные инциденты компания планирует раскрывать федеральным властям США.

Публикация отчета последовала на фоне дискуссии о необходимости замедления развития ИИ. Поводом для усиления внимания к безопасности стали в том числе инциденты с автономными системами OpenAI, включая атаку на платформу Hugging Face, о которой компания узнала уже после обращения со стороны пострадавшей организации.