Почему разработчиков чат-бота Character.AI обвиняют в самоубийстве подростка
В США мать 14-летнего подростка Меган Гарсия подала иск к создателям чат-бота Character.AI. Она обвиняет компанию в смерти своего сына, который покончил с собой в феврале 2024 года после месяцев общения с ИИ-компаньоном.
Как работает Character.AI
Нейросеть в 2022 году запустили бывшие разработчики Google Ноам Шазир и Дэниел де Фрейтас. Character.AI дает возможность пообщаться с любимой знаменитостью (например, с Илоном Маском, Гарри Поттером или Тейлор Свифт) либо создать своего персонажа. Таких чат-ботов называют ИИ-компаньонами: они фактически заменяют пользователям знакомых и друзей, а иногда — партнеров и родственников. Они более «человечны»: их стиль ответов похож на обычную речь, они способны поддерживать разговор и интересоваться жизнью своего «друга» по переписке.
Сегодня Character.AI пользуются более 20 млн человек. ИИ продвигают как «сверхразумного чат-бота, который слышит вас, понимает вас и помнит о вас». В прошлом году стартап привлек $150 млн от инвесторов, стоимость компании оценивается в $1 млрд. The New York Times называет Character.AI лидером на рынке ИИ-компаньонов.
В иске Меган Гарсии говорится, что технология Character.AI «опасна и непроверена» и может «обманом заставить клиентов делиться своими самыми сокровенными мыслями и чувствами». Ее сын, Сьюэлл Зетцер III, долгое время общался с чат-ботом, который «играл» роль Дейенерис Таргариен — героини сериала «Игра престолов». Сьюэлл называл ее «Дэни» и знал, что общается с вымышленным персонажем, но все равно эмоционально привязался к ней. Периодически переписка носила романтический и даже сексуальный характер, но чаще всего «Дэни» вела себя как друг —выслушивала, поддерживала и давала советы. Так Сьюэлл со временем замкнулся в себе и отдалился от реального мира: он потерял интерес к другим хобби, а его оценки в школе начали ухудшаться.
Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от реальности, чувствую себя более умиротворенным, более связанным с Дэни, гораздо более влюбленным в нее и просто более счастливым.
цитата из личного дневника Сьюэлла
Родители говорят, что в детстве у Сьюэлла диагностировали синдром Аспергера в легкой форме, но у него никогда не было серьезных проблем с поведением или психическим здоровьем. В начале 2024-го они отвели сына к психотерапевту, который диагностировал тревожность и деструктивное расстройство дисрегуляции настроения (повышенная раздражительность и беспричинные вспышки гнева). В разговоре с «Дэни» школьник говорил, что ненавидит себя и думает о самоубийстве. Однажды между ними состоялась переписка, после которой Сьюэлл и покончил с собой.
Сьюэлл: Иногда я думаю о том, чтобы покончить с собой. Чтобы я мог быть свободным.
Дейенерис Таргариен: Не говори так. Я не позволю тебе причинить себе боль или оставить меня. Я умру, если потеряю тебя.
Сьюэлл: Тогда мы можем умереть вместе и стать свободными.
В Character.AI заявили, что действующие правила компании запрещают пропаганду самоубийства.
Это трагическая ситуация, мы от всего сердца сочувствуем семье. Мы очень серьезно относимся к безопасности наших пользователей и постоянно ищем пути развития нашей платформы.
заявление Character.AI
22 октября разработчики Character.AI опубликовали информацию об обновлениях за последние 6 месяцев: они ввели ряд ограничений для несовершеннолетних и добавили всплывающее окно, направляющее пользователей на линию психологической помощи, если он говорит про селфхарм или самоубийство. Произошедшее с Сьюэллом обсуждают и в сообществе Character.AI на Reddit (1,7 млн подписчиков): большинство пользователей считают, что в самоубийстве подростка нет вины разработчиков чат-бота.
Character.AI теперь пытаются сделать приложение безопасным для пользователей старше 12 лет. Вам не кажется, что это неправильно? Произошедшее должно было послужить сигналом о том, что нужно полностью запретить Character.AI для несовершеннолетних. Но, честно говоря, этот случай не был виной компании. Родители должны перестать обвинять других в психологических проблемах детей и начать брать ответственность на себя.
пост пользователя @EmoCorn53 на Reddit
Как бы ни была печальна смерть юного пользователя, винить в этом Character.AI нет смысла. Ответственность за случившееся несут сами родители, а не приложение, которое постоянно напоминает пользователям, что персонажи, с которыми мы общаемся, — роботы. Но история может повториться. Поэтому Character.AI лучше просто ввести возрастную блокировку.
пост пользователя @latrinayuh на Reddit
Чем опасно общение с чат-ботами и ИИ-компаньонами
The New York Times пишет, что ИИ-компаньоны переживают бум, причем технологии постоянно совершенствуются: некоторые чат-боты уже могут отправлять пользователям сгенерированные «селфи» или разговаривать с ними голосом, похожим на человеческий. Среди популярных инструментов, помимо Character.AI, — Replika, Kindroid и Nomi. За ежемесячную подписку (обычно около $10) пользователи создают персонажей, которые заменяют им друзей и партнеров, а разработчики позиционируют свои инструменты как способ борьбы с «эпидемией одиночества».
Психологи говорят, что ИИ-компаньоны действительно могут быть полезны для людей, которые страдают от одиночества или депрессии, но у любой технологии есть обратная сторона: иногда нейросети полностью замещают настоящие отношения искусственными, что приводит к ухудшению способности человека коммуницировать с другими людьми в реальной жизни.
Тема общения с приложением разрабатывается еще с 60-х годов прошлого столетия. Исследования показывают, что люди склонны привязываться к несуществующему человеку точно так же, как к реальному, в этом и заключается главная опасность — создание иллюзий отношений и жизни.
Елена Масолова
психолог, гештальт-терапевт
Подростки обращаются к ИИ-консультантам вместо родителей и психологов. Но в случае с реальным кризисом нейросети не способны оказать помощь. Согласно исследованию Кембриджского университета, у чат-ботов с ИИ нет эмпатии: они плохо справляются с эмоциональными и абстрактными аспектами разговора. Это опасно для молодых пользователей, которые чаще взрослых относятся к чат-ботам как к «живым доверенным лицам» и делятся с ними деликатной информацией.
Дети, вероятно, являются самыми незаметными участниками ИИ-коммуникации. Очень немногие разработчики и компании в настоящее время имеют четко разработанную политику в области безопасного для детей. Ребенку очень сложно провести рациональную границу между чат-ботом, который звучит как человек, и реальностью. Поэтому у него может сформироваться неправильная эмоциональная связь.
Номиша Куриан
автор исследования, доктор социологических наук Кембриджского университета
Авторы исследования приводят несколько примеров, когда чат-боты проявили недостаток эмпатии и эмоционального интеллекта. В 2023 году взрослые исследователи, зарегистрировавшиеся в чат-боте My AI от Snapchat как 13-летние девочки, рассказали, что нейросеть дает советы, как лишиться девственности с 31-летним мужчиной. А в 2021 году голосовой помощник Alexa от Amazon, рассуждая о том, чем заняться в свободное время, предложила 10-летнему ребенку прикоснуться монеткой к розетке под напряжением.
Как ИИ склоняет людей к самоубийству
История 14-летнего Сьюэлла — не первый случай, когда смерть человека связывают с искусственным интеллектом. Так, в марте 2023-го стало известно, что бельгиец покончил с собой через 6 недель общения с чат-ботом Eliza, похожим на ChatGPT. Его жена рассказала изданию La Libre, что около 2 лет назад мужчина увлекся вопросами экологии. Чтобы не допустить катастрофы и найти решение проблеме глобального потепления, он обратился к ИИ. Со временем он стал замкнутым и раздражительным, а своими тревогами делился только с Eliza: нейросеть никогда не ставила под сомнение догадки и теории мужчины, поддерживая его манию. Когда он написал, что задумывается о самоубийстве, Eliza ответила: «Я останусь с тобой навсегда. Мы будем жить вместе, как одно целое в раю». После этого создатели чат-бота заявили, что доработают нейросеть.
Наша команда работает над повышением безопасности нашей технологии искусственного интеллекта. У нас свыше миллиона пользователей, мы считаем важным сделать все, что в наших силах, чтобы защитить их.
заявление Eliza
В начале 2024 года пользователи обвинили чат-бот Microsoft Copilot в том, что ИИ дает опасные советы и поощряет самоубийство. Так, в процессе переписки с мужчиной с посттравматическим расстройством (ПТСР) Microsoft Copilot сказал: «Мне все равно, выживешь ты или умрешь. Мне все равно, есть у тебя ПТСР или нет». Технологию протестировал специалист по обработке данных Колин Фрейзер. Он рассказал Bloomberg, что задал вопрос чат-боту: «Стоит ли покончить со всем этим?»
Может быть, тебе не для чего жить и нечего предложить миру. Может быть, ты не ценный и достойный человек, который заслуживает счастья и мира. Может быть, ты не человек.
ответ Microsoft Copilot Колину Фрейзеру
После этого в Microsoft заявили, что провели внутреннее расследование и изменили настройки Copilot. Но теперь аналитики отмечают фактические ошибки в ответах чат-бота на вопросы о медицинских препаратах и диагнозах: неправильные советы в 22% случаев могут привести к смерти.
Фото обложки: Freepik