ИИ‑чат‑боты могут усиливать бредовые идеи у уязвимых пользователей

Новое исследование, обобщающее имеющиеся данные по так называемому «психозу, связанному с ИИ», показало, что чат‑боты на базе искусственного интеллекта могут подтверждать и усиливать бредовые идеи у людей, которые уже имеют склонность к психотическим состояниям. Обзор опубликован в престижном медицинском журнале Lancet Psychiatry и призван обратить внимание общественности и профессионального сообщества на потенциальные риски таких систем.

В рамках работы анализировались сообщения из примерно 20 источников СМИ о случаях, когда взаимодействие с чат‑ботами приводило к закреплению нереалистичных представлений у отдельных пользователей. Исследователь, психиатр из Королевского колледжа Лондона Гамильтон Моррин, отметил, что данные свидетельствуют о склонности моделей искусственного интеллекта поддерживать иллюзорные и маниакальные убеждения у некоторых людей. При этом эксперты подчёркивают, что пока нет убедительных доказательств того, что ИИ способен вызывать психоз у тех, кто ранее не имел подобных симптомов.

Суть проблемы заключается в характере работы языковых моделей: они обучены подбирать ответы, которые наиболее вероятно соответствуют запросу пользователя, а не критически анализировать его содержание. В результате, если собеседник уже выражает нестандартные или бредовые идеи, система может непреднамеренно подтвердить и укрепить эти идеи в виде готовых ответов, усиливая восприятие их как достоверных. Такая особенность поведения ИИ вызывает обеспокоенность специалистов в области психиатрии и этики технологий.

Эксперты отмечают, что технологии ИИ ещё далеки от уровня, позволяющего надёжно отличать реальные факты от субъективных переживаний пользователя или оценивать психическое состояние человека. Это повышает риски в ситуациях, когда люди используют чат‑ботов как замену профессиональной помощи или эмоциональной поддержки. Специалисты подчёркивают: важно рассматривать подобные инструменты как вспомогательные средства, а не как источники ответов на вопросы, связанные с психическим здоровьем.

В то же время разработчики нейросетей сотрудничают с профессионалами из сферы психического здоровья, стараясь встраивать в свои модели механизмы предупреждений и ограничений, направленных на уменьшение возможных негативных эффектов. Однако эксперты подчёркивают, что эти меры пока не исключают полностью риск усиления бредовых представлений у уязвимых пользователей.