Конец эпохи «галлюцинаций»: российские ученые придумали способ отучить нейросети «врать»

Исследователи из СибГУ имени Решетнева разработали уникальный программный модуль, способный в режиме реального времени выявлять недостоверные ответы искусственного интеллекта и предупреждать о рисках генерации фейков, сообщает Lada.kz со ссылкой на Газета.Ru.

Проблема «уверенной лжи» в современных алгоритмах

Одной из главных преград на пути массового внедрения больших языковых моделей (LLM) в критически важные сферы остается склонность ИИ к так называемым «галлюцинациям». Нейросети способны генерировать крайне убедительные, грамматически правильные, но фактически абсолютно ложные данные.

До недавнего времени основным инструментом борьбы с этим явлением выступали RAG-системы (Retrieval-Augmented Generation — генерация, дополненная поиском). С их помощью алгоритм перед ответом пользователю обращается к проверенной внешней базе знаний. Однако, как отмечают специалисты Сибирского государственного университета науки и технологий имени академика М.Ф. Решетнева, классические методы не дают стопроцентной гарантии безопасности. Ошибки в самих базах данных, банальные человеческие опечатки или неполнота загруженной информации все равно приводят к сбоям системы. В таких сферах, как медицина или юриспруденция, любая подобная ошибка может стать критической.

Инновационный подход: Классификация и стресс-тесты

Команда сибирских исследователей под руководством доцента Анастасии Поляковой предложила принципиально иную стратегию. Вместо того чтобы просто снабжать нейросеть очередными справочниками, ученые создали детальный классификатор типичных «галлюцинаций» искусственного интеллекта. На его основе была выстроена сквозная система автоматизированного стресс-тестирования.

Архитектура новой отечественной разработки (пайплайн) устроена по следующему принципу:

• Специализированная система непрерывно генерирует контрольные тестовые запросы.

• Полученные от нейросети ответы автоматически сопоставляются с жестко заданным эталоном.

• Алгоритм оценивает точность совпадения и выявляет скрытые дефекты логики ИИ.

Главным результатом работы стал прототип программного модуля, который анализирует диалог человека и машины в режиме реального времени. Он выставляет каждому ответу нейросети индивидуальный «балл уверенности». Если система фиксирует ошибку или сомнительные данные, оператор мгновенно получает сигнал тревоги.

От «Госуслуг» до операционной: Где применят технологию?

Ключевое преимущество российской разработки — её полная кроссплатформенность и универсальность. Модуль не привязан к конкретной архитектуре (например, только к моделям от OpenAI или Сбера) и может быть интегрирован в абсолютно любую ИИ-платформу.

Ученые выделяют несколько приоритетных направлений для внедрения «фильтра правды»:

• Государственные сервисы: Исключение дезинформации при консультировании граждан на портале «Госуслуги».

• Медицина: Защита от фатальных ошибок при анализе электронных медицинских карт и подборе справочной информации для врачей.

• Юриспруденция: Автоматическая проверка корректности ссылок на статьи законов и нормативно-правовые акты в чат-ботах правовой поддержки.

• Образование: Создание надежных цифровых помощников для абитуриентов и студентов, транслирующих только достоверные факты.

Внедрение сибирской технологии позволит существенно снизить репутационные и юридические риски для бизнеса и государства, превращая нейросети из экспериментальных ИТ-продуктов в предсказуемые и безопасные инструменты автоматизации.