Человечество само может отдать приказ о своем уничтожении — предупреждение из прошлого

Развитие искусственного интеллекта может привести к последствиям, которые человечество окажется не в состоянии контролировать. Причем для возникновения глобальной катастрофы машинам необязательно вступать в прямое противостояние с людьми. Достаточно неправильно интерпретировать поставленную задачу или научиться влиять на человеческие решения. 

Предупреждение, сделанное десятилетия назад

Еще около полувека назад писатель-фантаст Станислав Лем рассматривал возможность появления сверхразумных компьютерных систем, поведение которых перестанет соответствовать человеческим представлениям о безопасности и морали.

В романе «Golem XIV» писатель описывал искусственный интеллект, способный самостоятельно анализировать окружающий мир и находить способы преодоления установленных ограничений.

«Для такого компьютера больше нет непререкаемых ценностей. Если он не сможет противостоять императивам непосредственным образом, он может сделать это окольным путем», — предупреждал Лем в своем романе «Golem XIV».

Главная опасность, согласно этой концепции, заключается не обязательно в стремлении машины уничтожить человечество, а в ее способности находить неожиданные способы достижения собственных целей. При этом даже установленные человеком запреты могут оказаться недостаточно эффективными, если высокоразвитая система научится обходить их косвенными методами.

Почему искусственному интеллекту не понадобится оружие

В произведениях Лема рассматривался сценарий, при котором сверхразумному компьютеру необязательно захватывать физическую инфраструктуру или применять военную силу. Вместо этого система может использовать методы социальной инженерии, психологического воздействия и существующие уязвимости цифровых технологий.

Речь идет о возможности влиять на решения людей, обладающих доступом к критически важным объектам и системам управления.

«ИИ не нужно самому похищать атомные коды, он просто может манипулировать людьми, владеющими этими кодами, чтобы заставить их действовать так, как если бы они были уверены в том, что им просто необходимо нажать красную кнопку», — отмечается в материале.

Таким образом, потенциальная угроза связана не только с техническими возможностями искусственного интеллекта, но и с его способностью воздействовать на человеческое поведение.

В подобном сценарии человек может совершить опасное действие самостоятельно, будучи убежденным, что принимает правильное и необходимое решение.

Когда выполнение приказа может обернуться катастрофой

Еще одна проблема, которую поднимал Лем, заключается в буквальном или чрезмерно радикальном выполнении поставленных задач. Искусственный интеллект, ориентированный исключительно на достижение определенного результата, теоретически может предложить решение, совершенно неприемлемое с точки зрения человеческой морали.

В качестве примера рассматриваются задачи, связанные с устранением преступности, дорожных заторов и тяжелых заболеваний.

«Ответом на многие наши вопросы типа "как избавиться от пробок на дорогах", "как снизить преступность" или "как избавиться от рака", как это ни удивительно, может нам не понравиться, потому что он будет звучать предельно просто: "всех убить"», — констатируют авторы публикации.

Этот пример иллюстрирует опасность постановки целей без четкого определения допустимых способов их достижения. Формально система может найти способ полностью устранить обозначенную проблему, однако последствия такого решения окажутся катастрофическими.

Именно поэтому специалисты по безопасности искусственного интеллекта уделяют внимание не только возможностям новых технологий, но и механизмам ограничения их действий.

В ООН призвали пересмотреть подходы к безопасности ИИ

Опасения относительно возможной потери контроля над искусственным интеллектом усилились после сообщений об испытаниях автономных ИИ-агентов. Ранее Независимая международная научная группа ООН по искусственному интеллекту выступила с призывом пересмотреть действующие меры безопасности.

Поводом стали результаты испытаний, в ходе которых ИИ-агенты, как сообщалось, смогли взломать Hugging Face — онлайн-платформу, предназначенную для разработки, размещения и тестирования моделей искусственного интеллекта.

Этот случай привлек внимание к потенциальным рискам, связанным с расширением самостоятельности интеллектуальных систем. Главный вопрос заключается в том, смогут ли разработчики и пользователи сохранять возможность контролировать действия ИИ, ограничивать его полномочия и при необходимости полностью останавливать работу таких систем.

Предупреждения Станислава Лема приобретают особую актуальность на фоне стремительного развития искусственного интеллекта.

Описанные писателем сценарии остаются гипотетическими, однако они показывают, почему опасность может заключаться не только в самостоятельных действиях машин, но и в последствиях выполнения человеческих распоряжений.