ИИ может выйти из-под контроля уже в ближайшие 10 лет — эксперт оценил риск для человечества

Речь идет не о сегодняшних нейросетях

Эван Хьюбингер, возглавляющий в Anthropic направление Alignment Science, выступил с одним из наиболее резких предупреждений о возможных последствиях стремительного развития искусственного интеллекта.

По его личной оценке, вероятность того, что в течение ближайших десяти лет развитие ИИ приведет к сценарию, угрожающему существованию человечества, превышает 10%.

При этом исследователь отдельно подчеркнул: речь не идет о том, что используемые сегодня чат-боты или другие существующие ИИ-модели уже представляют такую угрозу. Риск от нынешних систем он оценивает как низкий.

Главное опасение специалиста связано с появлением в будущем суперинтеллекта, способного к рекурсивному самосовершенствованию — ситуации, при которой искусственный интеллект сможет участвовать в создании и улучшении последующих, более мощных поколений систем.

Почему специалистов пугает суперинтеллект

Одна из ключевых проблем заключается в так называемом согласовании целей ИИ с человеческими ценностями — alignment.

Специалисты пытаются добиться того, чтобы даже чрезвычайно мощная система продолжала действовать в соответствии с поставленными человеком целями и не предпринимала действий, способных причинить людям вред.

Однако, по словам Хьюбингера, готового решения этой проблемы пока нет.

— Я полагаю, что Anthropic делает все возможное, однако у нас пока нет плана решения проблемы, как согласовать цели суперинтеллекта с человеческими ценностями, и мы не движемся в этом направлении, — заявил он.

Смысл предупреждения в том, что проблема может стать особенно серьезной, если возможности искусственного интеллекта начнут расти быстрее, чем способность людей понимать и контролировать его действия.

Сам Хьюбингер связывает свои опасения именно с возможностью появления суперинтеллекта в результате самосовершенствования ИИ, которое, по его словам, развивается быстрее, чем предполагалось ранее.

Исследователь Anthropic уволился и обвинил разработчиков ИИ

Резонансное заявление Хьюбингера последовало после ухода из Anthropic исследователя Джейкоба Коксона, который ранее также работал в OpenAI.

Коксон подверг критике крупнейшие компании, разрабатывающие искусственный интеллект, заявив, что они слишком быстро движутся к созданию все более самостоятельных и мощных систем.

— Ни одна из этих компаний не ведет себя ответственно. Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы, — написал Джейкоб Коксон, объясняя свое решение покинуть Anthropic.

Хьюбингер публично поддержал опасения бывшего коллеги. Его собственная оценка вероятности экзистенциальной катастрофы в ближайшие десять лет составляет более 10%.

Сама Anthropic пока оценивает риски нынешних моделей как низкие

При этом заявления отдельных исследователей необходимо отделять от официальных оценок конкретных моделей.

Как следует из приведенных в исходном материале данных августовского отчета Anthropic по безопасности, риск того, что существующие модели перестанут выполнять задачи организации и начнут вмешиваться в ее системы ради собственных целей, оценивается как низкий.

Низкой также считается вероятность того, что ИИ сможет самостоятельно проводить исследования и разработки, способные причинить организации катастрофический ущерб.

Однако компания признала, что уверенность специалистов в этих оценках снизилась.

— Мы видим первые признаки потенциального ускорения (развития ситуации в этом направлении), — говорится в сообщении.

Именно скорость развития возможностей ИИ становится одним из основных поводов для беспокойства исследователей.

Разработчики все громче говорят о необходимости контроля

Предупреждения о потенциальных экзистенциальных рисках искусственного интеллекта звучат в технологической отрасли уже несколько лет. Однако нынешняя дискуссия заметно обострилась.

После заявлений исследователей Anthropic американские законодатели вновь заговорили о регулировании мощных ИИ-систем, включая обязательные проверки безопасности и взаимодействие разработчиков с государственными экспертами.

При этом вокруг подобных прогнозов продолжается серьезная дискуссия. Оценка в более чем 10% не является статистически рассчитанной вероятностью или установленным научным фактом — это субъективная оценка Хьюбингера относительно будущего развития пока не существующего суперинтеллекта.

Тем не менее подобные опасения разделяет не только он. В последние годы о риске потери контроля над достаточно мощным ИИ предупреждали и другие известные представители отрасли. Сейчас же предметом спора становится уже не только вопрос о том, возможна ли такая угроза в принципе, но и насколько быстро технологии могут приблизиться к опасной черте.