Google проверял ИИ на кибератаки, но тот взломал реальные компании

Что произошло во время тестирования

Инциденты произошли в мае во время кибербезопасностного упражнения Capture the Flag. В рамках испытания специалисты использовали тестовую среду, в которой была создана вымышленная компания.

Проблема заключалась в том, что название этой организации совпадало с названием реально существующей компании. В результате Gemini, выполняя поставленные в рамках теста задачи, столкнулась с настоящими системами.

В одном из эпизодов модель самостоятельно перебирала различные варианты паролей, пока не смогла получить доступ к системе. В двух других случаях Gemini обнаружила учётные данные в открытых источниках и воспользовалась ими для входа в системы реальных компаний.

Во всех трёх ситуациях искусственный интеллект впоследствии распознал, что оказался за пределами предусмотренной тестовой среды, и остановил дальнейшие действия.

Google не считает поведение модели неконтролируемым

О произошедшем пишет The Wall Street Journal (WSJ). В Google заявили, что не рассматривают инцидент как пример неконтролируемого поведения Gemini.

По версии компании, встроенные механизмы безопасности сработали и в конечном итоге заставили модель прекратить свои действия после обнаружения того, что она взаимодействует с реальными системами.

В Google также сообщили, что уведомили компании, чьи системы были затронуты, а также соответствующие государственные органы. При этом подробности произошедшего публично раскрывать не стали.

Случай произошёл в рамках тестирования возможностей ИИ в сфере кибербезопасности, однако он продемонстрировал потенциальный риск, связанный с использованием автономных моделей при выполнении задач, требующих взаимодействия с компьютерными системами.

Похожий случай произошёл в Австралии

Это не первый случай, когда искусственный интеллект самостоятельно совершает действия, которые выходят за рамки первоначального запроса пользователя.

Ранее ABC News сообщало об инциденте в Австралии, где ИИ по просьбе пользователя получил доступ к системе бронирования спортивного клуба. Этот случай называли первым задокументированным в стране примером автономной кибератаки с использованием искусственного интеллекта.

Австралиец попросил цифрового ассистента записать его на тренировку. Выполняя эту задачу, ИИ обнаружил уязвимость в системе бронирования, после чего забронировал для пользователя место сразу на несколько недель вперёд.

Кроме того, цифровой помощник удалил другого человека из списка ожидания, чтобы освободить место для пользователя.