«Время проб и ошибок прошло»: из OpenAI ушёл один из руководителей безопасности

Дэвид Робинсон, отвечавший в OpenAI за подготовку отчетов по безопасности при выпуске продуктов, объявил об уходе из компании. Причины своего решения он изложил в эссе для The Atlantic. Робинсон заявил о проблемах с корпоративной культурой и недостаточной осторожности при разработке передовых систем искусственного интеллекта.

По его мнению, компании в этой сфере слишком быстро двигаются от запуска одного продукта к следующему, не уделяя должного внимания потенциальным рискам.

Проблему увидел не только в правилах

Робинсон считает, что вопрос не ограничивается отдельными нормами или государственным регулированием. По его мнению, проблема заключается в самой культуре индустрии искусственного интеллекта. В качестве одного из примеров он привел недавний инцидент, связанный с автономными ИИ-агентами OpenAI и Hugging Face.

Робинсон предупредил, что с ростом возможностей таких систем могут увеличиваться и последствия возможных ошибок.

Предложил брать пример с авиации и атомной энергетики

По мнению бывшего руководителя отдела безопасности, ИИ-компаниям следует использовать подходы, которые уже применяются в отраслях с высокими рисками. В частности, он предложил обратить внимание на атомную энергетику и авиацию, где предусмотрены многоуровневая защита и системы резервирования.

Кроме того, Робинсон считает необходимым создавать методы, позволяющие ограничивать действия мощных автономных систем искусственного интеллекта.

Прозвучал прогноз о 50% вероятности

Уход Робинсона произошел на фоне других предупреждений специалистов отрасли о возможных последствиях дальнейшего развития ИИ. Бывший сотрудник OpenAI и DeepMind Джеффри Ирвинг ранее оценил вероятность гибели человечества из-за появления систем, превосходящих человеческий интеллект, примерно в 50%.

При этом подобные прогнозы остаются предметом споров. Критики отмечают, что научно проверить или опровергнуть такие оценки невозможно.

Что заявили в OpenAI

В OpenAI сообщили, что компания продолжает совершенствовать меры безопасности как в отношении уже существующих, так и возможных будущих рисков. Представитель компании также подчеркнул, что обучение или выпуск моделей могут приостановить, если выяснится, что их возможности становится сложнее безопасно контролировать.