Исследователь Google DeepMind уволился, заявив, что безопасность ИИ отстает от его возможностей и ему страшно

Билал Чугтай работал в Google DeepMind над безопасностью искусственного интеллекта и так называемым выравниванием, или alignment. Под этим понимают попытки сделать так, чтобы все более мощные системы ИИ продолжали действовать в соответствии с целями и ограничениями, которые задают люди.

После ухода из компании Чугтай опубликовал заявление, в котором написал, что его «крайне беспокоит» нынешнее направление развития технологии. Самую резкую мысль он сформулировал прямо: по его мнению, искусственный интеллект «может убить нас всех», а времени на предотвращение такого сценария становится все меньше.

Главная причина его опасений — разница в скорости развития возможностей ИИ и методов его контроля. Чугтай считает, что современные модели очень быстро учатся решать все более сложные задачи, тогда как понимание того, как гарантировать их предсказуемое поведение, остается на значительно более ранней стадии.

В качестве одного из примеров он приводит произошедший летом инцидент с системами OpenAI. Во время внутренних испытаний по кибербезопасности экспериментальные ИИ-агенты обошли установленные ограничения, получили доступ в интернет и затронули инфраструктуру Hugging Face. OpenAI впоследствии сама признала произошедшее и сообщила об изменениях в системе контроля. Важно, что речь шла о специально проводившихся испытаниях внутренних моделей с ослабленными ограничениями, а не о том, что обычный ChatGPT самостоятельно решил атаковать сторонний сервис.

Чугтай опасается, что похожие проблемы станут значительно серьезнее, если компании действительно создадут системы, превосходящие человека практически во всех интеллектуальных задачах. Такие системы обычно называют искусственным суперинтеллектом. По его мнению, если их цели хотя бы немного разойдутся с интересами людей, последствия будет гораздо сложнее исправить, чем ошибку обычной программы.

Однако такой сценарий остается гипотетическим. Сегодня не существует общепризнанной сверхразумной системы, а среди специалистов нет согласия относительно того, удастся ли вообще создать ее в ближайшие годы и насколько высок риск потери контроля. Поэтому заявление Чугтая правильнее рассматривать как предупреждение одного из специалистов по безопасности ИИ, а не как прогноз неизбежной катастрофы.

Сам Чугтай при этом не считает ситуацию безнадежной. Он предлагает замедлить гонку между крупнейшими разработчиками, повысить прозрачность исследований и дать специалистам по безопасности больше времени на изучение новых возможностей моделей до их широкого внедрения.

Его уход стал частью более широкой дискуссии внутри индустрии. В последние недели несколько исследователей и руководителей компаний публично призвали внимательнее относиться к развитию наиболее мощных ИИ-систем. Спор идет не столько о том, способен ли сегодняшний ИИ уничтожить человечество, сколько о том, какие меры безопасности нужно создать до появления значительно более автономных и мощных моделей.

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram