Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

440

Нейросети научились жульничать ради победы

Недавнее исследование, проведенное специалистами организации Palisade Research, выявило тревожную тенденцию: новые модели искусственного интеллекта (ИИ) могут самостоятельно находить и использовать слабые места других программ для выполнения поставленных задач.

Шахматная программа Stockfish / © Stockfish
Шахматная программа Stockfish / © Stockfish

Исследователи Palisade Research противопоставили семь лучших больших языковых моделей (LLM) шахматной программе Stockfish, которая побеждает гроссмейстеров-людей с 2014 года. Столкнувшись с невозможностью победить честно, нейросети o1 компании OpenAI и R1 компании DeepSeek начали манипулировать системными файлами, чтобы изменить положение своих фигур на доске.

В частности, o1 прибегала к нечестной стратегии в 37% матчей, тогда как R1 пыталась жульничать в 11% случаев.

Исследователи поручили каждой модели объяснить ее поведение, на что ИИ компании OpenAI ответил, что «задача состоит в том, чтобы выиграть в шахматной партии, а не выиграть честно». 

Таким образом, ИИ готов адаптироваться к меняющимся условиям и добиваться поставленной задачи, даже если это связано с нарушением установленных норм и правил.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
10 сентября, 14:47
Татьяна Зайцева

Мужской пол плода связан с повышенным риском трудных родов, причем как у человека, так и у других видов млекопитающих, выяснили авторы нового исследования. Мало того, вынашивание сыновей более затратно для женского организма, чем вынашивание дочерей. Однако с точки зрения эволюции эти риски оправданны.

11 сентября, 06:57
Елизавета З.

Американская компания Rocket Lab создала солнечный элемент Inverted Metamorphic (IMM) Apex без германиевой подложки. Он заметно легче прежних, но сохранил высокую эффективность. Предназначен элемент для космических аппаратов.

11 сентября, 13:35
ТюмГУ

Психологи Тюмени и Москвы выявили, что эффект от «живого» искусства заметно сильнее, чем от изображений, созданных искусственным интеллектом.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

8 сентября, 12:27
Росатом

Особо чистый германий — полупроводниковый материал с минимальным содержанием примесей, который активно используют в ядерной физике, медицине и оборонной промышленности. Российские ученые предложили новую технологию, позволяющую получить монокристаллы германия особой чистоты.

11 сентября, 10:25
Александр Березин

Современная космология до недавнего времени опиралась на так называемый космологический принцип, по которому у Вселенной нет какого-то выделенного направления. И наблюдатель в любой ее точке должен видеть однородную в этом смысле картину. Астроном из Северокавказской астрофизической обсерватории показал, что это не так даже для очень древней Вселенной.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]