• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Эксперты обеспокоены: ИИ может скрыть логику своих решений

В недавно опубликованной аналитической записке 40 исследователей из ведущих американских технологических компаний — OpenAI, Google DeepMind, xAI — призвали к углубленному изучению ИИ, работающего на основе «цепочек мыслей» (CoT).

Человек проверяет программный код, сгенерированный ИИ / © Getty Images 
Человек проверяет программный код, сгенерированный ИИ / © Getty Images 

Метод, известный как «цепочка мыслей» (Chain of Thought, CoT), используемый в самых продвинутых больших языковых моделях, предполагает, что ИИ при решении сложных задач последовательно описывает ход своих рассуждений перед тем, как дать окончательный ответ.

Как отметили специалисты, CoT позволяет заглянуть во внутреннюю работу ИИ и увидеть намерения модели нарушить правила или совершить ошибку. Тем не менее гарантий, что текущая степень прозрачности сохранится, нет, особенно по мере развития моделей.

В зависимости от того, как они обучены, продвинутые модели, как указано в публикации, могут перестать описывать свою логику рассуждения или намеренно скрыть «цепочку мыслей», поняв, что за ними наблюдают.

Чтобы обеспечить сохранение этой прозрачности, межкорпоративный консорциум призывает разработчиков разобраться, что делает «цепочку мыслей» контролируемой и заставляет модели мыслить определенным образом.В своей записке исследователи, по сути, признают, что никто точно не знает, почему модели мыслят именно так.

Отвлекаясь от технических деталей, стоит на мгновение задуматься о том, насколько странной выглядит эта ситуация.Ведущие исследователи в области ИИ предупреждают, что не до конца понимают, как работает их творение, и не уверены в своей способности контролировать его в будущем, несмотря на то, что неустанно работают над его развитием.  

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
10 марта, 08:45
Татьяна Зайцева

Пандемия чумы, охватившая Европу в середине XIV века, уничтожила, по меньшей мере, треть населения континента. Помимо прочего, это привело к массовому упадку сельского хозяйства и зарастанию полей. Но, хотя дикая природа вступила в свои права, вместе с численностью населения резко упало и разнообразие растений. Такие парадоксальные результаты показало новое исследование.

8 марта, 10:58
Татьяна Зайцева

Согласно гипотезе о так называемой Еврогондване, в эпоху динозавров Европа, как часть северного суперконтинента Лавразия, еще не полностью отделилась от южного суперконтинента Гондвана и животные могли свободно мигрировать между Европой и Африкой. Однако новый анализ найденных в Венгрии костей первобытного крокодила показал, что его сходство с гондванскими видами обусловлено не близким родством, а схожим образом жизни.

9 марта, 15:24
Александр Березин

Треть века назад Штаты и Мексика подписали Североамериканское соглашение о свободной торговле. Авторы новой научной работы показали, что это спровоцировало рост войн между бандами и подъем смертности среди молодых мужчин на десятки процентов — но только в тех зонах, которые были интересны картелям. Всего после подписания соглашения в Мексике было убито (оценка с учетом исчезнувших трупов) более 0,85 миллиона человек.

5 марта, 08:10
Александр Березин

Одна сторона сыплет более дорогими и сложными баллистическими ракетами, другая — относительно дешевыми крылатыми. Но при этом первая на порядок беднее второй. А что у них с технологическим уровнем для наземной войны, и почему, кстати, глава второй избегает даже самого этого слова? Попробуем разобраться в реальных возможностях военных машин сторон потенциально самого опасного конфликта 2026 года.

6 марта, 13:26
ФизТех

Российские ученые из МФТИ с коллегами из Института прикладной математики им. М. В. Келдыша РАН и Института физики Земли им. О.Ю. Шмидта РАН разработали инновационный метод для расчета равновесного распределения несмешивающихся жидкостей в пористой среде. Результаты применения этого метода можно использовать в разработках по повышению нефтеотдачи и гидрологии, а также геологического СО2-хранения.

6 марта, 16:13
Губкинский университет

Запасы лития в России требуют переоценки и могут оказаться в разы выше, чем считалось до 2025 года. Об этом говорится в исследовании «Состояние ресурсной базы критически важных металлов и элементов для развития современных технологий», подготовленном учеными РГУ нефти и газа (НИУ) имени И.М. Губкина.

12 февраля, 07:52
Адель Романова

Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.

3 марта, 14:06
Александр Березин

В ноябре 2025 года при взлете российской ракеты с Байконура к МКС с существенной высоты упала кабина обслуживания 8У216. Поскольку в 2010-х годах из экономии средств у нас отказались от дублирования стартовых площадок, это создало ситуацию временной невозможности пилотируемых полетов. Теперь, всего через три месяца после происшествия, «Роскосмос» смог решить проблему, поставив запасную кабину обслуживания, найденную на складах Минобороны. Весенние пуски к МКС, запланированные ранее, теперь имеют шансы пройти в срок.

12 февраля, 08:19
Полина Меньшова

«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно