Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
Эксперты обеспокоены: ИИ может скрыть логику своих решений
В недавно опубликованной аналитической записке 40 исследователей из ведущих американских технологических компаний — OpenAI, Google DeepMind, xAI — призвали к углубленному изучению ИИ, работающего на основе «цепочек мыслей» (CoT).
Метод, известный как «цепочка мыслей» (Chain of Thought, CoT), используемый в самых продвинутых больших языковых моделях, предполагает, что ИИ при решении сложных задач последовательно описывает ход своих рассуждений перед тем, как дать окончательный ответ.
Как отметили специалисты, CoT позволяет заглянуть во внутреннюю работу ИИ и увидеть намерения модели нарушить правила или совершить ошибку. Тем не менее гарантий, что текущая степень прозрачности сохранится, нет, особенно по мере развития моделей.
В зависимости от того, как они обучены, продвинутые модели, как указано в публикации, могут перестать описывать свою логику рассуждения или намеренно скрыть «цепочку мыслей», поняв, что за ними наблюдают.
Чтобы обеспечить сохранение этой прозрачности, межкорпоративный консорциум призывает разработчиков разобраться, что делает «цепочку мыслей» контролируемой и заставляет модели мыслить определенным образом.В своей записке исследователи, по сути, признают, что никто точно не знает, почему модели мыслят именно так.
Отвлекаясь от технических деталей, стоит на мгновение задуматься о том, насколько странной выглядит эта ситуация.Ведущие исследователи в области ИИ предупреждают, что не до конца понимают, как работает их творение, и не уверены в своей способности контролировать его в будущем, несмотря на то, что неустанно работают над его развитием.
Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Telegram 
Дзен 
VK
Предстоящие мероприятия
Новые данные существенно дополняют картину теплокровности динозавров и добавляют веса точке зрения, что множество, если не большинство их видов были покрыты перьями и обладали сложным поведением. Весьма вероятно, что эта их особенность способствовала как расцвету группы, так и вымиранию всех нептичьих динозавров после Чиксулуба.
Бивень мамонта был для людей каменного века важным материалом с собственным рисунком, способным повлиять на замысел изображения. Археологи выяснили, что создатели фигурок с Мезинской стоянки (Украина) использовали естественные линии внутри бивня как основу для выгравированных зигзагов.
Компания Nikon объявила победителей ежегодного конкурса Small World in Motion 2026 года. Жюри отобрало лучшие видеоролики и таймлапсы, снятые через микроскоп. Предлагаем вам посмотреть работы, объединившие науку и искусство.
Спустя три года после начала испытательных полетов крупнейшую ракету и космический корабль в истории человечества объявили готовыми к первому запуску на орбиту. Причем его планируют сразу десятичасовым и с выводом большой группы спутников Starlink нового поколения. По пропускной способности один этот запуск добавит столько же, сколько десять запусков Falcon 9, современного лидера серийного земного ракетостроения.
Экономисты НИУ ВШЭ выяснили, что российские сотрудники, которые регулярно пользуются искусственным интеллектом в работе, зарабатывают намного больше тех, кто отказывается от новых инструментов или прибегает к ним время от времени. Среди высококвалифицированных специалистов прибавка достигает 41,8%.
Анализ данных о почти 300 тысячах километров римских дорог, проложенных по территории бывшей империи, показал, что они вовсе не были такими прямыми, как принято считать. Кроме того, выяснилось, что известная поговорка «Все дороги ведут в Рим» тоже не соответствует истине.
Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
[miniorange_social_login]
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Комментарий на проверке
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
По e-mail
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии