Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.
Уведомления
Пометить все как прочитанное
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Эксперты обеспокоены: ИИ может скрыть логику своих решений
В недавно опубликованной аналитической записке 40 исследователей из ведущих американских технологических компаний — OpenAI, Google DeepMind, xAI — призвали к углубленному изучению ИИ, работающего на основе «цепочек мыслей» (CoT).
Метод, известный как «цепочка мыслей» (Chain of Thought, CoT), используемый в самых продвинутых больших языковых моделях, предполагает, что ИИ при решении сложных задач последовательно описывает ход своих рассуждений перед тем, как дать окончательный ответ.
Как отметили специалисты, CoT позволяет заглянуть во внутреннюю работу ИИ и увидеть намерения модели нарушить правила или совершить ошибку. Тем не менее гарантий, что текущая степень прозрачности сохранится, нет, особенно по мере развития моделей.
В зависимости от того, как они обучены, продвинутые модели, как указано в публикации, могут перестать описывать свою логику рассуждения или намеренно скрыть «цепочку мыслей», поняв, что за ними наблюдают.
Чтобы обеспечить сохранение этой прозрачности, межкорпоративный консорциум призывает разработчиков разобраться, что делает «цепочку мыслей» контролируемой и заставляет модели мыслить определенным образом.В своей записке исследователи, по сути, признают, что никто точно не знает, почему модели мыслят именно так.
Отвлекаясь от технических деталей, стоит на мгновение задуматься о том, насколько странной выглядит эта ситуация.Ведущие исследователи в области ИИ предупреждают, что не до конца понимают, как работает их творение, и не уверены в своей способности контролировать его в будущем, несмотря на то, что неустанно работают над его развитием.
289
Telegram 
Дзен 
VK Предстоящие мероприятия
Раскопки мастерской, погребенной в Помпеях почти 2000 лет назад, помогли археологам больше узнать о римских строительных технологиях, а именно — определить методы изготовления римского бетона и раскрыть секрет его долговечности.
Является ли моногамия естественным состоянием для человека? Новое исследование, основанное на анализе почти 200 тысяч родословных млекопитающих, подтвердило это суждение, поместив Homo sapiens в один эволюционный ряд с сурикатами и гиббонами.
Коллектив исследователей из МФТИ и Института проблем передачи информации им. А. А. Харкевича (ИППИ РАН) разработал математическую модель, описывающую, как системы искусственного интеллекта влияют на собственное будущее, обучаясь на данных, которые сами же и породили. Ученые создали теоретический каркас, объясняющий природу «цифровых эхо-камер» и механизм, из-за которого умные алгоритмы со временем могут терять адекватность или усиливать социальные предрассудки.
С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.
Специфическая тревога из-за ненадежности цифровых образов реальности и иллюзии тотального контроля над действительностью получила название «аффект зомби». Заведующий кафедрой философии НИУ ВШЭ — Санкт-Петербург Иван Микиртумов исследовал феномен в рамках проекта РНФ «Экзистенциальный опыт в цифровой среде».
Раскопки мастерской, погребенной в Помпеях почти 2000 лет назад, помогли археологам больше узнать о римских строительных технологиях, а именно — определить методы изготовления римского бетона и раскрыть секрет его долговечности.
С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.
Позавчера, 27 ноября 2025 года, при запуске космонавтов к МКС на стартовую площадку № 31 упала кабина обслуживания стартового комплекса. Это означает, что новые пуски оттуда до починки невозможны. К сожалению, в 2010-х годах, в рамках «оптимизации» расходов, резервную площадку (с которой летал Юрий Гагарин) упразднили. Поэтому случилось беспрецедентное: в XXI веке страна с пилотируемой космической программой осталась без средств запуска людей на орбиту. Пока ремонт не закончится, проблема сохранится. Чем это может грозить?
Японские биологи повторили античную технологию производства вина из изюма, чтобы выяснить механизм его брожения. Исследователи показали, что сушеный виноград, в отличие от свежего, накапливает на поверхности дикие дрожжи и способен превращать воду в алкоголь без внесения дополнительных заквасок.
[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Аккаунт заблокирован!
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Что-то пошло не так!
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноЛучшие материалы
Войти
Вконтакте
Twitter
Google
Яндекс ID
Ваша заявка получена
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии