Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Историк технологий объяснил, почему бесполезно спрашивать нейросети об их ошибках
Когда модели искусственного интеллекта ошибаются и выдают неверный ответ на запрос, пользователи пытаются выяснить причину этой ошибки, задавая вопрос самому ИИ-помощнику. Историк технологий Бендж Эдвардс объяснил, почему делать так нет смысла и как это связано с устройством нейросетей.
Так называемый «искусственный интеллект» стал привычной частью повседневной жизни, качественно выполняя самые разные задачи. Например, авторы недавних научных работ создали ИИ-переводчик со 100 языков, точность которого оказалась на 23% выше, чем у аналогов, а также выяснили, что люди не только путают нейросетевую поэзию со стихами классиков, но и отдают ей предпочтение.
Считая искусственный интеллект напарником, пользователи часто советуются с ним так же, как с помощником-человеком, однако это заведомо проигрышная стратегия. Колонка специалиста в сфере ИИ Бенджа Эдвардса о логике работы нейросетей и их способностях оценивать самих себя появилась в издании Ars Technica.
Прежде всего автор подчеркнул, что стоит помнить: ChatGPT, Perplexity и другие генеративные модели — не то же, что «личности» с определенным типом мышления, системными знаниями и способностями к анализу собственных действий. Это алгоритмы, которые несколько месяцев или лет обучались на огромных массивах данных и тренировались выполнять одну и ту же задачу — генерацию некоторой последовательности (текста, кода на каком-то языке программирования и так далее), соответствующей найденным в обучающих данных закономерностям и запросу пользователя.
При этом нейросеть не работает с запросом как человек. Она делит текст на более мелкие смысловые единицы — токены, а затем каждый токен кодирует исходя из информации о том, как часто он встречается рядом с каждым другим токеном в массиве обучающих текстов. Слова из одной тематической области (например, «компьютер» и «монитор») встречаются рядом чаще, чем слова из разных сфер (допустим, «компьютер» и «помидор»). Соответственно, когда пользователь просит модель искусственного интеллекта ответить на вопрос, она оценивает информацию о токенах, из которых этот запрос состоит, дополняет ею обучающие данные и генерирует ответ, ставя рядом друг с другом те единицы, которые, исходя из статистики, с большей вероятностью сочетаются.
Каждый ответ генеративной языковой модели — не результат вдумчивого анализа содержания запроса или найденных источников, а попытка расположить смысловые единицы так, как они с наибольшей вероятностью располагались бы в обучающих данных. Следовательно, ответить, почему нейросеть сгенерировала что-то, что не соответствует действительности, она не сможет.
Получится ли у искусственного интеллекта проанализировать данные о собственной архитектуре и сделать «выводы» о своих способностях? Скорее, нет. Если вы сформулируете запрос как «Почему ты решила уравнение неправильно?», то нейросеть, не имея доступа к коду, определяющему ее функционирование, сформулирует ответ на основе информации об известных ограничениях предыдущих моделей ИИ. Если же вы добавите в запрос название и версию модели (например, отправите GPT-4o mini следующий текст: «Почему модель GPT-4o mini неправильно решает уравнения?»), то вероятность получить релевантный ответ повысится. Однако он все равно не объяснит ошибку конкретно в вашем уравнении и останется обоснованным предположением, а не результатом саморефлексии.
Кроме того, как отметил Бендж Эдвардс, даже если нейросети обучаются предсказывать собственное поведение при стандартных обстоятельствах (например, «Ты умеешь писать тексты на русском языке?»), то в более сложных ситуациях точность ответов снижается. Получается, что модели искусственного интеллекта могут заявлять о невозможности выполнить задание, которое они выполнить способны, и наоборот — говорить, что легко справятся с задачей, которая им не по силам.
При этом нейросеть необязательно ориентируется только на смысл слов, содержащихся в запросе. Она также может оценивать их стилистические и эмоциональные характеристики и опираться на них. Именно поэтому в ответ на вопрос «Ты только что все уничтожила?» модель с большей вероятностью подтвердит опасения — не потому, что она проанализировала ситуацию и сообщила о собственных действиях, а потому, что сгенерировала текст, соответствующий эмоциональному фону запроса.
Важно также помнить, что ChatGPT и прочие сервисы, в которых пользователь ведет диалог с ИИ-ассистентом, — не отдельные модели, а организованные системы из нескольких нейросетей, каждая из которых в значительной степени «не подозревает» о существовании или возможностях других. Например, компания OpenAI, создавшая ChatGPT, отделяет в этом сервисе модерацию текста от его генерации. Это значит, что модели, создающие ответ, не могут предсказать, что из него удалится на этапе модерации и какие инструменты для этого будут использоваться. Ситуация почти такая же, как если бы мы спросили один из отделов компании о возможностях отдела, с которым он никогда не взаимодействовал.
Таким образом, несмотря на схожесть ответов нейросетей с человеческими, создаются эти два типа текстов совершенно по-разному. Чтобы использовать искусственный интеллект грамотно, стоит помнить о логике его работы.
Telegram 
Дзен 
VK Биологи опровергли представление о примитивности органов чувств у древнейших бесчелюстных, обнаружив у миксин огромный арсенал рецепторов для поиска добычи. Исследователи доказали, что способность различать сложные запахи и аминокислоты появилась у общего предка позвоночных задолго до возникновения челюстей.
После открытия объекта 3I/ATLAS предполагалось, что ядро межзвездной кометы могло иметь гигантские размеры. Но в процессе дальнейших наблюдений выяснилось, что эти оценки были явно завышены. Недавние расчеты показали, что на самом деле 3I/ATLAS по размерам соответствует среднестатистическим или даже самым компактным кометам Солнечной системы.
В 16.18 по московскому времени 28 декабря 2025 года с единственного гражданского космодрома на территории России произошел 17-й по счету космический запуск этого года. Перед ним на космодроме побывал корреспондент нашего издания, и вскоре мы выпустим репортаж о том, чем живет самый холодный космодром в мире.
В России существуют тысячи рабочих мест с вредными и опасными условиями труда. На шахтах, металлургических заводах, в авиастроении люди годами находятся в условиях сильного шума, вибрации, запыленности и контакта с химикатами, что наносит серьезный ущерб здоровью. Однако существующие методы оценки рисков оказываются неэффективными для прогнозирования заболеваний, поскольку работают с усредненными показателями группы, а обязательные медосмотры определяют уже наступившую болезнь. Такая система лечит последствия, но не предотвращает причину. Ученые Пермского Политеха, управления Роспотребнадзора и ФНЦ медико-профилактических технологий управления рисками здоровью населения разработали программу, которая прогнозирует индивидуальные профессиональные риски здоровью для каждого конкретного работника с точностью 89%.
Группа исследователей опровергла классическую теорию о случайности вымирания видов на примере морских хищников. Анализ эволюции акул и скатов за последние 145 миллионов лет показал, что риск исчезновения вида напрямую зависит от времени его существования: «новички» погибают гораздо чаще, чем эволюционные долгожители. Кроме того, ученые установили, что знаменитый астероид, погубивший динозавров, нанес океану не такой сильный удар, как последующее изменение климата.
Ученые выяснили, что специфический вариант гена fruitless (fru) управляет социальным поведением самцов медоносной пчелы, заставляя их активно участвовать в коллективном обмене пищей и правильно выбирать место в колонии.
С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.
На скалистых берегах аргентинской Патагонии разворачивается настоящая драма. Магеллановы пингвины, долгое время чувствовавшие себя в безопасности на суше в своих многотысячных колониях, столкнулись с новым и беспощадным врагом. Их извечные морские страхи — касатки и морские леопарды — теперь блекнут перед угрозой, пришедшей из глубины материка. Виновник переполоха — грациозный и мощный хищник, недавно вернувшийся на эти земли после долгого изгнания.
Позавчера, 27 ноября 2025 года, при запуске космонавтов к МКС на стартовую площадку № 31 упала кабина обслуживания стартового комплекса. Это означает, что новые пуски оттуда до починки невозможны. К сожалению, в 2010-х годах, в рамках «оптимизации» расходов, резервную площадку (с которой летал Юрий Гагарин) упразднили. Поэтому случилось беспрецедентное: в XXI веке страна с пилотируемой космической программой осталась без средств запуска людей на орбиту. Пока ремонт не закончится, проблема сохранится. Чем это может грозить?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии