Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Историк технологий объяснил, почему бесполезно спрашивать нейросети об их ошибках
Когда модели искусственного интеллекта ошибаются и выдают неверный ответ на запрос, пользователи пытаются выяснить причину этой ошибки, задавая вопрос самому ИИ-помощнику. Историк технологий Бендж Эдвардс объяснил, почему делать так нет смысла и как это связано с устройством нейросетей.
Так называемый «искусственный интеллект» стал привычной частью повседневной жизни, качественно выполняя самые разные задачи. Например, авторы недавних научных работ создали ИИ-переводчик со 100 языков, точность которого оказалась на 23% выше, чем у аналогов, а также выяснили, что люди не только путают нейросетевую поэзию со стихами классиков, но и отдают ей предпочтение.
Считая искусственный интеллект напарником, пользователи часто советуются с ним так же, как с помощником-человеком, однако это заведомо проигрышная стратегия. Колонка специалиста в сфере ИИ Бенджа Эдвардса о логике работы нейросетей и их способностях оценивать самих себя появилась в издании Ars Technica.
Прежде всего автор подчеркнул, что стоит помнить: ChatGPT, Perplexity и другие генеративные модели — не то же, что «личности» с определенным типом мышления, системными знаниями и способностями к анализу собственных действий. Это алгоритмы, которые несколько месяцев или лет обучались на огромных массивах данных и тренировались выполнять одну и ту же задачу — генерацию некоторой последовательности (текста, кода на каком-то языке программирования и так далее), соответствующей найденным в обучающих данных закономерностям и запросу пользователя.
При этом нейросеть не работает с запросом как человек. Она делит текст на более мелкие смысловые единицы — токены, а затем каждый токен кодирует исходя из информации о том, как часто он встречается рядом с каждым другим токеном в массиве обучающих текстов. Слова из одной тематической области (например, «компьютер» и «монитор») встречаются рядом чаще, чем слова из разных сфер (допустим, «компьютер» и «помидор»). Соответственно, когда пользователь просит модель искусственного интеллекта ответить на вопрос, она оценивает информацию о токенах, из которых этот запрос состоит, дополняет ею обучающие данные и генерирует ответ, ставя рядом друг с другом те единицы, которые, исходя из статистики, с большей вероятностью сочетаются.
Каждый ответ генеративной языковой модели — не результат вдумчивого анализа содержания запроса или найденных источников, а попытка расположить смысловые единицы так, как они с наибольшей вероятностью располагались бы в обучающих данных. Следовательно, ответить, почему нейросеть сгенерировала что-то, что не соответствует действительности, она не сможет.
Получится ли у искусственного интеллекта проанализировать данные о собственной архитектуре и сделать «выводы» о своих способностях? Скорее, нет. Если вы сформулируете запрос как «Почему ты решила уравнение неправильно?», то нейросеть, не имея доступа к коду, определяющему ее функционирование, сформулирует ответ на основе информации об известных ограничениях предыдущих моделей ИИ. Если же вы добавите в запрос название и версию модели (например, отправите GPT-4o mini следующий текст: «Почему модель GPT-4o mini неправильно решает уравнения?»), то вероятность получить релевантный ответ повысится. Однако он все равно не объяснит ошибку конкретно в вашем уравнении и останется обоснованным предположением, а не результатом саморефлексии.
Кроме того, как отметил Бендж Эдвардс, даже если нейросети обучаются предсказывать собственное поведение при стандартных обстоятельствах (например, «Ты умеешь писать тексты на русском языке?»), то в более сложных ситуациях точность ответов снижается. Получается, что модели искусственного интеллекта могут заявлять о невозможности выполнить задание, которое они выполнить способны, и наоборот — говорить, что легко справятся с задачей, которая им не по силам.
При этом нейросеть необязательно ориентируется только на смысл слов, содержащихся в запросе. Она также может оценивать их стилистические и эмоциональные характеристики и опираться на них. Именно поэтому в ответ на вопрос «Ты только что все уничтожила?» модель с большей вероятностью подтвердит опасения — не потому, что она проанализировала ситуацию и сообщила о собственных действиях, а потому, что сгенерировала текст, соответствующий эмоциональному фону запроса.
Важно также помнить, что ChatGPT и прочие сервисы, в которых пользователь ведет диалог с ИИ-ассистентом, — не отдельные модели, а организованные системы из нескольких нейросетей, каждая из которых в значительной степени «не подозревает» о существовании или возможностях других. Например, компания OpenAI, создавшая ChatGPT, отделяет в этом сервисе модерацию текста от его генерации. Это значит, что модели, создающие ответ, не могут предсказать, что из него удалится на этапе модерации и какие инструменты для этого будут использоваться. Ситуация почти такая же, как если бы мы спросили один из отделов компании о возможностях отдела, с которым он никогда не взаимодействовал.
Таким образом, несмотря на схожесть ответов нейросетей с человеческими, создаются эти два типа текстов совершенно по-разному. Чтобы использовать искусственный интеллект грамотно, стоит помнить о логике его работы.
Telegram 
Дзен 
VK Ученые из МФТИ разработали и предложили новую систему единиц для электродинамики, способную примирить два главенствующих, но исторически несовместимых подхода. Эта компромиссная система, названная авторами физико-технической (ФТ), сохраняет практическое удобство Международной системы единиц (СИ), используемой инженерами по всему миру, и в то же время отражает теоретическую стройность и симметрию гауссовой системы (СГС), предпочитаемой физиками-теоретиками.
Ученые из коллаборации LIGO, VIRGO и KAGRA впервые зафиксировали гравитационно-волновые события, указывающие на существование черных дыр второго поколения — «потомков» предыдущих слияний. Открытие позволит понять, как именно во Вселенной рождаются сверхмассивные черные дыры.
Эксперимент, устроенный в морском аквариуме в Лос-Анджелесе, продемонстрировал, что акулы и скаты, принадлежащие к пластиножаберным рыбам, могут обладать более высоким уровнем интеллекта. Значит, им необходима обогащенная среда обитания при содержании в неволе.
Ученые из МФТИ разработали и предложили новую систему единиц для электродинамики, способную примирить два главенствующих, но исторически несовместимых подхода. Эта компромиссная система, названная авторами физико-технической (ФТ), сохраняет практическое удобство Международной системы единиц (СИ), используемой инженерами по всему миру, и в то же время отражает теоретическую стройность и симметрию гауссовой системы (СГС), предпочитаемой физиками-теоретиками.
Исследователи объяснили, как цивилизация майя добивалась высокой точности в предсказании солнечных затмений на протяжении столетий. Для коррекции накапливающихся астрономических неточностей они использовали сложную систему пересекающихся календарных таблиц.
В последние годы содержание кошек дома без возможности свободного выгула все чаще преподносят как идеальную модель, которая ограждает дикую фауну от нападений и обеспечивает благополучие самих питомцев. Подобные утверждения в разных частях мира звучат от некоторых защитников природы и представителей властей. Однако группа ветеринаров из Австралии и Дании недавно раскритиковала такой подход. Ученые не спорят с тем, что кошки влияют на уязвимые экосистемы и что ограничение их свободы — действенная мера по смягчению этого эффекта. Тем не менее исследователи настаивают, что жизнь в изоляции для питомцев совсем не благо. Заявляющие обратное как минимум ошибаются, а в худшем случае намеренно вводят общественность в заблуждение.
Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.
В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.
Экспедиционное судно «Эндьюранс» более века называли самым прочным деревянным судном, когда-либо построенным человеком. Но находка, сделанная на дне моря, и изучение старых писем раскрыли неприятную правду. Легендарный «Эндьюранс» Шеклтона вовсе не был непобедимым левиафаном. Напротив, он имел фатальные недостатки, а капитан знал об этом еще до того, как ушел в роковое плавание к берегам Антарктиды.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии