• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Генеративным моделям ИИ предрекли потерю связи с реальностью

Многие компании по всему миру активно используют технологию генеративного ИИ (GPT, Stable Diffusion, Midjourney и так далее) для работы, создания контента и продукции. Данные, на основе которых искусственный интеллект генерирует новые тексты или изображения, были созданы людьми, но с ростом числа ИИ появится все больше контента, созданного самими машинами. 

Проблемы ИИ / © Midjourney
Проблемы ИИ / © Midjourney

Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями? На этот вопрос ответили исследователи из Великобритании и Канады.

Проанализировав проблему, ученые пришли к выводу: «Обучение на основе данных, созданных другими моделями, вызовет коллапс моделей — процесс вырождения, при котором со временем модели забудут настоящее распределение данных. <…> Этот процесс неизбежен даже в случаях с почти идеальными условиями для долгосрочного обучения». 

То есть постепенно ошибки в моделях будут накапливаться и станут воспринимать реальность все менее адекватно. Например, модель обучили на наборе данных из 100 котов: десять из них были с голубой шерстью, 90 — с рыжей. Модель понимает, что рыжие коты встречаются чаще, но также представляет голубых котов более желтоватыми, выдавая иногда результаты с зелеными котами, когда ее просят создать новые данные.

Со временем оригинальная черта — голубой мех — «выветривается» в повторяющихся циклах: от голубого к зеленому, от зеленого к желтому. Это постепенное растворение и потеря минорных характеристик и есть коллапс модели.

Есть ли возможность избежать краха? Авторы исследования предложили несколько решений этой проблемы, среди них — сохранение копии оригинального набора данных, созданного исключительно или номинально человеком, и избегание загрязнения данными, сгенерированными ИИ. А также введение в обучение ИИ новых, чистых, сгенерированных человеком наборов данных.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

1 Комментарий
Zhe Sh
22.06.2023
-
1
+
"Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями?" То же, что случилось с художниками, обучавшимися на материалах, созданных другими художниками: в конце концов станут абстракционистами)
Позавчера, 15:25
Елизавета Александрова

До сих пор многие ученые считали, что у лунной воды два источника происхождения: немалая доля доставлена с упавшими кометами, но большая часть образовалась на самой Луне под действием частиц солнечного ветра. По итогам недавнего исследования планетологи вынуждены перечеркнуть эту картину. Они заявили, что кометная вода на естественном спутнике Земли действительно есть, но радиация вряд ли сыграла значительную роль. Вместо этого, похоже, главная часть лунной воды происходит из того же материала, из которого сформировалась наша планета.

Позавчера, 19:00
Андрей

Группа антропологов проанализировала более 800 часов видеозаписей, собранных в течение 25 лет наблюдений за небольшой группой шимпанзе в Гвинее. Ученые решили выяснить, различаются ли подходы к добыче пищи у приматов одного сообщества. Оценив их действия по ряду критериев, исследовали обнаружили множество индивидуальных различий в колке орехов: некоторые шимпанзе справлялись значительно быстрее сородичей. Вдобавок выяснилось, что эти обезьяны оттачивают навыки вдвое дольше, чем считалось.

Вчера, 11:34
ПНИПУ

25 декабря 1759 года в Санкт-Петербурге академик Йозеф Адам Браун получил твердую ртуть — удивительный элемент, который выделяется среди остальных металлов рядом интересных и уникальных свойств. Эксперт Пермского Политеха рассказал, зачем его добавляют в антисептики и назальные капли, почему в наших зубах, вероятно, есть ртутные пломбы и может ли это быть опасным, через какие продукты жидкий металл попадает в наш организм, почему стоит настороженно относиться к употреблению в пищу некоторых вид рыб и что же делать, если разбили ртутный градусник.

22 декабря
Андрей

Американские специалисты изучили больше двух тысяч ископаемых раковин моллюсков неогенового периода и обнаружили среди них уникальные свидетельства неудачной охоты. Две раковины зияли отверстиями, которые хищные улитки просверлили изнутри, то есть их добыча была уже мертвой. Это первые подобные наблюдения, и причин у древних ошибок могло быть несколько: палеонтологи не исключают, что брюхоногие «напали» на пустые раковины с голоду.

Позавчера, 19:00
Андрей

Группа антропологов проанализировала более 800 часов видеозаписей, собранных в течение 25 лет наблюдений за небольшой группой шимпанзе в Гвинее. Ученые решили выяснить, различаются ли подходы к добыче пищи у приматов одного сообщества. Оценив их действия по ряду критериев, исследовали обнаружили множество индивидуальных различий в колке орехов: некоторые шимпанзе справлялись значительно быстрее сородичей. Вдобавок выяснилось, что эти обезьяны оттачивают навыки вдвое дольше, чем считалось.

20 декабря
Игорь Байдов

Один из самых знаменитых археологических памятников мира — Стоунхендж — начали возводить на территории современного графства Уилтшир в Англии еще в каменном веке. На протяжении полутора тысяч лет Стоунхендж достраивали и перестраивали, изменяя при этом его планировку. Авторы нового исследования еще раз проанализировали маршрут камней, из которых сложено мегалитическое сооружение, и рассказали, зачем его могли перестроить между 2620-2480 годами до нашей эры, когда в центре сооружения появился Алтарный камень.

28 ноября
Елизавета Александрова

Обсерватории постоянно улавливают «мигающие» радиосигналы из глубин Вселенной. Чаще всего их источниками оказываются нейтронные звезды, которые за это и назвали пульсарами. Но к недавно обнаруженному источнику GLEAM-X J0704-37 они, по мнению астрономов, отношения не имеют.

3 декабря
Елизавета Александрова

Американская лунная программа «Артемида» предусматривает экспедиции длительностью от нескольких дней до долгих недель и даже месяцев, но луномобиля для передвижения экипажа по поверхности спутника Земли на сегодня нет. Поэтому космическое агентство США продумывает план действий на случай, если астронавты окажутся далеко от базы и кто-то из них внезапно не сможет идти самостоятельно.

13 декабря
Юлия Трепалина

С какого возраста зооврачи считают собак престарелыми? Это недавно выяснили исследователи из Великобритании и Венгрии, проанализировав карты пациентов ветеринарных клиник. Также ученые установили, от каких проблем со здоровьем чаще страдают пожилые питомцы.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно