• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Генеративным моделям ИИ предрекли потерю связи с реальностью

Многие компании по всему миру активно используют технологию генеративного ИИ (GPT, Stable Diffusion, Midjourney и так далее) для работы, создания контента и продукции. Данные, на основе которых искусственный интеллект генерирует новые тексты или изображения, были созданы людьми, но с ростом числа ИИ появится все больше контента, созданного самими машинами. 

Проблемы ИИ / © Midjourney
Проблемы ИИ / © Midjourney

Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями? На этот вопрос ответили исследователи из Великобритании и Канады.

Проанализировав проблему, ученые пришли к выводу: «Обучение на основе данных, созданных другими моделями, вызовет коллапс моделей — процесс вырождения, при котором со временем модели забудут настоящее распределение данных. <…> Этот процесс неизбежен даже в случаях с почти идеальными условиями для долгосрочного обучения». 

То есть постепенно ошибки в моделях будут накапливаться и станут воспринимать реальность все менее адекватно. Например, модель обучили на наборе данных из 100 котов: десять из них были с голубой шерстью, 90 — с рыжей. Модель понимает, что рыжие коты встречаются чаще, но также представляет голубых котов более желтоватыми, выдавая иногда результаты с зелеными котами, когда ее просят создать новые данные.

Со временем оригинальная черта — голубой мех — «выветривается» в повторяющихся циклах: от голубого к зеленому, от зеленого к желтому. Это постепенное растворение и потеря минорных характеристик и есть коллапс модели.

Есть ли возможность избежать краха? Авторы исследования предложили несколько решений этой проблемы, среди них — сохранение копии оригинального набора данных, созданного исключительно или номинально человеком, и избегание загрязнения данными, сгенерированными ИИ. А также введение в обучение ИИ новых, чистых, сгенерированных человеком наборов данных.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

1 Комментарий
Zhe Sh
22.06.2023
-
1
+
"Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями?" То же, что случилось с художниками, обучавшимися на материалах, созданных другими художниками: в конце концов станут абстракционистами)
Предстоящие мероприятия
29 января, 19:38
Александр Березин

Некоторые исследователи предполагали, что по мере исчезновения морского льда белые медведи потеряют кормовую базу и начнут умирать от истощения. Однако их популяция, живущая в районе максимального исчезновения морского льда, напротив, существенно прибавила в весе.

28 января, 15:14
ФизТех

Ученые МФТИ с коллегами сравнили возможности классической магнитной силовой микроскопии (МСМ) и разработанного ими ранее нового метода для изучения дефектов в сверхпроводящих пленках. Оказалось, что в ходе сканирования поверхности с помощью квантового вихря, «ухватившегося» за магнитный зонд, можно визуализировать несовершенства структуры в толще материала, получив разрешение на порядок выше возможностей МСМ. Способность метода находить неразличимые для поверхностных методов скрытые дефекты задает новые стандарты в контроле качества сверхпроводников и сверхпроводящих приборов.

30 января, 12:06
Илья Гриднев

Исследователи доказали реальность двумерных дискретных кристаллов времени, которые ранее существовали лишь в теории. Для эксперимента использовали мощный квантовый процессор, позволивший материи поддерживать ритм колебаний без потери энергии.

26 января, 14:26
Александр Березин

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

28 января, 10:50
Игорь Байдов

Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.

25 января, 16:53
Evgenia Vavilova

В зоопарках звери доживают до старости и выбывают из программ глобального сохранения видов, потому что не могут размножаться. Это ставит под угрозу усилия по поддержанию популяций редких видов.

12 января, 15:39
Александр Березин

От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.

26 января, 14:26
Александр Березин

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

20 января, 13:40
Александр Березин

Хотя зоологи уже не раз наблюдали использование орудий у относительно близких к людям видов, — от приматов до свиней — коровы до сих пор не были за этим замечены. Теперь ситуация изменилась: оказалось, что они могут использовать многоцелевые орудия по-разному, в зависимости от обстоятельств.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно