• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Генеративным моделям ИИ предрекли потерю связи с реальностью

Многие компании по всему миру активно используют технологию генеративного ИИ (GPT, Stable Diffusion, Midjourney и так далее) для работы, создания контента и продукции. Данные, на основе которых искусственный интеллект генерирует новые тексты или изображения, были созданы людьми, но с ростом числа ИИ появится все больше контента, созданного самими машинами. 

Проблемы ИИ / © Midjourney
Проблемы ИИ / © Midjourney / Автор: Владимир Богданов

Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями? На этот вопрос ответили исследователи из Великобритании и Канады.

Проанализировав проблему, ученые пришли к выводу: «Обучение на основе данных, созданных другими моделями, вызовет коллапс моделей — процесс вырождения, при котором со временем модели забудут настоящее распределение данных. <…> Этот процесс неизбежен даже в случаях с почти идеальными условиями для долгосрочного обучения». 

То есть постепенно ошибки в моделях будут накапливаться и станут воспринимать реальность все менее адекватно. Например, модель обучили на наборе данных из 100 котов: десять из них были с голубой шерстью, 90 — с рыжей. Модель понимает, что рыжие коты встречаются чаще, но также представляет голубых котов более желтоватыми, выдавая иногда результаты с зелеными котами, когда ее просят создать новые данные.

Со временем оригинальная черта — голубой мех — «выветривается» в повторяющихся циклах: от голубого к зеленому, от зеленого к желтому. Это постепенное растворение и потеря минорных характеристик и есть коллапс модели.

Есть ли возможность избежать краха? Авторы исследования предложили несколько решений этой проблемы, среди них — сохранение копии оригинального набора данных, созданного исключительно или номинально человеком, и избегание загрязнения данными, сгенерированными ИИ. А также введение в обучение ИИ новых, чистых, сгенерированных человеком наборов данных.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

1 Комментарий

Zhe Sh
22.06.2023
-
1
+
"Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями?" То же, что случилось с художниками, обучавшимися на материалах, созданных другими художниками: в конце концов станут абстракционистами)
Предстоящие мероприятия
Позавчера, 11:10
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

Вчера, 10:39
Даниил Сухинов

Что заставляет одних животных быть моногамными, иметь на протяжении жизни только одного партнера и ухаживать за потомством, в то время как другие близкородственные виды не стеснены подобными рамками и могут вести беспорядочную половую жизнь? Исследователи из США и Канады, вероятно, нашли ответ на этот вопрос — по крайней мере для двух видов хомячков.

Позавчера, 13:27
Игорь Байдов

Несколько лет назад ученые открыли белый карлик, вращающийся вокруг солнцеподобной звезды в системе KIC 8145411. После ряда спектроскопических исследований выяснилось, что этот объект очень «легкий». В свою очередь, компьютерное моделирование показало, что маломассивные белые карлики в такого рода системах существовать не могут. После нового анализа американские астрономы, наконец, объяснили этот феномен.

Позавчера, 11:10
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

13 мая
Александр Березин

Десятки лет назад ученые выдвинули гипотезу, что облик рода Homo возник под действием специфической задачи: добычи дичи с помощью бега. Несмотря на общую логичность этой версии, против нее выдвигали ряд контраргументов: бег энергозатратен, да и примеров «беговой охоты» в XX веке не столь много. Похоже, теперь оба эти возражения снимаются.

14 мая
Дарья Г.

У Марса и Солнца есть сходство: условия в ионосфере планеты, особенно над областями сильных остаточных магнитных полей, похожи на условия в короне светила. Ученые предполагали, что это может приводить к объемным выбросам на Красной планете вроде корональных выбросов на Солнце. И вот впервые им удалось засечь следы такого события.

24 апреля
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

Позавчера, 11:10
НИУ ВШЭ

Международный коллектив исследователей при участии ученых из Института когнитивных нейронаук НИУ ВШЭ изучил, как выбор иностранного языка влияет на когнитивные способности человека. Оказалось, что языки, непохожие на родной, стимулируют когнитивную функцию на начальном этапе их изучения, а близкие к родному имеют отложенный эффект и помогают мозгу эффективнее работать при более высоком уровне владения иностранным языком.

3 мая
Василий Парфенов

Ледяной покров Антарктики претерпевает значительные изменения на протяжении года, и его поведение хорошо изучено в общем. Но некоторые локальные аномалии объяснить не получается вот уже несколько десятилетий. Одна из них — полынья возвышения Мод, или полынья моря Уэдделла, которая появляется нерегулярно на одном и том же месте. Международная команда океанологов, наконец, смогла разгадать механизмы ее образования.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно