• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Генеративным моделям ИИ предрекли потерю связи с реальностью

Многие компании по всему миру активно используют технологию генеративного ИИ (GPT, Stable Diffusion, Midjourney и так далее) для работы, создания контента и продукции. Данные, на основе которых искусственный интеллект генерирует новые тексты или изображения, были созданы людьми, но с ростом числа ИИ появится все больше контента, созданного самими машинами. 

Проблемы ИИ / © Midjourney
Проблемы ИИ / © Midjourney

Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями? На этот вопрос ответили исследователи из Великобритании и Канады.

Проанализировав проблему, ученые пришли к выводу: «Обучение на основе данных, созданных другими моделями, вызовет коллапс моделей — процесс вырождения, при котором со временем модели забудут настоящее распределение данных. <…> Этот процесс неизбежен даже в случаях с почти идеальными условиями для долгосрочного обучения». 

То есть постепенно ошибки в моделях будут накапливаться и станут воспринимать реальность все менее адекватно. Например, модель обучили на наборе данных из 100 котов: десять из них были с голубой шерстью, 90 — с рыжей. Модель понимает, что рыжие коты встречаются чаще, но также представляет голубых котов более желтоватыми, выдавая иногда результаты с зелеными котами, когда ее просят создать новые данные.

Со временем оригинальная черта — голубой мех — «выветривается» в повторяющихся циклах: от голубого к зеленому, от зеленого к желтому. Это постепенное растворение и потеря минорных характеристик и есть коллапс модели.

Есть ли возможность избежать краха? Авторы исследования предложили несколько решений этой проблемы, среди них — сохранение копии оригинального набора данных, созданного исключительно или номинально человеком, и избегание загрязнения данными, сгенерированными ИИ. А также введение в обучение ИИ новых, чистых, сгенерированных человеком наборов данных.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

1 Комментарий
Zhe Sh
22.06.2023
"Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями?" То же, что случилось с художниками, обучавшимися на материалах, созданных другими художниками: в конце концов станут абстракционистами)
3 августа, 13:03
Evgenia Vavilova

В Тюмени у «Газпром нефти» естественным образом сформировался большой научно-исследовательский кластер. В городе расположено более десятка институтов и образовательных центров, филиалы РАН, а в 2024 году на полную мощность заработал исследовательский центр «Геосфера». Корреспондент Naked Science побывала в Тюмени по приглашению «Газпром нефти». Рассказываем об этом опыте в подробностях.

4 августа, 10:17
Максим Абдулаев

Эксперимент немецких ученых показал, что лампы теплого света меньше привлекают насекомых. Исследователи провели двухлетнее испытание на шести железнодорожных станциях в природном парке и установили, что замена холодных ламп на теплые вдвое сократила потери ночных летающих насекомых от искусственного освещения.

3 августа, 15:37
Roman Markin

Дарья Алешкина — постдокторант Еврейского университета в Иерусалиме. В лаборатории профессора Йеху Морана она изучает, как морские актинии противостоят вирусам. Но главное — она принесла сюда методы, которых здесь раньше не было, и уже получила результаты, опубликованные в Nature Ecology & Evolution. В этом интервью Дарья рассказывает, как её путь от цитогенетики человека до иммунологии беспозвоночных позволил ей создать уникальные инструменты для изучения древних механизмов защиты.

4 августа, 12:03
Александр Березин

Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.

1 августа, 20:27
Evgenia Vavilova

Команда исследователей из Германии и Турции впервые исследовала ледник на вершине Большого Арарата на высоте более пяти тысяч метров. Две недели в июле 2026 года ученые собирали данные о вечных снегах горы, которые до этого не были тщательно исследованы.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]