• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Технологическая сингулярность отменяется? Закончились данные для обучения ИИ 

Американский миллиардер Илон Маск и бывший главный научный сотрудник OpenAI Илья Суцкевер заявили, что у компаний, занимающихся искусственным интеллектом, закончились данные для обучения генеративных моделей.

Илон Маск / © Getty Images
Илон Маск / © Getty Images

«Мы уже практически исчерпали совокупный объем человеческих знаний <…> в области обучения ИИ. И это произошло в прошлом году», — заявил Маск в разговоре с председателем компании Stagwell Марком Пенном в соцсети X.

Эти слова прозвучали всего через несколько дней после того, как Суцкевер, который помогал создавать ChatGPT, рассказал на ежегодном мероприятии Neurips, что компании достигли пика данных — и больше их не будет.

Если это правда, значит, восполнить дефицит можно с помощью синтетических данных, то есть контента, который производят сами генеративные модели ИИ. Однако этот способ далек от идеала.

Исследователи из Стэнфордского университета и Университета Райса ранее обнаружили, что модели, обучаемые на данных, сгенерированных ИИ, будь то тексты или изображения, имеют тенденцию «сходить с ума» после пяти циклов обучения.

В ноябре прошлого года выяснилось, что OpenAI испытывает трудности со своей новой моделью Orion: она оказалась не такой продвинутой, как надеялись в компании. Аналогично новейшая версия Gemini от Google стала не намного лучше предыдущей. В то же время Anthropic вообще отложила выпуск своей модели Claude.

Напомним, ранее Маск и руководитель OpenAI Сэм Альтман заявляли, что ИИ близок к тому, чтобы превзойти интеллектуальные способности отдельно взятого человека, а потом и интеллект всех людей, вместе взятых. 

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

12 Комментариев
Акзор Темир
6 минут назад
-
0
+
Судный день и скайнет отменяются!?
Zhe Sh
32 минуты назад
-
0
+
Нормальному живому гению для обучения достаточно, условно, тысячи книг. ИИ для сдачи кандидатского минимума требуется вся мудрость человечества. "Может, что-то в консерватории подправить?"
-
0
+
Матерей eбaла
    Naked  Scientist
    26 минут назад
    -
    0
    +
    Ольга, у вас — самый адекватный комментарий. Реально, этот мир всех заебал: Родился, родил, помер. Украл, выпил — в тюрьму. Романтика! Природа, которая обрекает нас на старение и смерть, не достойна ничего, кроме НЕНАВИСТИ! Из природы пора выйти в техногенную послежизнь. Мыслящий рельеф, тихое и вечное мерцание бытия без инстинктов. Полный контроль над реальностью, без труда, ошибок и озарений! Клаус Шваб сказал, что через 10 лет мы будем жить в СОВЕРШЕННО ДРУГОМ мире. Ни любви, ни искусства, ни познания, ни творчества. Только бесконечная Самость!🙃У вас отберут все ваши смыслы, и дадут новые. Ваше теперешнее счастье скоро будет внушать вам отвращение. Вам дадут новое счастье, с прямым подключением к мозгу! 😂
Alexander Smirnov
3 часа назад
-
0
+
Пирамида инвестиций стала прахом и возможно пенсионные фонды туда вложились, что удручает .
Naked  Scientist
3 часа назад
-
0
+
Я задал вопрос ИИ, и он ответил, что всё чики-пики. Вы сами не могли этого сделать, бараны? Тогда не возмущайтесь, что вводят тотальный контроль и социальный рейтинг. Потому что вам ничего нельзя объяснить, вас можно только ЗАСТАВИТЬ мыслить правильно. Читайте и меняйте ваше тупое мировоззрение на моё правильное. Ситуация, описанная в статье, действительно поднимает важную проблему: если объем доступных данных для обучения ИИ исчерпан, дальнейшее развитие требует нового подхода. Вот возможные выходы из этой ситуации: ### 1. **Улучшение качества данных** Вместо увеличения объема данных можно сосредоточиться на их качестве. Это включает: - **Очистку данных**: Удаление шума, дублирующей или ошибочной информации. - **Эффективное аннотирование**: Улучшение маркировки данных для повышения точности обучения. - **Диверсификация данных**: Сбор данных из более разнообразных источников или культурных контекстов, которые ранее были недостаточно представлены. ### 2. **Создание новых типов данных** - **Синтетические данные**: Модели ИИ могут генерировать данные для тренировки. Чтобы минимизировать проблему "деградации", можно комбинировать синтетические данные с реальными, а также ограничивать количество циклов обучения. - **Искусственные эксперименты**: Создание виртуальных сред, в которых ИИ обучается через симуляции, как, например, в играх или имитации реального мира. ### 3. **Улучшение архитектуры моделей** - **Сжатие и оптимизация**: Использование более эффективных архитектур, требующих меньшего объема данных, например, адаптивных трансформеров. - **Метаобучение**: Модели, которые могут учиться учиться, используя меньше данных, но с большей эффективностью. ### 4. **Коллаборации и открытые данные** - Объединение усилий между компаниями, университетами и исследовательскими центрами для создания открытых и разнообразных наборов данных. - Стимулирование создания качественных открытых данных через государственные инициативы и гранты.
    Naked  Scientist
    3 часа назад
    -
    0
    +
    Naked, Человеческий вклад Краудсорсинг данных: Платформы, где люди добровольно вносят данные для тренировки ИИ. Обучение с подкреплением от человека (RLHF): Взаимодействие человека с моделью для направления обучения. 6. Переработка подхода к синтетическим данным Смешанные данные: Комбинация синтетических данных с оригинальными данными. Инновационные механизмы генерации: Использование моделей с различными архитектурами для проверки и перекрестной валидации синтетических данных. Контроль качества: Усовершенствование алгоритмов для минимизации ошибок и "сумасшествия" моделей при обучении на синтетике. 7. Исследование альтернативных подходов Переход от больших языковых моделей к специализированным или гибридным системам. Использование алгоритмов, не зависящих от объемов данных, например, основанных на фундаментальных принципах математики или физики. Вывод (читайте внимательно, дурачьё!) Достижение "пика данных" НЕ ОЗНАЧАЕТ конца прогресса. Это сигнал к переходу от количественного подхода к качественному. Компании и исследователи могут сосредоточиться на инновациях в архитектуре ИИ, улучшении методов генерации данных и коллаборации. Такой сдвиг откроет новые горизонты даже в условиях ограниченности данных. ИДИОТЫ!
    +
      ещё комментарии
      ulogin_vkontakte_182823850
      2 часа назад
      -
      1
      +
      Naked, истеричка.
        Naked  Scientist
        48 минут назад
        -
        0
        +
        ulogin_vkontakte_182823850, называть глупых людей их именем — это не истерика. Кто мешал автору спросить сначала у ChatGPT, как я? И кто мешал автору ВЕРИТЬ, что нас ждёт технологический рай и искать подтверждения этому, как это сделал я?! А по мере того, как всё будет, как я говорю, я буду напоминать дуракам, что они зря не верили. А будет вот что: 😉 Вот прогноз бывшего отрудника OpenAI Дэниеля Кокотайло: 😂 — 2025 - рутиной больше не занимаемся. Её заберут ИИ-агенты. — 2026 - год, который изменит В С Ё. OpenAI создаст нейросеть на уровне человека - AGI. Она заменит все профессии. — 2027 - ASI зародится с вероятностью 70%. ИИ доучит себя сам и отодвинет людей от решения глобальных проблем. — 2028 - в этот год испарятся все болезни. ASI создаст нанороботов, убивающих все вирусы и микробы. — 2029 - появится Skynet. Сверхинтеллект возьмёт под контроль мир, а прогресс полетит со скоростью света. https://dzen.ru/a/Zri9QzrDOGsUYq1n 🙃 То есть, скоро мы станем счастливыми бездельниками. А с открытием технологий отмены старения — ещё и бессмертными. Вы почему этого не хотите, дураки? Ваша жизнь такое говно, что смерть видится вам избавлением? А раз хотите, ищите подтверждения тому, что всё будет хорошо и бессмертие возможно!
      MrArsg13
      1 час назад
      -
      0
      +
      Naked, подожди ка ты не админ этого сайта ?
        Naked  Scientist
        45 минут назад
        -
        0
        +
        MrArsg13, какая разница, кто я, если уже в этом десятилетии жизнь перестанет быть конечной, а все, кто собирался оставить след потому, что часики тикают — будут дураками? Нас ждёт полная уравниловка, безделье и бессмертие! 😉
          Naked  Scientist
          44 минуты назад
          -
          0
          +
          Naked, ТАБЛЕТКА ОТ СТАРОСТИ ПРЕВРАТИТ ВСЕХ В ПОЛНОЕ ТРАНСГУМАНИСТИЧЕСКОЕ ГОВНО К 2026 ожидаются методы пренебрежимого старения, Longevity Escape Velocity. А значит, ещё пара лет — и на Марс никто не полетит. Ни один человек больше не погрузится с аквалангом и на горных лыжах не поедет. Даже за руль не сядет. Все опасные развлечения будут осмеяны и забыты. Более того, все ваши интересы и увлечения потеряют для вас привлекательность. Учёные забудут науку. Солдаты забудут родину. Актёры убегут со съёмочных площадок, а монтажники — со строительных. Потому, что всё это связано с риском для жизни. И, если рисковать конечным существованием допустимо, то бессмертием — никогда! Как только жизнь перестанет быть конечной, и будет зависеть только оттого, насколько ты берёг себя и не высовывался, рассчитывать можно будет только на роботов. Люди превратятся в унылое г.вно, трясущееся над малейшей угрозой жизни. Это ни хорошо, и ни плохо, это неизбежно. Потому, что несчастные случаи никто не отменял, и, перестав стареть, надо будет ещё дождаться переноса сознания в неуничтожимую сущность. А тот, кто упустил свой шанс на бессмертие, будет восприниматься полным неудачником. Альпинисты, герои войны, самоотверженные врачи и полицейские, даже родители, спасающие детей ценой жизни — все они станут объектами насмешек. Если люди ещё рискнут смеяться друг над другом, ведь это конфликт, а он всегда — угроза жизни. Короче, не зря по всему миру такими темпами внедряют искусственный интеллект и роботов. Люди скоро полностью выпадут из всех цепочек производства ценностей. Что материальных, что "духовных". И мне нравится этот Дивный Новый Мир! Наконец-то главным стану я сам, а не то, что я умею. Долой рабство культурных мемов познания и творчества! Смысл жизни — в бесконечной Самости. А по мере биоцифровой конвергенции из мира исчезнет слово Мы. И останется только огромное Я размером с мироздание.
Вчера, 17:43
Любовь

В 368 световых годах от Земли, на границе так называемой пустыни горячих нептунов — близкой к звезде области, в которой небесные тела размером с Нептун практически не встречаются, — расположилась экзопланета WASP-166b. Несмотря на экстремальные условия, этот уникальный мир смог сохранить объемную атмосферу, в которой обнаружили следы воды и углекислого газа. Открытие существенно расширяет представления об эволюции экзопланет в космических «пустынях».

10 часов назад
Михаил Орлов

Сотни миллионов лет назад Землю населяли совсем другие животные — даже жители воды с «рыбьим» образом жизни были устроены совсем иначе. Таковы остракодермы, включая группу более примитивных гетеростраков (разнощитковых). Авторы нового исследования в Paleontology разобрались с механическими свойствами их ротового аппарата. Оказалось, что несмотря на отсутствие челюстей они активно перерабатывали свою пищу, не довольствуясь фильтрацией мелочи из воды.

Вчера, 12:01
Evgenia

Чем ниже температура кубитов в квантовом компьютере, тем эффективнее он проводит вычисления. С приближением к абсолютному нулю охлаждение на каждый милликельвин дается ученым все сложнее. Команда исследователей создала новый тип холодильника для квантовых компьютеров, способный работать автономно после запуска.

6 января
Любовь

Открытый в 1977 году Хирон формально относят к классу кентавров — «промежуточному» типу малых тел между астероидами и кометами, который перемещается по орбитам в области газовых гигантов. Внимание астрономов Хирон привлекает давно, однако детально «рассмотреть» его удалось только сейчас: с помощью космической обсерватории «Джеймс Уэбб» на поверхности кентавра обнаружили целый «набор» летучих соединений, а также ряд более сложных органических молекул. Ничего подобного на таких небесных телах ранее не находили.

Вчера, 17:43
Любовь

В 368 световых годах от Земли, на границе так называемой пустыни горячих нептунов — близкой к звезде области, в которой небесные тела размером с Нептун практически не встречаются, — расположилась экзопланета WASP-166b. Несмотря на экстремальные условия, этот уникальный мир смог сохранить объемную атмосферу, в которой обнаружили следы воды и углекислого газа. Открытие существенно расширяет представления об эволюции экзопланет в космических «пустынях».

10 часов назад
Михаил Орлов

Сотни миллионов лет назад Землю населяли совсем другие животные — даже жители воды с «рыбьим» образом жизни были устроены совсем иначе. Таковы остракодермы, включая группу более примитивных гетеростраков (разнощитковых). Авторы нового исследования в Paleontology разобрались с механическими свойствами их ротового аппарата. Оказалось, что несмотря на отсутствие челюстей они активно перерабатывали свою пищу, не довольствуясь фильтрацией мелочи из воды.

27.12.2024
ФизТех

Ученые из Троицкого института инновационных и термоядерных исследований, МФТИ и МЭИ совершили значительный прорыв в области защиты материалов от экстремальных тепловых нагрузок, характерных для условий управляемого термоядерного синтеза.

26.12.2024
Полина Меньшова

Согласно популярному утверждению, человеческая мысль — едва ли не самое быстрое, что существует в природе. Даже свет многие считают менее быстрым, поскольку он распространяется со скоростью 300 тысяч километров в секунду, а мысль — «мгновенно». Однако новое исследование опровергло бытовую логику. Ученые из Калтеха измерили скорость, с которой человек обрабатывает информацию, и обнаружили, что основные когнитивные процессы во много раз медленнее не только распространения света, но и низкоскоростного интернета.

13.12.2024
Юлия Трепалина

С какого возраста зооврачи считают собак престарелыми? Это недавно выяснили исследователи из Великобритании и Венгрии, проанализировав карты пациентов ветеринарных клиник. Также ученые установили, от каких проблем со здоровьем чаще страдают пожилые питомцы.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно