• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Инфографика: затраты на обучение больших языковых моделей

Обучение продвинутых больших языковых моделей искусственного интеллекта, таких как ChatGPT компании OpenAI и Gemini Ultra от Google, требует миллионов долларов, причем затраты быстро растут.

Затраты на обучение больших языковых моделей / © visualcapitalist
Затраты на обучение больших языковых моделей / © visualcapitalist

На инфографике, представленной выше, показан рост затрат на обучение моделей искусственного интеллекта, основанный на отчете Стэнфордского университета за 2024 год.

В прошлом году стоимость обучения GPT-4 оценивалась в 78,4 миллиона долларов, что значительно превышает стоимость модели PaLM (540B) от Google , которая стоила 12,4 миллиона долларов всего годом ранее.

Для сравнения: стоимость обучения Transformer, ранней модели искусственного интеллекта, разработанной в 2017 году, составила всего 930 долларов. Кстати, эта модель играет основополагающую роль в формировании архитектуры многих крупных языковых моделей, используемых сегодня.

Модель искусственного интеллекта Google Gemini Ultra стоит еще дороже — ошеломляющие 191 миллион долларов. По состоянию на начало 2024 года модель превосходит GPT-4 по нескольким показателям, в первую очередь по тесту массового многозадачного понимания языка (MMLU). Этот тест служит важнейшим критерием для оценки возможностей больших языковых моделей. Например, он известен тем, что оценивает знания и навыки решения проблем в 57 предметных областях.

Учитывая эти проблемы, компании, занимающиеся искусственным интеллектом, находят новые решения для обучения языковых моделей и для борьбы с растущими затратами.

Они включают в себя ряд подходов, таких как создание моделей меньшего размера, предназначенных для выполнения конкретных задач. Другие компании экспериментируют с созданием собственных синтетических данных для использования в системах искусственного интеллекта. Однако явного прорыва пока не видно.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
17 августа, 06:33
Мария Азарова

У любителей кофе выявили расхождение в уровнях тестостерона: одна форма этого гормона повышалась вместе с количеством выпитого, а другая, напротив, снижалась. Результат оказался особенно интересным на фоне изменений других показателей, связанных с обменом веществ и здоровьем сердца.

16 августа, 11:45
Татьяна Зайцева

В черепах участников битв эпохи Средневековья часто находят отверстия квадратной формы, о происхождении которых спорят специалисты. Авторы нового исследования пришли к выводу, что такое повреждение — следствие смертельного удара по голове палицей.

17 августа, 10:29
Мария Азарова

Грудь и ягодицы обычно воспринимаются как главные особенности женской фигуры, которые могут влиять на оценку привлекательности. Однако новое исследование показало, что в предпочтениях мужчин эти признаки далеко не равноценны.

16 августа, 11:45
Татьяна Зайцева

В черепах участников битв эпохи Средневековья часто находят отверстия квадратной формы, о происхождении которых спорят специалисты. Авторы нового исследования пришли к выводу, что такое повреждение — следствие смертельного удара по голове палицей.

17 августа, 06:33
Мария Азарова

У любителей кофе выявили расхождение в уровнях тестостерона: одна форма этого гормона повышалась вместе с количеством выпитого, а другая, напротив, снижалась. Результат оказался особенно интересным на фоне изменений других показателей, связанных с обменом веществ и здоровьем сердца.

15 августа, 15:28
Марк Чернов

Специальный пластиковый жилет смог существенно снизить дозу радиации, полученную манекеном во время тестового полета корабля Orion к Луне. По уровню защиты жилет не уступил специальному противорадиационному убежищу внутри корабля. В будущем такая экипировка позволит защищать астронавтов от солнечных вспышек во время полетов на Луну и Марс, минимально сковывая их работу.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]