• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

DeepSeek представила новую технологию, позволяющую запускать крупные ИИ-модели на более дешевом оборудовании

Команда DeepSeek, стоящая за одними из самых мощных в мире ИИ-моделей с «открытым весом» (open-weight), опубликовала новую научную работу, которая может изменить представление о том, как искусственный интеллект использует память. Исследование, инициированное лично основателем компании Лян Вэньфэном, предлагает способ запускать мощные модели, расходуя значительно меньше ценной видеопамяти.

Одна из самых популярных китайских моделей искусственного интеллекта DeepSeek / © VCG
Одна из самых популярных китайских моделей искусственного интеллекта DeepSeek / © VCG

Ключевая идея — технология под названием «условная память» (conditional memory). Подобно предыдущим разработкам DeepSeek в области Mixture-of-Experts (MoE), она ориентирована прежде всего на эффективность. Метод разделяет «логику» и «знания» модели, позволяя хранить основной массив данных на более дешевом и доступном оборудовании.

Более того, технология обеспечивает практически мгновенный поиск по базе знаний. В то время как популярный сегодня подход retrieval-augmented generation (RAG) нередко выглядит громоздким и медленным, решение DeepSeek работает почти моментально. Это похоже на библиотеку, где стоит вам лишь сформулировать вопрос — и нужная книга тут же телепортируется к вам в руки, открытая на нужной странице.

DeepSeek опубликовала официальный код этой технологии под названием Engram.

«Engram позволяет модели эффективно масштабировать объем знаний… обеспечивая более высокую производительность в задачах, насыщенных знаниями, при сохранении высокой эффективности обучения и инференса», — говорится в статье.

Для пользователей это означает, что будущее ИИ, вероятно, будет дешевле, быстрее и значительно лучше в способности помнить то, что вы попросили выполнить пятьдесят запросов назад.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
31 августа, 13:59
Мария Азарова

Мумии сохраняют следы не только болезней и травм, но и самих процедур, которым подвергали тела после смерти. Компьютерная томография головы мумии, много десятилетий пролежавшей в музее, раскрыла не совсем привычный способ извлечения мозга и другие детали бальзамирования.

29 августа, 16:51
Александр Березин

Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.

31 августа, 16:00
Татьяна Зайцева

Археологи, проводящие раскопки древнего города Адрамиттейон в Западной Турции, обнаружили богатую римскую виллу II-III веков нашей эры. Украшающая виллу мозаика включает в себя неожиданно личный элемент жизни владельцев — изображения домашних питомцев с надписями, указывающими их имена.

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

29 августа, 16:51
Александр Березин

Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.

31 августа, 13:59
Мария Азарова

Мумии сохраняют следы не только болезней и травм, но и самих процедур, которым подвергали тела после смерти. Компьютерная томография головы мумии, много десятилетий пролежавшей в музее, раскрыла не совсем привычный способ извлечения мозга и другие детали бальзамирования.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]