• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

DeepSeek представила новую технологию, позволяющую запускать крупные ИИ-модели на более дешевом оборудовании

Команда DeepSeek, стоящая за одними из самых мощных в мире ИИ-моделей с «открытым весом» (open-weight), опубликовала новую научную работу, которая может изменить представление о том, как искусственный интеллект использует память. Исследование, инициированное лично основателем компании Лян Вэньфэном, предлагает способ запускать мощные модели, расходуя значительно меньше ценной видеопамяти.

Одна из самых популярных китайских моделей искусственного интеллекта DeepSeek / © VCG
Одна из самых популярных китайских моделей искусственного интеллекта DeepSeek / © VCG

Ключевая идея — технология под названием «условная память» (conditional memory). Подобно предыдущим разработкам DeepSeek в области Mixture-of-Experts (MoE), она ориентирована прежде всего на эффективность. Метод разделяет «логику» и «знания» модели, позволяя хранить основной массив данных на более дешевом и доступном оборудовании.

Более того, технология обеспечивает практически мгновенный поиск по базе знаний. В то время как популярный сегодня подход retrieval-augmented generation (RAG) нередко выглядит громоздким и медленным, решение DeepSeek работает почти моментально. Это похоже на библиотеку, где стоит вам лишь сформулировать вопрос — и нужная книга тут же телепортируется к вам в руки, открытая на нужной странице.

DeepSeek опубликовала официальный код этой технологии под названием Engram.

«Engram позволяет модели эффективно масштабировать объем знаний… обеспечивая более высокую производительность в задачах, насыщенных знаниями, при сохранении высокой эффективности обучения и инференса», — говорится в статье.

Для пользователей это означает, что будущее ИИ, вероятно, будет дешевле, быстрее и значительно лучше в способности помнить то, что вы попросили выполнить пятьдесят запросов назад.

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
13 февраля, 13:18
Игорь Байдов

Приблизительно 4,5 тысячи лет назад в Британии произошла быстрая и масштабная смена населения. Неолитические народы, построившие Стоунхендж и большинство других памятников, практически исчезли, их заменили представители другой культуры. Долгое время археологи спорили, откуда пришли новые люди, которым так быстро удалось покорить остров. Ответ нашла международная команда генетиков.

15 февраля, 11:25
Николай Цыгикало

Удивить разработками космической техники сегодня трудно. И все же есть новшества для орбитальных полетов, выделяющиеся своим необычным замыслом. Может ли работать на орбите воздушный реактивный двигатель? Причем работать неограниченно долго, да еще не требуя топлива. Конечно, нет, скажете вы. Тем не менее такое возможно. Мы расскажем подробнее о самых необычных двигателях для самых перспективных космических орбит.

13 февраля, 19:05
Evgenia Vavilova

Ученые впервые показали, как происхождение магических ядер можно вывести напрямую из взаимодействий протонов и нейтронов.

12 февраля, 07:52
Адель Романова

Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.

12 февраля, 08:19
Полина Меньшова

«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.

12 февраля, 11:41
Александр Березин

На наземные растения, в основном деревья, приходится 80 процентов всей биомассы Земли, 450 миллиардов тонн сухого углерода и более двух триллионов тонн «живого веса». Поэтому идея сажать новые леса для связывания СО2 из атмосферы долго казалась логичной. Новые данные показали, что реальность заметно сложнее.

12 февраля, 07:52
Адель Романова

Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.

28 января, 10:50
Игорь Байдов

Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.

26 января, 14:26
Александр Березин

Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно