Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK Кит живет двести лет, умеет пробивать головой полуметровый лед и поет океанский джаз голосом несмазанной дверной петли. Охотоморские гренландские киты — это не просто многотонные ледоколы. Это древние узники, которые остались жить в Охотском море со времен последнего оледенения. Это счастливцы, которые смогли пережить гарпуны китобоев XIX-XX веков, но сегодня уязвимы не меньше. Чтобы спасти этих поразительных китов, российским ученым и команде фонда «Природа и люди» приходится: считать хвосты, читать биографии по шрамам, прятать подростков от хищников, стрелять (спутниковыми метками) с парамоторов и тяжелых дронов. Рассказываем, как устроена жизнь гренландских китов России и кто помогает им не исчезнуть навсегда с лица планеты.
Деревья растут и люди стареют не потому, что идет время, а из-за происходящих внутри них процессов. Но можно ли сказать, что именно эти процессы порождают время? Ученый создал маленькую Вселенную, в которой дела обстоят именно так.
Ученые выяснили, что золото владеет уникальной «техникой самообороны», которая защищает его от потускнения. Оказалось, атомы на поверхности этого металла способны самостоятельно перестраиваться в особые защитные структуры. Такой невидимый барьер блокирует контакт с кислородом и подавляет процесс окисления в триллион раз эффективнее, чем поверхность любого другого металла.
Кит живет двести лет, умеет пробивать головой полуметровый лед и поет океанский джаз голосом несмазанной дверной петли. Охотоморские гренландские киты — это не просто многотонные ледоколы. Это древние узники, которые остались жить в Охотском море со времен последнего оледенения. Это счастливцы, которые смогли пережить гарпуны китобоев XIX-XX веков, но сегодня уязвимы не меньше. Чтобы спасти этих поразительных китов, российским ученым и команде фонда «Природа и люди» приходится: считать хвосты, читать биографии по шрамам, прятать подростков от хищников, стрелять (спутниковыми метками) с парамоторов и тяжелых дронов. Рассказываем, как устроена жизнь гренландских китов России и кто помогает им не исчезнуть навсегда с лица планеты.
Ученые выяснили, почему интервальное голодание для многих оказывается эффективнее обычных диет. Исследование показало, что ограничение времени для приема пищи избавляет худеющего от изнуряющего ощущения жесткого контроля и при этом позволяет сбросить ровно столько же, сколько при скрупулезном подсчете калорий.
Деревья растут и люди стареют не потому, что идет время, а из-за происходящих внутри них процессов. Но можно ли сказать, что именно эти процессы порождают время? Ученый создал маленькую Вселенную, в которой дела обстоят именно так.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии