Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK В 2017 году человечество впервые заметило объект, прилетевший из другой звездной системы. Он оказался странным, почти не похожим ни на астероид, ни на комету, и получил имя Оумуамуа. Затем появился «нормальный» межзвездный странник — комета Борисова. А в 2025-м астрономы обнаружили 3I/ATLAS — объект, который, вероятно, хранит вещество времен рождения чужих миров. Но что изменили в астрономии эти три гостя из межзвездной тьмы?
Ученые из МФТИ и Объединенного института высоких температур РАН показали, как с помощью электронного пучка управлять плазмой, в которой присутствуют пылевые частицы. Такой пучок вводится прямо в плазменный объем, изменяя при этом не только траектории движения частиц, но и свойства самой плазмы. Такой подход актуален для систем газоочистки и плазмохимических реакторов.
Американские биотехнологи впервые сообщили об обращении вспять клеточного старения в живых клетках печени человека — не мышиных, не синтетических, а именно человеческих. На волне этого результата компания привлекла 435 миллионов долларов и готовится к клиническим испытаниям.
В 2017 году человечество впервые заметило объект, прилетевший из другой звездной системы. Он оказался странным, почти не похожим ни на астероид, ни на комету, и получил имя Оумуамуа. Затем появился «нормальный» межзвездный странник — комета Борисова. А в 2025-м астрономы обнаружили 3I/ATLAS — объект, который, вероятно, хранит вещество времен рождения чужих миров. Но что изменили в астрономии эти три гостя из межзвездной тьмы?
Астрономы провели длительную радиодиагностику межзвездного объекта 3I/ATLAS и не нашли признаков искусственных технологий. Наблюдение окончательно подтвердило естественную природу ледяного тела, хотя ученые изначально не ожидали сенсации.
Роль личности в истории чаще всего иллюстрируют правителями или полководцами. Но, глядя на современную карту мира, нельзя не признать: она выглядела бы принципиально иначе, если бы не одна крестьянская девушка, которую сожгли в этот день ровно 595 лет назад.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии