Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK Одной из главных анатомических особенностей эволюции рода Homo считается резкое увеличение объема черепной коробки за последние примерно два миллиона лет. За это время она в среднем увеличилась в три раза. Однако авторы нового исследования поставили под сомнение традиционную гипотезу, согласно которой этот процесс был результатом естественного отбора. По их мнению, он мог оказаться случайностью.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Астробиологи с помощью сложных трехмерных климатических моделей доказали, что растительная жизнь на Земле способна просуществовать еще около 1,8 миллиарда лет. Это значительно дольше, чем предсказывали предыдущие расчеты.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
В 2025 году детекторы гравитационных волн уловили потенциальное слияние черных дыр крайне малой массы. Ученые из Университета Майами считают, что участники того события могут открыть новое направление в исследовании темной материи.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии