Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK Австралийские геологи нашли новые доказательства того, что мегалиты попали на равнину Солсбери благодаря сложной логистике древних строителей. Изучив минеральный состав почвы вокруг монумента, исследователи исключили возможность того, что огромные глыбы принесло туда движение ледников.
В основе современной грамматики лежит теория, согласно которой в сознании человека язык «хранится» в виде иерархических структур — групп из двух слов, где одна составляющая зависит от другой, но вместе они образуют единое целое с точки зрения смысла. Однако лингвисты из Дании продемонстрировали, что устройство языка может быть проще: многие значимые группы слов представляют собой линейные последовательности, а не иерархии.
Долгое время ученые полагали, что стенурины — подсемейство крупных вымерших кенгуру — стояли на двух ногах и передвигались шагом, а не скачками. Считалось, что эти животные были слишком тяжелыми для прыжков. Однако новый анализ окаменелостей поставил эту гипотезу под сомнение.
Растительная диета давно стала золотым стандартом для тех, кто мечтает о долгой и здоровой жизни. Но китайские ученые внесли серьезные коррективы в этот постулат. Они обнаружили, что большинство местных долгожителей, перешагнувших столетний рубеж, регулярно употребляют в пищу мясо. Особенно заметна эта связь у одной специфической группы пожилых людей, что заставляет по-новому взглянуть на диетические рекомендации для самых старших поколений.
Жизнь в городских условиях давно стала для птиц своеобразной «эволюционной лабораторией». Ученые из Шотландии показали, что сильнее всего размножение птиц ухудшает наличие незнакомых деревьев.
Вопрос выживания маленьких популяций животных остается актуальным, поскольку имеет высокие риски накопления мутаций. Ученые из США показали на примере белух на Аляске, что стратегией выживания таких видов может быть полигинандрическая система, то есть смена партнеров.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Хотя зоологи уже не раз наблюдали использование орудий у относительно близких к людям видов, — от приматов до свиней — коровы до сих пор не были за этим замечены. Теперь ситуация изменилась: оказалось, что они могут использовать многоцелевые орудия по-разному, в зависимости от обстоятельств.
Ученые задались вопросом: почему два расположенных по соседству спутника Юпитера такие разные, ведь на Ио повсеместно извергаются вулканы, а Европа полностью покрыта многокилометровой коркой льда. Есть версия, что Ио когда-то тоже была богата водой, но по итогам недавнего исследования это сочли неправдоподобным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии