Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK Способность договариваться с сородичами, будь то танец пчел или предупреждающий крик примата, хорошо изучена. Но то, как животные координируют действия с представителями других видов, долго оставалось загадкой. Международная группа ученых собрала воедино все известные случаи такой межвидовой коммуникации и выяснила, что во время эволюции выработался гибкий язык сигналов.
В центре Млечного Пути обнаружили настоящий «ископаемый» фрагмент ранней Галактики. Данные космических телескопов «Джеймс Уэбб» и «Хаббл» показали, что скопление Терзан 5 пережило несколько вспышек звездообразования почти за всю свою историю, сохранив следы процессов, которые могли участвовать в формировании галактического центра.
Канадские исследователи установили, что регулярный прием добавок кальция, витамина D или их комбинации практически не снижает риск переломов и падений у большинства пожилых людей. Врачи, профессиональные ассоциации и официальные руководства по всему миру продолжают массово назначать эти препараты для защиты скелета, а объемы их выписки в последние годы только росли.
Биологи впервые составили глобальную цифровую карту подземных микоризных сетей (грибных систем, связывающих корни растений) нашей планеты. Выяснилось, что общая протяженность этих невидимых нитей составляет около 110 квадриллионов километров — эквивалентно одной десятой части звездного диска Млечного Пути. Эти скрытые структуры играют фундаментальную роль в поддержании наземных экосистем и глобальной регуляции климата.
Согласно американским СМИ, небольшая часть модуля МКС «Звезда» больше не будет использоваться космонавтами. Причиной якобы стала невозможность ликвидировать утечки воздуха в ней, несмотря на попытки, предпринятые «Роскосмосом» 5 июня 2026 года.
Биологи доказали, что способность млекопитающих восстанавливать утраченные конечности и их части не исчезла в ходе эволюции, а просто заблокирована на генетическом уровне. Во время экспериментов на животных авторы работы успешно вырастили заново кости, суставы, связки и сухожилия, которые обычно не восстанавливаются после ампутации.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Вначале Reuters опубликовал статью о взаимоотношениях SpaceX и Пентагона, которую миллиардер --- традиционно для его отношений с этим изданием — назвал фейком. Опровергая ее тезисы, он обнародовал информацию, не представленную ранее публично.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии