Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые нашли способ ускорить оптимизацию нейросетей до 500 раз при помощи законов физики
Исследователи Лаборатории социальной и когнитивной информатики НИУ ВШЭ — Санкт-Петербург под руководством Сергея Кольцова научились уменьшать размер нейронных сетей быстро и без потери качества благодаря методам статистической физики.
Современные нейронные сети становятся все мощнее, однако их рост создает серьезные ограничения. Модели вроде GPT содержат десятки и сотни миллиардов параметров — чисел, через которые проходит информация при обработке запроса. Но вместе с качеством увеличивается стоимость создания и использования ИИ.
«Крупнейшие модели требуют сотен гигабайт памяти: это создает экономический барьер и ограничивает доступ к технологиям, — пояснил руководитель исследования Сергей Кольцов. — Мы решили проанализировать поведение нейронной сети во время сжатия и сопоставить его с известными функциями из статистической физики».
Проблема сжатия особенно актуальна там, где данные нельзя передавать во внешние облачные сервисы. Банки работают в закрытых контурах, медицинские учреждения защищают информацию о пациентах, государственные организации не могут делиться конфиденциальными сведениями. Всем им нужны эффективные, но компактные решения, способные работать на локальном оборудовании — от сервера в собственном дата-центре до обычного ноутбука врача.
Существующие методы сжатия нейросетей основаны на простой идее: не все параметры модели одинаково важны для ее работы. Некоторые можно удалить практически без последствий. Сложность в том, чтобы понять, какие именно. Классический подход требует проводить множество экспериментов, постепенно изменяя степень сжатия и каждый раз проверяя точность работы модели. Это занимает большое количество времени.
«Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему. Это раздел науки, изучающий поведение объектов с огромным числом элементов: от молекул газа до магнитных материалов. Нейронная сеть с миллиардами параметров оказалась похожа на такие структуры. В точках экстремума — максимума или минимума — модель сохраняет оптимальное соотношение между размером и качеством работы. То есть мы доказали, что этот подход позволяет ускорить поиск оптимального количества алгоритмов в сотни раз», — рассказал профессор департамента информатики НИУ ВШЭ — Санкт-Петербург.
Исследовательская группа из четырех человек — трое российских ученых и специалист из Индии — работала над проектом с начала 2025 года. Результаты работы опубликованы в журнале Physica A: Statistical Mechanics and its Applications.
Важно было проверить универсальность метода. Эксперименты проводились на моделях среднего размера — от семи до десяти миллиардов параметров. Это те системы, которые можно запустить на мощном ноутбуке или небольшом сервере. Именно такие решения нужны медицинским ассистентам, корпоративным аналитическим системам, локальным сервисам обработки данных.
«Мы тестировали гипотезу на моделях разного масштаба и назначения — от обработки текстов до распознавания изображений, — пояснил Кольцов. — Метод показал свою эффективность на разных архитектурах. Где-то лучше, где-то чуть хуже, но главное — он работал, и работал быстро. В зависимости от модели ускорение составило от десяти до пятисот раз по сравнению с традиционным подходом».
Метод уже доступен для использования. Любой разработчик или исследователь может применить описанный подход к своим моделям. Это особенно актуально для компаний и организаций, которые запускают нейросети на собственном оборудовании с ограниченными ресурсами.
Сейчас ученые продолжают работу, оптимизируя количество нейронов в каждом слое сети. Далее планируется сократить число блоков в архитектуре модели. Сколько их нужно для оптимальной работы — вопрос, на который сегодня нет четкого ответа. «Если научиться определять оптимальное количество блоков до начала обучения модели, экономия будет колоссальной. Это наша следующая цель», — отметил ведущий научный сотрудник Лаборатории социальной и когнитивной информатики.
Telegram 
Дзен 
VK Проанализировав данные наблюдений, собранных за 30 лет с помощью четырех высокоточных спектрографов, астрономы не нашли в двойной системе Эта Кассиопеи (Eta Cassiopeia) гигантских планет — аналогов Юпитера и Сатурна. Их отсутствие делает систему, расположенную в 19,4 светового года от Земли, перспективной для поиска потенциально обитаемых миров.
Бразильские зоологи выяснили, каких именно насекомых и пауков ловят домашние кошки в городах. Для этого использовали не полевые наблюдения, а анализ социальных сетей. Просмотрев более 17 000 видео и фото в TikTok и на фотостоке iStock, ученые нашли 550 записей кошачьей охоты. Самая частая добыча — кузнечики, сверчки, цикады и тараканы.
Чтобы охотиться при температурах ниже нуля, пауки рода Clubiona выработали особые белки-антифризы. Изучив членистоногих, собранных в грушевых садах неподалеку от города Брно (Чехия), ученые раскрыли молекулярный механизм, позволяющий этим паукам не впадать в зимнюю спячку.
Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.
Так называемые зумеры и альфа, несмотря на молодой возраст, уже формируют ключевые поведенческие и потребительские тренды. Ученые Пермского Политеха рассказали, почему обозначение поколений начали с конца алфавита, как альфа и зумеры отличаются в способности к терпеливости, совмещении цифрового и реального «Я», подходу к профессиональной деятельности и отношении к финансам, какое мышление пришло на смену клиповому и как использование искусственного интеллекта повлияет на авторитет родителей.
Бразильские зоологи выяснили, каких именно насекомых и пауков ловят домашние кошки в городах. Для этого использовали не полевые наблюдения, а анализ социальных сетей. Просмотрев более 17 000 видео и фото в TikTok и на фотостоке iStock, ученые нашли 550 записей кошачьей охоты. Самая частая добыча — кузнечики, сверчки, цикады и тараканы.
Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.
По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.
Ученые открыли новый, ранее неизвестный способ передвижения бактерий по поверхностям, для которого не нужны жгутики. Эти микроорганизмы на краю колонии переваривают сахара, выделяют метаболиты и создают осмотическое давление. Оно вызывает микроскопическое «цунами», и на нем бактерии катятся вперед.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно