Ученые нашли способ ускорить оптимизацию нейросетей до 500 раз при помощи законов физики
Исследователи Лаборатории социальной и когнитивной информатики НИУ ВШЭ — Санкт-Петербург под руководством Сергея Кольцова научились уменьшать размер нейронных сетей быстро и без потери качества благодаря методам статистической физики.
Современные нейронные сети становятся все мощнее, однако их рост создает серьезные ограничения. Модели вроде GPT содержат десятки и сотни миллиардов параметров — чисел, через которые проходит информация при обработке запроса. Но вместе с качеством увеличивается стоимость создания и использования ИИ.
«Крупнейшие модели требуют сотен гигабайт памяти: это создает экономический барьер и ограничивает доступ к технологиям, — пояснил руководитель исследования Сергей Кольцов. — Мы решили проанализировать поведение нейронной сети во время сжатия и сопоставить его с известными функциями из статистической физики».
Проблема сжатия особенно актуальна там, где данные нельзя передавать во внешние облачные сервисы. Банки работают в закрытых контурах, медицинские учреждения защищают информацию о пациентах, государственные организации не могут делиться конфиденциальными сведениями. Всем им нужны эффективные, но компактные решения, способные работать на локальном оборудовании — от сервера в собственном дата-центре до обычного ноутбука врача.
Существующие методы сжатия нейросетей основаны на простой идее: не все параметры модели одинаково важны для ее работы. Некоторые можно удалить практически без последствий. Сложность в том, чтобы понять, какие именно. Классический подход требует проводить множество экспериментов, постепенно изменяя степень сжатия и каждый раз проверяя точность работы модели. Это занимает большое количество времени.
«Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему. Это раздел науки, изучающий поведение объектов с огромным числом элементов: от молекул газа до магнитных материалов. Нейронная сеть с миллиардами параметров оказалась похожа на такие структуры. В точках экстремума — максимума или минимума — модель сохраняет оптимальное соотношение между размером и качеством работы. То есть мы доказали, что этот подход позволяет ускорить поиск оптимального количества алгоритмов в сотни раз», — рассказал профессор департамента информатики НИУ ВШЭ — Санкт-Петербург.
Исследовательская группа из четырех человек — трое российских ученых и специалист из Индии — работала над проектом с начала 2025 года. Результаты работы опубликованы в журнале Physica A: Statistical Mechanics and its Applications.
Важно было проверить универсальность метода. Эксперименты проводились на моделях среднего размера — от семи до десяти миллиардов параметров. Это те системы, которые можно запустить на мощном ноутбуке или небольшом сервере. Именно такие решения нужны медицинским ассистентам, корпоративным аналитическим системам, локальным сервисам обработки данных.
«Мы тестировали гипотезу на моделях разного масштаба и назначения — от обработки текстов до распознавания изображений, — пояснил Кольцов. — Метод показал свою эффективность на разных архитектурах. Где-то лучше, где-то чуть хуже, но главное — он работал, и работал быстро. В зависимости от модели ускорение составило от десяти до пятисот раз по сравнению с традиционным подходом».
Метод уже доступен для использования. Любой разработчик или исследователь может применить описанный подход к своим моделям. Это особенно актуально для компаний и организаций, которые запускают нейросети на собственном оборудовании с ограниченными ресурсами.
Сейчас ученые продолжают работу, оптимизируя количество нейронов в каждом слое сети. Далее планируется сократить число блоков в архитектуре модели. Сколько их нужно для оптимальной работы — вопрос, на который сегодня нет четкого ответа. «Если научиться определять оптимальное количество блоков до начала обучения модели, экономия будет колоссальной. Это наша следующая цель», — отметил ведущий научный сотрудник Лаборатории социальной и когнитивной информатики.
Telegram 
Дзен 
VK Во второй половине XIX века в книге о насекомоядных растениях Чарлз Дарвин предположил, что некоторые камнеломки с липкими железистыми волосками могут проявлять свойства хищника — ловить и переваривать насекомых. Но тогда ученому не удалось экспериментально подтвердить свою догадку. Теперь это сделала международная команда ботаников.
Хотя тротиловый эквивалент взрыва от удара был умеренным, всего несколько тонн, благодаря рыхлости лунного грунта низких широт он может поднять до 400 тонн пыли. Она способна образовать облако высотой в десятки километров. Астрономы надеются провести наблюдения этого события и, возможно, зафиксировать какие-то особенности выброшенного лунного материала.
Ученые объяснили, почему большинство диет закончилось возвратом килограммов: человеческий мозг воспринял ранее достигнутый максимальный вес как новую норму выживания и попытался его вернуть. Это открытие доказало, что современные методы похудения не учитывают древние встроенные особенности нашего организма.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.
Команда исследователей из Германии и Турции впервые исследовала ледник на вершине Большого Арарата на высоте более пяти тысяч метров. Две недели в июле 2026 года ученые собирали данные о вечных снегах горы, которые до этого не были тщательно исследованы.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно