Ученые нашли способ ускорить оптимизацию нейросетей до 500 раз при помощи законов физики
Исследователи Лаборатории социальной и когнитивной информатики НИУ ВШЭ — Санкт-Петербург под руководством Сергея Кольцова научились уменьшать размер нейронных сетей быстро и без потери качества благодаря методам статистической физики.
Современные нейронные сети становятся все мощнее, однако их рост создает серьезные ограничения. Модели вроде GPT содержат десятки и сотни миллиардов параметров — чисел, через которые проходит информация при обработке запроса. Но вместе с качеством увеличивается стоимость создания и использования ИИ.
«Крупнейшие модели требуют сотен гигабайт памяти: это создает экономический барьер и ограничивает доступ к технологиям, — пояснил руководитель исследования Сергей Кольцов. — Мы решили проанализировать поведение нейронной сети во время сжатия и сопоставить его с известными функциями из статистической физики».
Проблема сжатия особенно актуальна там, где данные нельзя передавать во внешние облачные сервисы. Банки работают в закрытых контурах, медицинские учреждения защищают информацию о пациентах, государственные организации не могут делиться конфиденциальными сведениями. Всем им нужны эффективные, но компактные решения, способные работать на локальном оборудовании — от сервера в собственном дата-центре до обычного ноутбука врача.
Существующие методы сжатия нейросетей основаны на простой идее: не все параметры модели одинаково важны для ее работы. Некоторые можно удалить практически без последствий. Сложность в том, чтобы понять, какие именно. Классический подход требует проводить множество экспериментов, постепенно изменяя степень сжатия и каждый раз проверяя точность работы модели. Это занимает большое количество времени.
«Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему. Это раздел науки, изучающий поведение объектов с огромным числом элементов: от молекул газа до магнитных материалов. Нейронная сеть с миллиардами параметров оказалась похожа на такие структуры. В точках экстремума — максимума или минимума — модель сохраняет оптимальное соотношение между размером и качеством работы. То есть мы доказали, что этот подход позволяет ускорить поиск оптимального количества алгоритмов в сотни раз», — рассказал профессор департамента информатики НИУ ВШЭ — Санкт-Петербург.
Исследовательская группа из четырех человек — трое российских ученых и специалист из Индии — работала над проектом с начала 2025 года. Результаты работы опубликованы в журнале Physica A: Statistical Mechanics and its Applications.
Важно было проверить универсальность метода. Эксперименты проводились на моделях среднего размера — от семи до десяти миллиардов параметров. Это те системы, которые можно запустить на мощном ноутбуке или небольшом сервере. Именно такие решения нужны медицинским ассистентам, корпоративным аналитическим системам, локальным сервисам обработки данных.
«Мы тестировали гипотезу на моделях разного масштаба и назначения — от обработки текстов до распознавания изображений, — пояснил Кольцов. — Метод показал свою эффективность на разных архитектурах. Где-то лучше, где-то чуть хуже, но главное — он работал, и работал быстро. В зависимости от модели ускорение составило от десяти до пятисот раз по сравнению с традиционным подходом».
Метод уже доступен для использования. Любой разработчик или исследователь может применить описанный подход к своим моделям. Это особенно актуально для компаний и организаций, которые запускают нейросети на собственном оборудовании с ограниченными ресурсами.
Сейчас ученые продолжают работу, оптимизируя количество нейронов в каждом слое сети. Далее планируется сократить число блоков в архитектуре модели. Сколько их нужно для оптимальной работы — вопрос, на который сегодня нет четкого ответа. «Если научиться определять оптимальное количество блоков до начала обучения модели, экономия будет колоссальной. Это наша следующая цель», — отметил ведущий научный сотрудник Лаборатории социальной и когнитивной информатики.
Telegram 
Дзен 
VK Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.
Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.
Сегодня на земле существует примерно 7500 языков, однако ученые давно подозревали, что в прошлом их было значительно больше. Международная группа лингвистов реконструировала историю языкового разнообразия за последние 12 тысяч лет и пришла к выводу, что человечество уже пережило «золотой век» языков, после которого их число начало быстро сокращаться.
В позднеантичном Риме императорским указом мужчинам запретили носить длинные волосы. Автор нового исследования пришел к выводу, что введение этого запрета объяснялось необходимостью сохранения римской идентичности в условиях усиливающегося распада империи и нарастающего торжества варваров.
Авторы нового исследования выяснили, что жители каменного века начали целенаправленно менять окружающую среду в южной части Норвегии задолго до появления земледелия. Приблизительно 7000 лет назад они переселили рыбу в одно из горных озер и таким образом создали новый источник пищи, а затем построили сложную систему ловушек, которая прослужила не одно столетие.
Популярные пестициды могут помогать клещам захватывать новые территории с более суровым климатом. Как выяснили американские ученые, воздействие сублетальных доз двух акарицидов повышает устойчивость этих паразитов к холоду и их шансы пережить зиму.
Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.
Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно