Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые нашли способ ускорить оптимизацию нейросетей до 500 раз при помощи законов физики
Исследователи Лаборатории социальной и когнитивной информатики НИУ ВШЭ — Санкт-Петербург под руководством Сергея Кольцова научились уменьшать размер нейронных сетей быстро и без потери качества благодаря методам статистической физики.
Современные нейронные сети становятся все мощнее, однако их рост создает серьезные ограничения. Модели вроде GPT содержат десятки и сотни миллиардов параметров — чисел, через которые проходит информация при обработке запроса. Но вместе с качеством увеличивается стоимость создания и использования ИИ.
«Крупнейшие модели требуют сотен гигабайт памяти: это создает экономический барьер и ограничивает доступ к технологиям, — пояснил руководитель исследования Сергей Кольцов. — Мы решили проанализировать поведение нейронной сети во время сжатия и сопоставить его с известными функциями из статистической физики».
Проблема сжатия особенно актуальна там, где данные нельзя передавать во внешние облачные сервисы. Банки работают в закрытых контурах, медицинские учреждения защищают информацию о пациентах, государственные организации не могут делиться конфиденциальными сведениями. Всем им нужны эффективные, но компактные решения, способные работать на локальном оборудовании — от сервера в собственном дата-центре до обычного ноутбука врача.
Существующие методы сжатия нейросетей основаны на простой идее: не все параметры модели одинаково важны для ее работы. Некоторые можно удалить практически без последствий. Сложность в том, чтобы понять, какие именно. Классический подход требует проводить множество экспериментов, постепенно изменяя степень сжатия и каждый раз проверяя точность работы модели. Это занимает большое количество времени.
«Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему. Это раздел науки, изучающий поведение объектов с огромным числом элементов: от молекул газа до магнитных материалов. Нейронная сеть с миллиардами параметров оказалась похожа на такие структуры. В точках экстремума — максимума или минимума — модель сохраняет оптимальное соотношение между размером и качеством работы. То есть мы доказали, что этот подход позволяет ускорить поиск оптимального количества алгоритмов в сотни раз», — рассказал профессор департамента информатики НИУ ВШЭ — Санкт-Петербург.
Исследовательская группа из четырех человек — трое российских ученых и специалист из Индии — работала над проектом с начала 2025 года. Результаты работы опубликованы в журнале Physica A: Statistical Mechanics and its Applications.
Важно было проверить универсальность метода. Эксперименты проводились на моделях среднего размера — от семи до десяти миллиардов параметров. Это те системы, которые можно запустить на мощном ноутбуке или небольшом сервере. Именно такие решения нужны медицинским ассистентам, корпоративным аналитическим системам, локальным сервисам обработки данных.
«Мы тестировали гипотезу на моделях разного масштаба и назначения — от обработки текстов до распознавания изображений, — пояснил Кольцов. — Метод показал свою эффективность на разных архитектурах. Где-то лучше, где-то чуть хуже, но главное — он работал, и работал быстро. В зависимости от модели ускорение составило от десяти до пятисот раз по сравнению с традиционным подходом».
Метод уже доступен для использования. Любой разработчик или исследователь может применить описанный подход к своим моделям. Это особенно актуально для компаний и организаций, которые запускают нейросети на собственном оборудовании с ограниченными ресурсами.
Сейчас ученые продолжают работу, оптимизируя количество нейронов в каждом слое сети. Далее планируется сократить число блоков в архитектуре модели. Сколько их нужно для оптимальной работы — вопрос, на который сегодня нет четкого ответа. «Если научиться определять оптимальное количество блоков до начала обучения модели, экономия будет колоссальной. Это наша следующая цель», — отметил ведущий научный сотрудник Лаборатории социальной и когнитивной информатики.
Telegram 
Дзен 
VK Оказалось, что насекомые активно избегают влажных поверхностей.
Эксперты НИУ ВШЭ проанализировали цифровые следы студентов и впервые показали, что итоговые оценки зависят от личного стиля прохождения онлайн-курса. Сбалансированный тип учеников оказался успешнее традиционного и практико-ориентированного. Результаты работы помогут в создании адаптивных индивидуальных образовательных систем.
Исследователи Саратовского медуниверситета установили, что большинство пациентов с бронхиальной астмой имеют как минимум одну сопутствующую патологию, а у некоторых наблюдается четырех или более сопутствующих заболеваний.
Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Оказалось, что насекомые активно избегают влажных поверхностей.
Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно