В НИУ ВШЭ улучшили модель диффузионной нейросети
Ученые Центра искусственного интеллекта и факультета компьютерных наук НИУ ВШЭ, а также Института искусственного интеллекта AIRI и Sber AI разработали новую структуру диффузионной модели, для которой возможно задать восемь видов распределения шума. Вместо классической структуры модели в виде цепи Маркова и применения нормального распределения ученые предложили звездообразную модель, где возможно выбирать тип распределения. Это поможет решать задачи в разных геометрических пространствах с помощью диффузионных моделей.
Результаты работы были представлены на конференции NeurIPS 2023. За последние 20 лет генеративные нейросети стали работать лучше. Если раньше они создавали не очень качественные тексты и изображения за один шаг, то с появлением диффузионных моделей — разновидности генеративных нейросетей — процесс стал постепенным, и результат улучшился.
Диффузионные нейросети основаны на вероятностной модели шумоподавления и диффузии, или DDPM. Модель работает так: на каждом этапе к данным добавляются случайные изменения. Например, с каждым шагом могут изменяться цвета или яркость. Эти изменения постепенно уменьшают шум и делают данные более похожими на нужный результат до тех пор, пока из хаоса не получится конечное изображение.
В основе модели лежит цепь Маркова, которая постепенно добавляет шум, а затем так же постепенно обращает процесс диффузии вспять, чтобы получить исходные данные, например картинку с котиком. Нейросеть учится этим преобразованиям на тренировочных данных, в которых есть пример оригинального изображения и его зашумленных версий.
Такие модели хорошо генерируют картинки, звуки, но с более сложными задачами, например генерированием объемных структур, справляются хуже. Это происходит из-за того, что шаги зашумления диффузионной модели работают только с помощью нормального распределения. И если исходные объекты имеют ограничения, их невозможно задать и сохранить на протяжении всех шагов.
Команда исследователей предложила новый тип модели, который упрощает процесс работы с данными. В новой структуре диффузионной модели стало возможным изменять тип распределения шума. Чтобы этого добиться, исследователи преобразовали структуру модели в звездообразную, где все состояния были не внутри марковской цепочки, а расходились из исходного объекта в стороны.
«Например, задача нейросети — сгенерировать молекулу. В составе молекулы есть три типа атомов, которые задаются с помощью дискретных данных. Если зашумить эти данные нормальным распределением, то типы атомов станут принимать не существующие в реальном мире значения. В звездообразной модели мы можем подобрать нужный тип распределения, при котором данные не будут искажаться», — комментирует один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ Андрей Охотин.
В структуре модели две компоненты. Первая отвечает за зашумление объекта путем пошагового удаления информации, а вторая учится делать шаг назад в этой цепочке. Модель возможно задать для восьми видов распределений, которые поддерживают ограничения данных.
«Мы перешли к новой структуре обратного процесса. Если раньше каждое следующее состояние можно было получить, используя только одно предыдущее, то теперь каждое состояние объекта зависит от всех предыдущих, — объясняет научный руководитель Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный консультант AIRI Дмитрий Ветров. — При такой структуре информация собирается в один объект, который мы назвали хвостовой статистикой, и подается в нейронную сеть, чтобы она сделала следующий шаг. Это позволяет эффективнее обучать модель».
Ученые сравнили эффективность звездообразной модели с классическими диффузионными моделями. На задачах генерации текста в обычном режиме модель ученых работала на таком же уровне качества. А в ускоренном режиме (при меньшем числе шагов генерации) модель для изображений работала лучше и генерировала набор данных ближе к исходному.
Со сложными задачами, связанными с генерацией точек в разных геометрических пространствах — сфере, симплексе и пространстве матриц, описывающих эллипсы, — звездообразная модель справлялась лучше, чем классическая диффузионная модель.
В задаче с генерацией точек на сфере модели нужно было научиться отмечать точки в тех местах, где, согласно геодезическому набору данных 2020 года, на поверхности Земли чаще всего происходили пожары. После этого сравнивались точки, которые были в действительности, и те, что сгенерировала модель. Модель сгенерировала точки максимально приближенно к оригиналу. Полученные результаты сопоставимы с существующими методами решения этой задачи.
«В этой статье мы предложили более универсальную диффузионную модель, которая позволяет генерировать объекты сложной структуры. Это поможет применять такие методы для более широкого класса задач из естественных наук, например из биологии, физики, химии, где есть структурные ограничения при генерации объектов: молекул, состояний элементарных частиц, химических соединений», — комментирует один из авторов статьи, младший научный сотрудник Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный сотрудник AIRI Айбек Аланов.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.
Telegram 
Дзен 
VK Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Плавящийся асфальт в США, многие тысячи погибших в Западной Европе, своеобразное лето в России — все это списывают на вредоносный феномен рекордного Эль-Ниньо. И конечно же, на него спихивают и ожидаемый рост цен на кофе и основные сельхозтовары. Правда, есть в этой картине и белые пятна: в прошлые Эль-Ниньо мировые урожаи росли. Что скорее всего случится в 2026 году и отчего роль этого события может быть куда больше, чем мы думаем?
Ученые синтезировали три новых комплекса металла европия и нашли способ управлять яркостью их свечения (люминесценции). Подобные светящиеся соединения востребованы в биологии и медицине для визуализации тканей и отслеживания распределения лекарств по организму, а также в технике при разработке энергоэффективных дисплеев и светодиодов.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно