В НИУ ВШЭ улучшили модель диффузионной нейросети
Ученые Центра искусственного интеллекта и факультета компьютерных наук НИУ ВШЭ, а также Института искусственного интеллекта AIRI и Sber AI разработали новую структуру диффузионной модели, для которой возможно задать восемь видов распределения шума. Вместо классической структуры модели в виде цепи Маркова и применения нормального распределения ученые предложили звездообразную модель, где возможно выбирать тип распределения. Это поможет решать задачи в разных геометрических пространствах с помощью диффузионных моделей.
Результаты работы были представлены на конференции NeurIPS 2023. За последние 20 лет генеративные нейросети стали работать лучше. Если раньше они создавали не очень качественные тексты и изображения за один шаг, то с появлением диффузионных моделей — разновидности генеративных нейросетей — процесс стал постепенным, и результат улучшился.
Диффузионные нейросети основаны на вероятностной модели шумоподавления и диффузии, или DDPM. Модель работает так: на каждом этапе к данным добавляются случайные изменения. Например, с каждым шагом могут изменяться цвета или яркость. Эти изменения постепенно уменьшают шум и делают данные более похожими на нужный результат до тех пор, пока из хаоса не получится конечное изображение.
В основе модели лежит цепь Маркова, которая постепенно добавляет шум, а затем так же постепенно обращает процесс диффузии вспять, чтобы получить исходные данные, например картинку с котиком. Нейросеть учится этим преобразованиям на тренировочных данных, в которых есть пример оригинального изображения и его зашумленных версий.
Такие модели хорошо генерируют картинки, звуки, но с более сложными задачами, например генерированием объемных структур, справляются хуже. Это происходит из-за того, что шаги зашумления диффузионной модели работают только с помощью нормального распределения. И если исходные объекты имеют ограничения, их невозможно задать и сохранить на протяжении всех шагов.
Команда исследователей предложила новый тип модели, который упрощает процесс работы с данными. В новой структуре диффузионной модели стало возможным изменять тип распределения шума. Чтобы этого добиться, исследователи преобразовали структуру модели в звездообразную, где все состояния были не внутри марковской цепочки, а расходились из исходного объекта в стороны.
«Например, задача нейросети — сгенерировать молекулу. В составе молекулы есть три типа атомов, которые задаются с помощью дискретных данных. Если зашумить эти данные нормальным распределением, то типы атомов станут принимать не существующие в реальном мире значения. В звездообразной модели мы можем подобрать нужный тип распределения, при котором данные не будут искажаться», — комментирует один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ Андрей Охотин.
В структуре модели две компоненты. Первая отвечает за зашумление объекта путем пошагового удаления информации, а вторая учится делать шаг назад в этой цепочке. Модель возможно задать для восьми видов распределений, которые поддерживают ограничения данных.
«Мы перешли к новой структуре обратного процесса. Если раньше каждое следующее состояние можно было получить, используя только одно предыдущее, то теперь каждое состояние объекта зависит от всех предыдущих, — объясняет научный руководитель Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный консультант AIRI Дмитрий Ветров. — При такой структуре информация собирается в один объект, который мы назвали хвостовой статистикой, и подается в нейронную сеть, чтобы она сделала следующий шаг. Это позволяет эффективнее обучать модель».
Ученые сравнили эффективность звездообразной модели с классическими диффузионными моделями. На задачах генерации текста в обычном режиме модель ученых работала на таком же уровне качества. А в ускоренном режиме (при меньшем числе шагов генерации) модель для изображений работала лучше и генерировала набор данных ближе к исходному.
Со сложными задачами, связанными с генерацией точек в разных геометрических пространствах — сфере, симплексе и пространстве матриц, описывающих эллипсы, — звездообразная модель справлялась лучше, чем классическая диффузионная модель.
В задаче с генерацией точек на сфере модели нужно было научиться отмечать точки в тех местах, где, согласно геодезическому набору данных 2020 года, на поверхности Земли чаще всего происходили пожары. После этого сравнивались точки, которые были в действительности, и те, что сгенерировала модель. Модель сгенерировала точки максимально приближенно к оригиналу. Полученные результаты сопоставимы с существующими методами решения этой задачи.
«В этой статье мы предложили более универсальную диффузионную модель, которая позволяет генерировать объекты сложной структуры. Это поможет применять такие методы для более широкого класса задач из естественных наук, например из биологии, физики, химии, где есть структурные ограничения при генерации объектов: молекул, состояний элементарных частиц, химических соединений», — комментирует один из авторов статьи, младший научный сотрудник Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный сотрудник AIRI Айбек Аланов.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.
Telegram 
Дзен 
VK Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Мы много знаем о том, как цивилизации до нас строили дома и дороги, но с объектами материальной культуры дела обстоят сложнее. Ремесленные техники часто хранились в строгом секрете и могли быть случайно утрачены при неудачном стечении обстоятельств. Так случилось с ювелирной техникой цзинь чжэ сы.
Японские исследователи выловили у берегов Окинавы пластиковую бутылку с узким горлышком, внутри которой сидел большой живой краб. В итоге ученые смогли найти ответы на несколько возникших в связи с этой находкой вопросов: как краб попал в бутылку, сколько там находился и как ему удалось выжить?
На протяжении десятилетий Тель-Авив воздерживался от этого шага, чтобы не испортить отношения с Турцией. Но после действий Израиля 2023-2026 годов официальная Анкара, как и множество государств мира, неоднократно осуждала Израиль, из-за чего изменилась и его позиция по геноциду.
Ученые Южного федерального университета исследовали новую светочувствительную молекулу и обнаружили, что она ведет себя совсем не так, как ожидалось. Благодаря необычным свойствам она может стать основой для создания умных материалов, сенсоров и лекарств, которые будут активироваться светом именно там, где нужно, например, для борьбы с опасными бактериями.
Авторы нового исследования провели сравнительный анализ видов паукообразных и выяснили, какие эволюционные и биомеханические факторы делают одних пауков быстрыми, а других — медленными. Параллельно ученые выделили из этой группы рекордсмена по скорости перемещения.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно