Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В НИУ ВШЭ улучшили модель диффузионной нейросети
Ученые Центра искусственного интеллекта и факультета компьютерных наук НИУ ВШЭ, а также Института искусственного интеллекта AIRI и Sber AI разработали новую структуру диффузионной модели, для которой возможно задать восемь видов распределения шума. Вместо классической структуры модели в виде цепи Маркова и применения нормального распределения ученые предложили звездообразную модель, где возможно выбирать тип распределения. Это поможет решать задачи в разных геометрических пространствах с помощью диффузионных моделей.
Результаты работы были представлены на конференции NeurIPS 2023. За последние 20 лет генеративные нейросети стали работать лучше. Если раньше они создавали не очень качественные тексты и изображения за один шаг, то с появлением диффузионных моделей — разновидности генеративных нейросетей — процесс стал постепенным, и результат улучшился.
Диффузионные нейросети основаны на вероятностной модели шумоподавления и диффузии, или DDPM. Модель работает так: на каждом этапе к данным добавляются случайные изменения. Например, с каждым шагом могут изменяться цвета или яркость. Эти изменения постепенно уменьшают шум и делают данные более похожими на нужный результат до тех пор, пока из хаоса не получится конечное изображение.
В основе модели лежит цепь Маркова, которая постепенно добавляет шум, а затем так же постепенно обращает процесс диффузии вспять, чтобы получить исходные данные, например картинку с котиком. Нейросеть учится этим преобразованиям на тренировочных данных, в которых есть пример оригинального изображения и его зашумленных версий.
Такие модели хорошо генерируют картинки, звуки, но с более сложными задачами, например генерированием объемных структур, справляются хуже. Это происходит из-за того, что шаги зашумления диффузионной модели работают только с помощью нормального распределения. И если исходные объекты имеют ограничения, их невозможно задать и сохранить на протяжении всех шагов.
Команда исследователей предложила новый тип модели, который упрощает процесс работы с данными. В новой структуре диффузионной модели стало возможным изменять тип распределения шума. Чтобы этого добиться, исследователи преобразовали структуру модели в звездообразную, где все состояния были не внутри марковской цепочки, а расходились из исходного объекта в стороны.
«Например, задача нейросети — сгенерировать молекулу. В составе молекулы есть три типа атомов, которые задаются с помощью дискретных данных. Если зашумить эти данные нормальным распределением, то типы атомов станут принимать не существующие в реальном мире значения. В звездообразной модели мы можем подобрать нужный тип распределения, при котором данные не будут искажаться», — комментирует один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ Андрей Охотин.
В структуре модели две компоненты. Первая отвечает за зашумление объекта путем пошагового удаления информации, а вторая учится делать шаг назад в этой цепочке. Модель возможно задать для восьми видов распределений, которые поддерживают ограничения данных.
«Мы перешли к новой структуре обратного процесса. Если раньше каждое следующее состояние можно было получить, используя только одно предыдущее, то теперь каждое состояние объекта зависит от всех предыдущих, — объясняет научный руководитель Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный консультант AIRI Дмитрий Ветров. — При такой структуре информация собирается в один объект, который мы назвали хвостовой статистикой, и подается в нейронную сеть, чтобы она сделала следующий шаг. Это позволяет эффективнее обучать модель».
Ученые сравнили эффективность звездообразной модели с классическими диффузионными моделями. На задачах генерации текста в обычном режиме модель ученых работала на таком же уровне качества. А в ускоренном режиме (при меньшем числе шагов генерации) модель для изображений работала лучше и генерировала набор данных ближе к исходному.
Со сложными задачами, связанными с генерацией точек в разных геометрических пространствах — сфере, симплексе и пространстве матриц, описывающих эллипсы, — звездообразная модель справлялась лучше, чем классическая диффузионная модель.
В задаче с генерацией точек на сфере модели нужно было научиться отмечать точки в тех местах, где, согласно геодезическому набору данных 2020 года, на поверхности Земли чаще всего происходили пожары. После этого сравнивались точки, которые были в действительности, и те, что сгенерировала модель. Модель сгенерировала точки максимально приближенно к оригиналу. Полученные результаты сопоставимы с существующими методами решения этой задачи.
«В этой статье мы предложили более универсальную диффузионную модель, которая позволяет генерировать объекты сложной структуры. Это поможет применять такие методы для более широкого класса задач из естественных наук, например из биологии, физики, химии, где есть структурные ограничения при генерации объектов: молекул, состояний элементарных частиц, химических соединений», — комментирует один из авторов статьи, младший научный сотрудник Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, научный сотрудник AIRI Айбек Аланов.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.
Telegram 
Дзен 
VK Ученые из Института космических исследований РАН и МФТИ раскрыли химический механизм, объясняющий появление молекул воды на поверхностях астероидов.
Пластичность мозга — его способность перестраиваться под влиянием приходящей информации. Это свойство необходимо для обучения и адаптации. Пластичность особенно высока в детском и юношеском возрасте, она помогает быстро выучить иностранный язык и освоить сложные моторные навыки (например, фигурное катание). Ресурс пластичности есть и у пожилых людей — благодаря альтернативным нейронным сетям они восстанавливаются после травмы или инсульта. Как выясняется, высокая пластичность это не всегда хорошо. Нарушение тонкого баланса между пластичностью и стабильностью может вести к неприятным последствиям, таким как хроническая боль, тиннитус (звон в ушах) и фобии.
Исследователи Санкт-Петербургского государственного университета разработали эффективный способ обнаружения в крови важнейшего биомаркера иммунитета — неоптерина — с помощью нанотехнологий и лазера.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
На наземные растения, в основном деревья, приходится 80 процентов всей биомассы Земли, 450 миллиардов тонн сухого углерода и более двух триллионов тонн «живого веса». Поэтому идея сажать новые леса для связывания СО2 из атмосферы долго казалась логичной. Новые данные показали, что реальность заметно сложнее.
«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно