Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования.
Результаты работы вошли в пять процентов лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.
Генеративные потоковые сети (GFlowNets) — это метод в машинном обучении, который помогает создавать разнообразные и качественные образцы данных благодаря тому, что настраивает модель генерировать вариативные объекты с высокими наградами. Их начали внедрять в 2021 году, и с тех пор они применяются в различных областях: в обучении языковых моделей, в комбинаторной оптимизации (например, составлении сложных расписаний), дизайне печатных плат, моделировании молекул лекарств с заданными свойствами и прочее.
«Устройство GFlowNets можно описать на примере конструктора лего: по недостроенному объекту и набору доступных деталей модель будет пытаться предсказать, в какое место и с какой вероятностью нужно добавить деталь, чтобы по итогу мы могли с большой вероятностью собрать хороший макет машины или корабля», — объясняет Никита Морозов, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ.
Обучение с подкреплением (Reinforcement Learning, RL) — одна из парадигм машинного обучения, в которой агент обучается взаимодействовать со средой с целью максимизации функции награды. Классическая модель, построенная на основе обучения с подкреплением, AlphaGo, — первая в мире программа, победившая в настольную игру го профессионального игрока.
Генеративные потоковые сети и обучение с подкреплением схожи тем, что в качестве обучающего сигнала получают функцию награды. Однако GFlowNets пытается не максимизировать награду, а обучиться генерировать объекты с вероятностями, пропорциональными награде.
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ впервые показали, что задача обучения генеративных потоковых сетей максимально схожа с общей задачей обучения с подкреплением, а также применили специализированные методы обучения с подкреплением для генерации дискретных объектов, например молекулярных графов.
Алексей Наумов, научный руководитель Центра ИИ, директор по фундаментальным исследованиям Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ : «Мы показали, что классические алгоритмы обучения с подкреплением применительно к GFlowNets работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30 процентов больше высококачественных молекул, чем у существующих методов».
Исследователи подчеркивают, что использование существующих методов обучения с подкреплением для обучения GFlowNet напрямую, без дополнительной адаптации этих методов, позволит ускорить прогресс развития новых методов в медицинской химии, материаловедении, энергетике, биотехнологиях и во многих других областях, где GFlowNet нашли применение за три года существования. Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.
Telegram 
Дзен 
VK За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».
Снимки с фотоловушек давно стали культурным явлением. Особенно забавными выглядят медведи. Мы с удовольствием смотрим на зверей, попавших в объектив камер в национальных парках: тигр украл фотоловушку, муравьед проехал верхом на муравьеде и так далее. Но не все животные настолько обаятельные. Ученые из США решили развить эмпатию к гремучим змеям, которых многие боятся. Для этого специалисты запустили трансляцию из «мегалогова», где рептилии отдыхают и рожают потомство.
Команда исследователей из Италии и США предложила два способа, с помощью которых гипотетический зонд сможет быстро добраться до одного из самых отдаленных и малоизученных объектов Солнечной системы. Речь о Седне — транснептуновом теле, которое находится за орбитой Плутона. По мнению инженеров, эти передовые технологии смогут доставить аппарат к Седне за семь и 10 лет.
За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».
Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.
Квантовые спиновые жидкости (КСЖ) обещают ученым развитие в областях квантовых вычислений и передачи энергии без потерь. В них магнитные моменты частиц теоретически не должны упорядочиваться даже при охлаждении до абсолютного нуля температур.
Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.
Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.
Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно