• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
13 июня
НИУ ВШЭ
187

Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям

4.4

Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования.

Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям / © С М, unsplash.com

Результаты работы вошли в пять процентов лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.

Генеративные потоковые сети (GFlowNets) — это метод в машинном обучении, который помогает создавать разнообразные и качественные образцы данных благодаря тому, что настраивает модель генерировать вариативные объекты с высокими наградами. Их начали внедрять в 2021 году, и с тех пор они применяются в различных областях: в обучении языковых моделей, в комбинаторной оптимизации (например, составлении сложных расписаний), дизайне печатных плат, моделировании молекул лекарств с заданными свойствами и прочее.

«Устройство GFlowNets можно описать на примере конструктора лего: по недостроенному объекту и набору доступных деталей модель будет пытаться предсказать, в какое место и с какой вероятностью нужно добавить деталь, чтобы по итогу мы могли с большой вероятностью собрать хороший макет машины или корабля», — объясняет Никита Морозов, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ.

Обучение с подкреплением (Reinforcement Learning, RL) — одна из парадигм машинного обучения, в которой агент обучается взаимодействовать со средой с целью максимизации функции награды. Классическая модель, построенная на основе обучения с подкреплением, AlphaGo, — первая в мире программа, победившая в настольную игру го профессионального игрока.

Генеративные потоковые сети и обучение с подкреплением схожи тем, что в качестве обучающего сигнала получают функцию награды. Однако GFlowNets пытается не максимизировать награду, а обучиться генерировать объекты с вероятностями, пропорциональными награде.

Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ впервые показали, что задача обучения генеративных потоковых сетей максимально схожа с общей задачей обучения с подкреплением, а также применили специализированные методы обучения с подкреплением для генерации дискретных объектов, например молекулярных графов.

Алексей Наумов, научный руководитель Центра ИИ, директор по фундаментальным исследованиям Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ : «Мы показали, что классические алгоритмы обучения с подкреплением применительно к GFlowNets работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30 процентов больше высококачественных молекул, чем у существующих методов»‎.

Исследователи подчеркивают, что использование существующих методов обучения с подкреплением для обучения GFlowNet напрямую, без дополнительной адаптации этих методов, позволит ускорить прогресс развития новых методов в медицинской химии, материаловедении, энергетике, биотехнологиях и во многих других областях, где GFlowNet нашли применение за три года существования. Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 14:02
Татьяна

Больше 10 лет Curiosity ищет свидетельства обитаемости Марсе. В его арсенале — инструменты для анализа горных пород и минералов, сформированных в эпохи, когда Красная планета была пригодна для органической жизни. И вот новое открытие: на пути к пику Шарп в ударном кратере Гейла марсоход впервые обнаружил кристаллы серы — необходимого строительного элемента белков.

Вчера, 11:31
ПНИПУ

День металлурга в 2024 году россияне отмечают 21 июля. Ученые Пермского Политеха рассказали, какой металл самый распространенный, какой — не утонет в воде, где можно встретить титан, можно ли потрогать обедненный уран, что опаснее — вдохнуть или проглотить ртуть, есть ли ее безопасный аналог и какой элемент не существует в чистом виде.

Позавчера, 19:04
Александр Березин

По уточненным данным, для свода Международной космической станции с орбиты компания Илона Маска использует сильно измененный грузовой корабль, имеющий рекордно большое количество двигателей (больше, чем у любого другого корабля в истории). Однако это не будет Starship, хотя для него такая задача в теории была бы проще.

15 июля
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

16 июля
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

16 июля
Татьяна

Аппарат «Кассини», работавший на орбите Сатурна с 2004 по 2017 год, детально картировал его крупнейший спутник — Титан. Выяснилось, что ближе к полярным областям на поверхности есть моря и озера с жидкими углеводородами, куда впадают пополняемые атмосферными осадками реки. По мере изучения этой информации у исследователей возникло все больше вопросов. Каков состав жидкости и что определило очертания береговых линий? Воспользовавшись данными радарной съемки, американские ученые уточнили состав морей Кракена, Лигеи и Пунги и описали свойства их поверхностей.

25 июня
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно