Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования.
Результаты работы вошли в пять процентов лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.
Генеративные потоковые сети (GFlowNets) — это метод в машинном обучении, который помогает создавать разнообразные и качественные образцы данных благодаря тому, что настраивает модель генерировать вариативные объекты с высокими наградами. Их начали внедрять в 2021 году, и с тех пор они применяются в различных областях: в обучении языковых моделей, в комбинаторной оптимизации (например, составлении сложных расписаний), дизайне печатных плат, моделировании молекул лекарств с заданными свойствами и прочее.
«Устройство GFlowNets можно описать на примере конструктора лего: по недостроенному объекту и набору доступных деталей модель будет пытаться предсказать, в какое место и с какой вероятностью нужно добавить деталь, чтобы по итогу мы могли с большой вероятностью собрать хороший макет машины или корабля», — объясняет Никита Морозов, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ.
Обучение с подкреплением (Reinforcement Learning, RL) — одна из парадигм машинного обучения, в которой агент обучается взаимодействовать со средой с целью максимизации функции награды. Классическая модель, построенная на основе обучения с подкреплением, AlphaGo, — первая в мире программа, победившая в настольную игру го профессионального игрока.
Генеративные потоковые сети и обучение с подкреплением схожи тем, что в качестве обучающего сигнала получают функцию награды. Однако GFlowNets пытается не максимизировать награду, а обучиться генерировать объекты с вероятностями, пропорциональными награде.
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ впервые показали, что задача обучения генеративных потоковых сетей максимально схожа с общей задачей обучения с подкреплением, а также применили специализированные методы обучения с подкреплением для генерации дискретных объектов, например молекулярных графов.
Алексей Наумов, научный руководитель Центра ИИ, директор по фундаментальным исследованиям Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ : «Мы показали, что классические алгоритмы обучения с подкреплением применительно к GFlowNets работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30 процентов больше высококачественных молекул, чем у существующих методов».
Исследователи подчеркивают, что использование существующих методов обучения с подкреплением для обучения GFlowNet напрямую, без дополнительной адаптации этих методов, позволит ускорить прогресс развития новых методов в медицинской химии, материаловедении, энергетике, биотехнологиях и во многих других областях, где GFlowNet нашли применение за три года существования. Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве России.
Telegram 
Дзен 
VK От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
В Олдувайском ущелье на севере Танзании ученые обнаружили скелет слона возрастом 1,78 миллиона лет, а рядом с ним — необычные для того времени каменные орудия. Авторы нового исследования полагают, что им удалось найти древнейшее место разделки гигантской добычи.
Астрономы обнаружили еще одно неожиданное последствие недавнего эксперимента с астероидом Диморф: его крупный и массивный «хозяин» Дидим стал медленнее вращаться вокруг своей оси. Ученые подозревают, что на него так повлияли разлетевшиеся обломки.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
На юге Африки ученые обнаружили коллекцию небольших каменных стрел. С виду — обычные артефакты древнего человека. Но современные технологии позволили выявить их смертельный секрет. Эти наконечники, которым почти 60 тысяч лет, сохранили следы яда. Авторы нового исследования пришли к выводу, что древние охотники стали использовать яды намного раньше, чем считала наука.
В Олдувайском ущелье на севере Танзании ученые обнаружили скелет слона возрастом 1,78 миллиона лет, а рядом с ним — необычные для того времени каменные орудия. Авторы нового исследования полагают, что им удалось найти древнейшее место разделки гигантской добычи.
На скалистых берегах аргентинской Патагонии разворачивается настоящая драма. Магеллановы пингвины, долгое время чувствовавшие себя в безопасности на суше в своих многотысячных колониях, столкнулись с новым и беспощадным врагом. Их извечные морские страхи — касатки и морские леопарды — теперь блекнут перед угрозой, пришедшей из глубины материка. Виновник переполоха — грациозный и мощный хищник, недавно вернувшийся на эти земли после долгого изгнания.
Среди самых интригующих открытий космического телескопа «Джеймс Уэбб» — компактные объекты, получившие название «маленькие красные точки». Их видели только в самых дальних уголках Вселенной. Большинство возникло в первый миллиард лет после Большого взрыва, и ученые предполагали, что такие источники представляют собой небольшие компактные галактики. Однако международная команда астрономов пришла к иному выводу. Они предположили, что на самом деле «маленькие красные точки» — черные дыры, окруженные массивной газовой оболочкой.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно