• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
05.12.2024
Редакция Naked Science
15 516

Российские ученые создали первую в мире открытую виртуальную среду для самообучающегося ИИ

❋ 4.9

Разработка называется XLand-MiniGrid и позволяет тренируемому ИИ выполнять триллион взаимодействий с обучающей его средой всего за три дня.

Автомобили Waymo бибикают друг на друга ночью на парковке в США, 2024 год. Жители окрестных домов были не в восторге: автономные авто сами слабо реагируют на звуковые сигналы, поэтому перекличка шла долго. Для решения подобных проблем нужен более гибкий ИИ / © Wikimedia Commons

Хотя СМИ часто представляют эволюцию современного ИИ как непрерывную историю успеха, реальность заметно сложнее. Управление автономными автомобилями и БЛА остается проблемой: даже у самых сильных игроков отрасли вроде Waymo и Tesla машины периодически едут на красный свет или сигналят друг другу по ночам, несмотря на тот факт, что автономный автомобиль, в отличие от пилотируемого, практически не реагирует на звуковые сигналы.

Подобные истории неслучайны, но указывают на одно из узких мест современного ИИ: он неплохо работает в ситуациях, к которым его «готовили», обучая на большой выборке, но часто пасует перед редко встречающимися сложностями, которые лишь слабо (а то и вообще никак) представлены в его обучающей выборке.

Разумеется, ученые пытаются бороться с такими явлениями. Одно из средств — контекстное обучение с подкреплением (In-context Reinforcement Learning, или In-Context RL). Речь идет о сравнительно новом направлении в ИИ: такой подход позволяет модели быстро адаптироваться к новым задачам, отталкиваясь от подсказок и контекста, без длительного обучения с нуля.

В результате ИИ может эффективно взаимодействовать даже с весьма сложной окружающей средой и дообучаться на лету. In-Context RL считается перспективным в таких областях, как персонализированные рекомендации для покупателей интернет-магазинов, управление роботами и автономными автомобилями. Иными словам он востребованнее всего там, где требуется практически мгновенная адаптация к принципиально новым условиям.

Но для обучения такого ИИ нужны специальная виртуальная среда, своего рода цифровой полигон. Имеющиеся среды такого рода можно разделить на две категории. Одни неплохо разработаны, как Google DeepMind, но внутрикорпоративны, то есть закрыты для внешних пользователей. Второй вариант: они открыты, но сравнительно просты, поэтому предлагают для дообучения ИИ лишь однотипные и легкие задачи. На них добиться существенного прогресса проблематично. Поэтому в лаборатории T-Bank AI Research решили создать свою собственную открытую виртуальную среду.

«Мы пришли в область контекстного обучения с подкреплением, когда она еще зарождалась, поэтому не нашли ни одного подходящего инструмента для оценки новых идей. Стало понятно, что это проблема для многих специалистов, а значит, она должна быть решена одной из первых. Поэтому появился XLand-MiniGrid», — отметил ученый Вячеслав Синий из научной группы AI Alignment, входящей в лабораторию исследований искусственного интеллекта T-Bank AI Research.

Научная статья о новой виртуальной среде принята на крупнейшую международную конференцию в области ИИ — NeurIPS 2024. Ее представят там с 10 по 15 декабря в Ванкувере, Канада. Но еще до этого среду уже использовали в целом ряде исследований ученых из крупных зарубежных центров, разрабатывающих искусственный интеллект.

Новую среду создали на базе JAX — технологии для разработки высокопроизводительных программ. Поэтому, в отличие от более медленных открытых аналогов, XLand-MiniGrid выполняет миллиарды операций в секунду.

XLand-MiniGrid позволяет агентам совершать до одного триллиона взаимодействий со средой за три дня, что ускоряет эксперименты и проверку гипотез / © T-Bank AI Research

Еще там собрано 100 миллиардов примеров действий ИИ в 30 тысячах задач. За счет этого разработчики могут использовать готовые датасеты для обучения, а а не собирать их каждый раз с нуля. Такие особенности виртуальной среды для обучения ИИ упрощают исследования и новые открытия в этой области.

При этом, в отличие от уже существующих сред высокой сложности, XLand-MiniGrid находится в открытом доступе и выложена на GitHub.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Сегодня, 15:35
Губкинский университет

Исследования ученых РГУ нефти и газа имени И. М. Губкина подтвердили, что технология производства авиационного топлива SAF из растительных лигноцеллюлозных отходов позволит снизить выбросы углекислого газа на 75% по сравнению с нефтяным керосином.

Сегодня, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

Сегодня, 08:01
Адель Романова

На стыке трех литосферных плит у Красного моря заметили необычный вулканический процесс: где-то магма поднимается равномерным потоком, где-то — по частям. По мнению геологов, такой «пульс» вызван тем, что в некоторых местах магма с большим трудом пытается пробиться на поверхность.

28 июня, 18:58
Игорь Байдов

За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».

29 июня, 17:23
Людмила Соколова

Чтобы понять, как часто за пределами Солнечной системы встречаются миры, похожие на Землю, ученые из Калифорнийского университета (США) провели статистический анализ 517 экзопланет. Результаты показали, что всего три мира, включая наш, соответствуют критериям потенциальной обитаемости. Наиболее перспективными из них оказались Kepler-22b и Kepler-538b.

26 июня, 20:59
Татьяна

Происхождение и возраст земной коры долгое время занимает умы исследователей. Международная комиссия по стратиграфии рассматривает серые гнейсы Акасты в Канаде как переход к архею. В них обнаружили осколки цирконов возрастом более четырех миллиардов лет, то есть принадлежащие предыдущему эону — катархею. Возможно, эти минералы входили в состав первичной земной коры, которая исчезла везде, кроме одного региона.

25 июня, 15:19
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

5 июня, 13:20
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

19 июня, 13:42
ЮФУ

В ЮФУ придумали новый остроумный способ тестировать ИИ на способность работать в реальных ситуациях использования русского языка. Исследователи искусственного интеллекта из МИИ ИМ ЮФУ предлагают использовать интеллектуальные языковые игры, как пример — заставлять ИИ отвечать на вопросы из архива телевикторины «Что? Где? Когда?» и «Своей игры». Инициативу прокомментировал опытный игрок.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно