Российские ученые создали первую в мире открытую виртуальную среду для самообучающегося ИИ

Хотя СМИ часто представляют эволюцию современного ИИ как непрерывную историю успеха, реальность заметно сложнее. Управление автономными автомобилями и БЛА остается проблемой: даже у самых сильных игроков отрасли вроде Waymo и Tesla машины периодически едут на красный свет или сигналят друг другу по ночам, несмотря на тот факт, что автономный автомобиль, в отличие от пилотируемого, практически не реагирует на звуковые сигналы.

Подобные истории неслучайны, но указывают на одно из узких мест современного ИИ: он неплохо работает в ситуациях, к которым его «готовили», обучая на большой выборке, но часто пасует перед редко встречающимися сложностями, которые лишь слабо (а то и вообще никак) представлены в его обучающей выборке.

Разумеется, ученые пытаются бороться с такими явлениями. Одно из средств — контекстное обучение с подкреплением (In-context Reinforcement Learning, или In-Context RL). Речь идет о сравнительно новом направлении в ИИ: такой подход позволяет модели быстро адаптироваться к новым задачам, отталкиваясь от подсказок и контекста, без длительного обучения с нуля.

В результате ИИ может эффективно взаимодействовать даже с весьма сложной окружающей средой и дообучаться на лету. In-Context RL считается перспективным в таких областях, как персонализированные рекомендации для покупателей интернет-магазинов, управление роботами и автономными автомобилями. Иными словам он востребованнее всего там, где требуется практически мгновенная адаптация к принципиально новым условиям.

Но для обучения такого ИИ нужны специальная виртуальная среда, своего рода цифровой полигон. Имеющиеся среды такого рода можно разделить на две категории. Одни неплохо разработаны, как Google DeepMind, но внутрикорпоративны, то есть закрыты для внешних пользователей. Второй вариант: они открыты, но сравнительно просты, поэтому предлагают для дообучения ИИ лишь однотипные и легкие задачи. На них добиться существенного прогресса проблематично. Поэтому в лаборатории T-Bank AI Research решили создать свою собственную открытую виртуальную среду.

«Мы пришли в область контекстного обучения с подкреплением, когда она еще зарождалась, поэтому не нашли ни одного подходящего инструмента для оценки новых идей. Стало понятно, что это проблема для многих специалистов, а значит, она должна быть решена одной из первых. Поэтому появился XLand-MiniGrid», — отметил ученый Вячеслав Синий из научной группы AI Alignment, входящей в лабораторию исследований искусственного интеллекта T-Bank AI Research.

Научная статья о новой виртуальной среде принята на крупнейшую международную конференцию в области ИИ — NeurIPS 2024. Ее представят там с 10 по 15 декабря в Ванкувере, Канада. Но еще до этого среду уже использовали в целом ряде исследований ученых из крупных зарубежных центров, разрабатывающих искусственный интеллект.

Новую среду создали на базе JAX — технологии для разработки высокопроизводительных программ. Поэтому, в отличие от более медленных открытых аналогов, XLand-MiniGrid выполняет миллиарды операций в секунду.

Еще там собрано 100 миллиардов примеров действий ИИ в 30 тысячах задач. За счет этого разработчики могут использовать готовые датасеты для обучения, а а не собирать их каждый раз с нуля. Такие особенности виртуальной среды для обучения ИИ упрощают исследования и новые открытия в этой области.

При этом, в отличие от уже существующих сред высокой сложности, XLand-MiniGrid находится в открытом доступе и выложена на GitHub.