• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
21.12.2023, 16:27
Кирилл Отавин
1
9,2 тыс

Российские ученые открыли самый эффективный алгоритм для обучения ИИ 

❋ 5.1

Ученые из лаборатории исследований искусственного интеллекта Tinkoff Research создали самый эффективный среди своих аналогов алгоритм обучения и адаптации ИИ. Новый метод, названный ReBRAC, обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением.

© Unsplash / Автор: Татьяна Соловьёва

Сегодня в мире идет что-то вроде гонки систем искусственного интеллекта, периодически подхлестываемой известными инфоповодами последних лет — например, об использовании нейросетей для диагностики тяжелых болезней или об их коммерческих применениях (ChatGPT и ему подобные). Вся эта гонка, однако, сталкивается с серьезными ограничениями: «железо» для ИИ очень требовательное, в первую очередь к видеокартам. Ведущий производитель микросхем, без которых тут не обойтись, тайваньский TSMC, не справляется со спросом на рынке, а его конкуренты по объему делают еще меньше.

В связи с этим разработка российских ученых в области повышения эффективности алгоритмов обучения ИИ может способствовать преодолению технологического и цифрового разрыва в мире между разными странами: более эффективные алгоритмы требуют меньше вычислительных ресурсов. Государства с ограниченными вычислительными мощностями смогут создавать и развивать передовые технологии, адаптировать ИИ под конкретные прикладные задачи, существенно экономя на дорогостоящих экспериментах с ним. 

Результаты своей последней работы исследователи представили на международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems). Она прошла с 10 по 16 декабря 2023 года в Новом Орлеане (США). Алгоритм ReBRAC (Revisited Behavior Regularized Actor Critic — «пересмотренный актор-критик с контролируемым поведением») ранее описали в препринте соответствующей работы.

Визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым, который превзошел эксперта более чем в половине испытаний / © Tinkoff Research

В типичных ИИ-агентах есть два компонента: «актор», действующее лицо, генерирующее выдачу программы, и «критик», который оценивает действия актора по определенной шкале. Ориентируясь на эти оценки, актор со временем меняет свое поведение.

В новой работе ученые применили совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик, со своей стороны, точнее оценивал их. По отдельности оба улучшения пытались применять и раньше, но до сих пор не получалось сочетать оба подхода с наибольшей эффективностью.

Помимо этого, авторы нового алгоритма увеличили глубину нейронных сетей, используемых в ИИ, что облегчило ей работу с данными и поиск сложных закономерностей в них. Также они повысили эффективность горизонта планирования, изменив модель обучения так, чтобы она учитывала и краткосрочные, и долгосрочные задачи. Для стабилизации результатов обучения (а они часто и непредсказуемо колеблются, иногда даже в зависимости от времени года) исследователи использовали нормализацию слоев нейросети (LayerNorm)

Интегрировав все эти решения в алгоритм-предшественник BRAC от 2019 года, исследователи затем поочередно варьировали параметры каждого нового компонента системы. В итоге им удалось найти такой баланс модификаций, при которых этот уже довольно старый подход четырехлетней давности смог (в форме ReBRAC) показать самую высокую производительность среди всех известных на сегодня аналогов.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Автор Naked Science. Пишет о науке, технологиях, открытиях и их влиянии на общество. Интересуется актуальными исследованиями и старается объяснять сложные вещи просто.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
16 июня, 10:59
НИУ ВШЭ

Исследователи НИУ ВШЭ выяснили, как российские интернет-пользователи проверяют сомнительную информацию и что заставляет их это делать. Оказалось, что более половины, заподозрив обман, пытаются отыскать первоисточник. А определяющими факторами в деле проверки становятся возраст, место жительства, социальное положение, навыки работы с информацией и использование ИИ.

16 июня, 07:59
ТПУ

Физики Инженерной школы ядерных технологий ТПУ разработали новый подход к созданию материалов водородной энергетики, основанный на управлении дефектной структурой и иерархической архитектурой материала. Подход позволяет перейти от традиционного подбора составов и добавок к проектированию материалов с заданными характеристиками хранения и транспорта водорода.

16 июня, 08:35
Марк Чернов

Международная группа ученых выяснила, что макаки способны мысленно моделировать свои решения и заранее готовиться к грядущим событиям. Ранее умение просчитывать альтернативные варианты развития ситуации и оценивать собственные шансы на успех эксперты считали одной из ключевых особенностей исключительно человеческого мышления.

16 июня, 10:36
Александр Березин

Согласно американским СМИ, небольшая часть модуля МКС «Звезда» больше не будет использоваться космонавтами. Причиной якобы стала невозможность ликвидировать утечки воздуха в ней, несмотря на попытки, предпринятые «Роскосмосом» 5 июня 2026 года.

11 июня, 10:59
НИУ ВШЭ

Исследователи НИУ ВШЭ и МГУ доказали универсальный закон, описывающий время исчезновения популяций в случайной среде. Анализ эволюции ветвящихся процессов — сложных вероятностных систем — показал, что вне зависимости от изначального числа особей процесс вымирания подчиняется строгим математическим закономерностям.

14 июня, 10:35
Игорь Байдов

Сам факт того, что после распада Западной Римской империи возникали новые государства, историкам известен давно. Нет сомнений в существовании королевств готов, франков, лангобардов и других постримских политических образований. Авторы нового исследования сосредоточились на более сложном вопросе. Они попытались выяснить, как именно происходило формирование таких обществ на уровне отдельных людей, семей и общин. Впервые благодаря сочетанию генетических и археологических данных исследователи смогли реконструировать развитие одного постримского политического общества, которое располагалось на территории Паннонии.

10 июня, 11:51
Александр Березин

Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.

17 мая, 10:35
Игорь Байдов

В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.

25 мая, 14:00
Андрей Серегин

В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.

[miniorange_social_login]

Комментарии

1 Комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Комментарий на проверке

Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Ошибка авторизации
По закону на российских сайтах теперь нельзя авторизовываться с помощью иностранных сервисов. Используйте другой способ или восстановите доступ по почте.
Восстановить доступ
Войти по-другому
Вход через почту
Введите привязанную к соцсети почту, чтобы восстановить доступ или получить одноразовую ссылку для входа на сайт.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно