• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.08.2023
Мария А.
5
12 399

Ученые из Tinkoff Research создали алгоритм, повышающий скорость обучения ИИ в 20 раз

5.8

Специалисты лаборатории исследований искусственного интеллекта Tinkoff Research — одна из немногих исследовательских групп, которая проводит научные исследования внутри компании, а не на базе некоммерческой организации — сообщили об открытии нового алгоритма, обучающего ИИ в 20 раз быстрее. Результаты представили на 40-й Международной конференции по машинному обучению (ICML), прошедшей в конце июля на Гавайских островах.

Визуализация принятия решения роботами
Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Четыре рисунка сверху — предыдущие методы, основанные на RND, четыре рисунка снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку / © Tinkoff Research / Автор: Анастасия Кожевникова

Новый метод назвали SAC-RND — Soft Actor Critic (мягкий актор-критик), RND — Random Network Distillation (случайные нейронные сети). Как показали испытания на робототехнических симуляторах, SAC-RND от Tinkoff Research в 20 раз быстрее и на 10 процентов качественнее достигает результатов при меньшем количестве потребляемых ресурсов и времени.

В методе RND задействованы случайная и основная нейросети, при этом вторая пытается предсказать поведение первой. Важна глубина нейросети, то есть количество слоев, из которых она состоит. У основной их не должно быть меньше, чем у случайной, в противном случае она не сможет смоделировать ее поведение. Это повлечет нестабильность либо станет причиной невозможности обучения.

Ученые из Tinkoff Research выяснили, что у авторов предыдущих исследований, посвященных теме использования случайных нейросетей в обучении с подкреплением (Reinforcement learning, RL), размер случайной сети составлял четыре слоя, в то время как у основной их было два. Таким образом удалось выявить недостатки в более ранних экспериментах и выводах, из-за которых считалось, что метод RND не способен классифицировать данные — отличать действия в датасете от тех, что там не было. Специалисты Tinkoff Research исправили глубины сетей, превратив их в эквивалентные, и обнаружили, что в таком случае метод может различать данные.

Затем ученые взялись за оптимизацию метода: в итоге, за счет механизма слияния, в основе которого — модуляция сигналов и их линейное отображение, — роботы научились приходить к эффективным решениям. В предыдущих исследованиях на тему RND сигналы дополнительно не обрабатывали.

Благодаря SAC-RND появится возможность повысить уровень безопасности беспилотных автомобилей, облегчить логистические цепочки, сделать быстрее доставку и работу на складах. Помимо этого, с помощью нового метода можно будет оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ.  

«Обучение искусственного интеллекта — процесс, требующий больших ресурсов: прежде всего вычислительных мощностей, финансовых затрат и времени. Его оптимизация позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники».

Пресс-служба «Тинькофф»

Более того, разработка ученых из Tinkoff Research позволит не только сделать лучше работу узкоспециализированных роботов, ускорить исследования, в том числе в области обучения с подкреплением, но и приблизит создание универсального робота, который будет справляться с различными задачами в одиночку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
16 июля
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

Позавчера, 14:24
Игорь Байдов

Команда китайских инженеров разработала модель магнитоэлектрического генератора, способного эффективно преобразовывать энергию падающих капель в электричество. Устройство может быть полезно для районов с повышенной сезонной влажностью. Разработка ученых в теории выглядит перспективно, но вызывает некоторые вопросы. В частности, пока не ясно, можно ли найти ей практическое применение.

Вчера, 19:04
Александр Березин

По уточненным данным, для свода Международной космической станции с орбиты компания Илона Маска использует сильно измененный грузовой корабль, имеющий рекордно большое количество двигателей (больше, чем у любого другого корабля в истории). Однако это не будет Starship, хотя для него такая задача в теории была бы проще.

15 июля
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

12 июля
Александр Березин

Falcon 9 Block 5 впервые за три сотни запусков дал частично неудачный полет. Ракета выводила 20 спутников компании SpaceX, с 15 связь уже пропала, еще пять могут быть потеряны в ближайшее время.

16 июля
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

25 июня
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

[miniorange_social_login]

Комментарии

5 Комментариев
sergey qwerty
07.08.2023
-
0
+
тоже мне изобретатели😁 sac-rnd давно существует в топовых фрейворках по rl , на гит полно примеров реализации
ничего не понял но очень интересно 😇
Комментарий удален пользователем или модератором...
    Вася Васин
    04.08.2023
    -
    3
    +
    ИИ это не только языковые программы, конечно, и будущее у него есть. Но проблема в нюансах. Любой современный ИИ - это попытки оптимизации алгоритма "китайской комнаты" разными методами. Но ожиданий от ИИ - просто как от радиации в XIX веке. Переворота в познании ИИ не принесёт, это что-то вроде "логического усилителя", про который Лем писал в "Сумме технологии". Позволит людям эффективнее думать, но вот думать за людей он пока не может, да и не должен. А те, кто продвигает обратное - либо идеалисты, либо просто дураки.
    +
      ещё комментарии
      Rusya Alphacino
      06.08.2023
      -
      0
      +
      Мы дураки, а вы предпочитаете обнадеживать себя идеей, что вы вершина творения (эволюции)? Как-то наивно предполагать, что небольшой биологический код, предположительно умещающийся на CD диск, записанный в сперматозоиде и яйцеклетке при пощении в, пардон, инкубатор может самообучиться до осознания себя, а машинный код, появившийся на свет меньше столетия назад, на такое не способен. А ведь по большому счету мы сами и сидим в этой китайской комнате, не осознавая почему мы делаем то, что делаем, ковыряемся в этих непонятных мирозданских иероглифах. Попросту так же движимые самообучающимся алгоритмом.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно