• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.08.2023, 15:34
Мария Азарова
4
12,5 тыс

Ученые из Tinkoff Research создали алгоритм, повышающий скорость обучения ИИ в 20 раз

❋ 5.8

Специалисты лаборатории исследований искусственного интеллекта Tinkoff Research — одна из немногих исследовательских групп, которая проводит научные исследования внутри компании, а не на базе некоммерческой организации — сообщили об открытии нового алгоритма, обучающего ИИ в 20 раз быстрее. Результаты представили на 40-й Международной конференции по машинному обучению (ICML), прошедшей в конце июля на Гавайских островах.

Визуализация принятия решения роботами
Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Четыре рисунка сверху — предыдущие методы, основанные на RND, четыре рисунка снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку / © Tinkoff Research / Автор: Анастасия Кожевникова

Новый метод назвали SAC-RND — Soft Actor Critic (мягкий актор-критик), RND — Random Network Distillation (случайные нейронные сети). Как показали испытания на робототехнических симуляторах, SAC-RND от Tinkoff Research в 20 раз быстрее и на 10 процентов качественнее достигает результатов при меньшем количестве потребляемых ресурсов и времени.

В методе RND задействованы случайная и основная нейросети, при этом вторая пытается предсказать поведение первой. Важна глубина нейросети, то есть количество слоев, из которых она состоит. У основной их не должно быть меньше, чем у случайной, в противном случае она не сможет смоделировать ее поведение. Это повлечет нестабильность либо станет причиной невозможности обучения.

Ученые из Tinkoff Research выяснили, что у авторов предыдущих исследований, посвященных теме использования случайных нейросетей в обучении с подкреплением (Reinforcement learning, RL), размер случайной сети составлял четыре слоя, в то время как у основной их было два. Таким образом удалось выявить недостатки в более ранних экспериментах и выводах, из-за которых считалось, что метод RND не способен классифицировать данные — отличать действия в датасете от тех, что там не было. Специалисты Tinkoff Research исправили глубины сетей, превратив их в эквивалентные, и обнаружили, что в таком случае метод может различать данные.

Затем ученые взялись за оптимизацию метода: в итоге, за счет механизма слияния, в основе которого — модуляция сигналов и их линейное отображение, — роботы научились приходить к эффективным решениям. В предыдущих исследованиях на тему RND сигналы дополнительно не обрабатывали.

Благодаря SAC-RND появится возможность повысить уровень безопасности беспилотных автомобилей, облегчить логистические цепочки, сделать быстрее доставку и работу на складах. Помимо этого, с помощью нового метода можно будет оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ.  

«Обучение искусственного интеллекта — процесс, требующий больших ресурсов: прежде всего вычислительных мощностей, финансовых затрат и времени. Его оптимизация позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники».

Пресс-служба «Тинькофф»

Более того, разработка ученых из Tinkoff Research позволит не только сделать лучше работу узкоспециализированных роботов, ускорить исследования, в том числе в области обучения с подкреплением, но и приблизит создание универсального робота, который будет справляться с различными задачами в одиночку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
21 марта, 19:13
Игорь Байдов

Арахнологи описали новый вид пауков, который копирует облик мертвой особи, пораженной паразитическим грибом, чтобы хищники меньше обращали на него внимание. В природе такой гриб заражает хозяина и воздействует на его нервную систему, после чего заставляет подниматься на возвышенность, откуда легче распространять споры. Открытие расширит представления ученых о мимикрии у животных.

22 марта, 16:55
Evgenia Vavilova

Нанопластика становится все больше в диете среднего человека, но ученые ищут способы не дать ему переместиться из еды в организм навсегда. Оказалось, что источником защиты может стать квашеная капуста.

22 марта, 17:13
Татьяна Зайцева

Осенью 1066 года войска англосаксонского короля Гарольда Годвинсона не совершали изнурительный пеший поход с севера Англии на юг, к Гастингсу, где потом потерпели поражение от Вильгельма Завоевателя. На самом деле, англичане прибыли к месту битвы по морю, что заставляет взглянуть на ключевое событие английской истории под иным углом.

19 марта, 10:58
Игорь Байдов

В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.

21 марта, 19:13
Игорь Байдов

Арахнологи описали новый вид пауков, который копирует облик мертвой особи, пораженной паразитическим грибом, чтобы хищники меньше обращали на него внимание. В природе такой гриб заражает хозяина и воздействует на его нервную систему, после чего заставляет подниматься на возвышенность, откуда легче распространять споры. Открытие расширит представления ученых о мимикрии у животных.

20 марта, 14:49
МАИ

20 марта Московскому авиационному институту исполняется 96 лет. За эти годы университет прошел большой путь становления, и во многом его развитие определяли люди, посвятившие себя науке и подготовке инженерных кадров. Один из таких — выдающийся ученый, заслуженный работник высшей школы Российской Федерации, доктор технических наук, профессор Борис Семенович Зечихин. Более 70 лет его жизнь неразрывно связана с кафедрой 310 «Электроэнергетические, электромеханические и биотехнические системы» и НИО-310 МАИ. Научная и педагогическая работа Бориса Семеновича получила широкое признание в России и за рубежом, а его вклад в развитие электромеханических специальностей и подготовку инженерных кадров оказал существенное влияние на отечественную авиационную и электротехническую промышленность.  Сегодня Борис Семенович продолжает свою работу, участвует в проектах по созданию электрических и гибридных силовых установок, передает опыт и знания молодым специалистам в рамках развития Передовой инженерной школы и всего МАИ в целом.

19 марта, 10:58
Игорь Байдов

В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.

19 марта, 12:41
Игорь Байдов

Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.

18 марта, 10:35
Илья Гриднев

За 10 лет лежания в почве сигаретные фильтры не растворились, а лишь замаскировались под грязь. Их пластиковые волокна распались на микрочастицы, намертво склеились с минералами и превратились во вторичный микропластик. Более того, на пятом году гниения мусор начал отравлять землю с новой силой.

[miniorange_social_login]

Комментарии

4 Комментария
sergey qwerty
07.08.2023
-
0
+
тоже мне изобретатели😁 sac-rnd давно существует в топовых фрейворках по rl , на гит полно примеров реализации
Комментарий удален пользователем или модератором...
    -
    3
    +
    ИИ это не только языковые программы, конечно, и будущее у него есть. Но проблема в нюансах. Любой современный ИИ - это попытки оптимизации алгоритма "китайской комнаты" разными методами. Но ожиданий от ИИ - просто как от радиации в XIX веке. Переворота в познании ИИ не принесёт, это что-то вроде "логического усилителя", про который Лем писал в "Сумме технологии". Позволит людям эффективнее думать, но вот думать за людей он пока не может, да и не должен. А те, кто продвигает обратное - либо идеалисты, либо просто дураки.
    +
      ещё комментарии
      -
      0
      +
      Мы дураки, а вы предпочитаете обнадеживать себя идеей, что вы вершина творения (эволюции)? Как-то наивно предполагать, что небольшой биологический код, предположительно умещающийся на CD диск, записанный в сперматозоиде и яйцеклетке при пощении в, пардон, инкубатор может самообучиться до осознания себя, а машинный код, появившийся на свет меньше столетия назад, на такое не способен. А ведь по большому счету мы сами и сидим в этой китайской комнате, не осознавая почему мы делаем то, что делаем, ковыряемся в этих непонятных мирозданских иероглифах. Попросту так же движимые самообучающимся алгоритмом.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно