• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.08.2023, 15:34
Мария Азарова
4
12,5 тыс

Ученые из Tinkoff Research создали алгоритм, повышающий скорость обучения ИИ в 20 раз

❋ 5.8

Специалисты лаборатории исследований искусственного интеллекта Tinkoff Research — одна из немногих исследовательских групп, которая проводит научные исследования внутри компании, а не на базе некоммерческой организации — сообщили об открытии нового алгоритма, обучающего ИИ в 20 раз быстрее. Результаты представили на 40-й Международной конференции по машинному обучению (ICML), прошедшей в конце июля на Гавайских островах.

Визуализация принятия решения роботами
Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Четыре рисунка сверху — предыдущие методы, основанные на RND, четыре рисунка снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку / © Tinkoff Research / Автор: Анастасия Кожевникова

Новый метод назвали SAC-RND — Soft Actor Critic (мягкий актор-критик), RND — Random Network Distillation (случайные нейронные сети). Как показали испытания на робототехнических симуляторах, SAC-RND от Tinkoff Research в 20 раз быстрее и на 10 процентов качественнее достигает результатов при меньшем количестве потребляемых ресурсов и времени.

В методе RND задействованы случайная и основная нейросети, при этом вторая пытается предсказать поведение первой. Важна глубина нейросети, то есть количество слоев, из которых она состоит. У основной их не должно быть меньше, чем у случайной, в противном случае она не сможет смоделировать ее поведение. Это повлечет нестабильность либо станет причиной невозможности обучения.

Ученые из Tinkoff Research выяснили, что у авторов предыдущих исследований, посвященных теме использования случайных нейросетей в обучении с подкреплением (Reinforcement learning, RL), размер случайной сети составлял четыре слоя, в то время как у основной их было два. Таким образом удалось выявить недостатки в более ранних экспериментах и выводах, из-за которых считалось, что метод RND не способен классифицировать данные — отличать действия в датасете от тех, что там не было. Специалисты Tinkoff Research исправили глубины сетей, превратив их в эквивалентные, и обнаружили, что в таком случае метод может различать данные.

Затем ученые взялись за оптимизацию метода: в итоге, за счет механизма слияния, в основе которого — модуляция сигналов и их линейное отображение, — роботы научились приходить к эффективным решениям. В предыдущих исследованиях на тему RND сигналы дополнительно не обрабатывали.

Благодаря SAC-RND появится возможность повысить уровень безопасности беспилотных автомобилей, облегчить логистические цепочки, сделать быстрее доставку и работу на складах. Помимо этого, с помощью нового метода можно будет оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ.  

«Обучение искусственного интеллекта — процесс, требующий больших ресурсов: прежде всего вычислительных мощностей, финансовых затрат и времени. Его оптимизация позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники».

Пресс-служба «Тинькофф»

Более того, разработка ученых из Tinkoff Research позволит не только сделать лучше работу узкоспециализированных роботов, ускорить исследования, в том числе в области обучения с подкреплением, но и приблизит создание универсального робота, который будет справляться с различными задачами в одиночку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
24 июля, 11:13
Игорь Байдов

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

25 июля, 10:46
Александр Березин

Формально почти вся программа тринадцатого полета самой большой ракеты в истории выполнена. Однако испытания показали неполную отлаженность ключевого элемента системы. SpaceX оказывается в ситуации действительно плотных сроков: до намеченного возвращения людей на Луну всего два года и два месяца.

23 июля, 14:22
ПНИПУ

Психотерапия сегодня — один из главных инструментов не только психологической помощи, но и развития личности, повышения качества жизни и самореализации. Все больше людей обращаются к психотерапии, чтобы раскрыть свой потенциал, укрепить внутренние ресурсы, достигать поставленных целей, справляться с жизненными вызовами. Однако вопрос о том, какие факторы обеспечивают ее эффективность, до сих пор остается открытым. Успех зависит как от объективных, так и от субъективных факторов: качества психотерапевтического альянса, личности специалиста, его эмпатии, опыта, уровня мотивации и рефлексии клиента. Однако субъективные сложно измерить и предсказать. Ученая Пермского Политеха выявила и обосновала новый объективный фактор успешной психотерапии. Это открытие дает специалистам новый четкий ориентир, а также обеспечивает возможность точнее выстраивать работу с клиентом.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

20 июля, 14:11
Татьяна Зайцева

В позднеантичном Риме императорским указом мужчинам запретили носить длинные волосы. Автор нового исследования пришел к выводу, что введение этого запрета объяснялось необходимостью сохранения римской идентичности в условиях усиливающегося распада империи и нарастающего торжества варваров.

22 июля, 15:33
Александр Березин

Виктор Гловер, один из четырех человек, весной этого года пролетевших мимо Луны, выступил на конференции NASA и предложил резко изменить план высадки американцев на Луне в конце десятилетия. Он считает, что это позволит снизить риски для астронавтов-участников миссии.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

26 июня, 14:54
Максим Абдулаев

Американские ветеринары установили, что длина шага передних лап у пожилых собак отражает возрастные изменения в работе мозга. Когда у собак развивается деменция, шаги их передних лап становятся короче, причем эта связь не зависит от хронической боли в суставах.

1 июля, 11:54
Марк Чернов

Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.

[miniorange_social_login]

Комментарии

4 Комментария
sergey qwerty
07.08.2023
тоже мне изобретатели😁 sac-rnd давно существует в топовых фрейворках по rl , на гит полно примеров реализации
Комментарий удален пользователем или модератором...
    ИИ это не только языковые программы, конечно, и будущее у него есть. Но проблема в нюансах. Любой современный ИИ - это попытки оптимизации алгоритма "китайской комнаты" разными методами. Но ожиданий от ИИ - просто как от радиации в XIX веке. Переворота в познании ИИ не принесёт, это что-то вроде "логического усилителя", про который Лем писал в "Сумме технологии". Позволит людям эффективнее думать, но вот думать за людей он пока не может, да и не должен. А те, кто продвигает обратное - либо идеалисты, либо просто дураки.
    +
      Еще 1 ответ
      Мы дураки, а вы предпочитаете обнадеживать себя идеей, что вы вершина творения (эволюции)? Как-то наивно предполагать, что небольшой биологический код, предположительно умещающийся на CD диск, записанный в сперматозоиде и яйцеклетке при пощении в, пардон, инкубатор может самообучиться до осознания себя, а машинный код, появившийся на свет меньше столетия назад, на такое не способен. А ведь по большому счету мы сами и сидим в этой китайской комнате, не осознавая почему мы делаем то, что делаем, ковыряемся в этих непонятных мирозданских иероглифах. Попросту так же движимые самообучающимся алгоритмом.