• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.08.2023, 15:34
Мария Азарова
4
12,5 тыс

Ученые из Tinkoff Research создали алгоритм, повышающий скорость обучения ИИ в 20 раз

❋ 5.8

Специалисты лаборатории исследований искусственного интеллекта Tinkoff Research — одна из немногих исследовательских групп, которая проводит научные исследования внутри компании, а не на базе некоммерческой организации — сообщили об открытии нового алгоритма, обучающего ИИ в 20 раз быстрее. Результаты представили на 40-й Международной конференции по машинному обучению (ICML), прошедшей в конце июля на Гавайских островах.

Визуализация принятия решения роботами
Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Четыре рисунка сверху — предыдущие методы, основанные на RND, четыре рисунка снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку / © Tinkoff Research / Автор: Анастасия Кожевникова

Новый метод назвали SAC-RND — Soft Actor Critic (мягкий актор-критик), RND — Random Network Distillation (случайные нейронные сети). Как показали испытания на робототехнических симуляторах, SAC-RND от Tinkoff Research в 20 раз быстрее и на 10 процентов качественнее достигает результатов при меньшем количестве потребляемых ресурсов и времени.

В методе RND задействованы случайная и основная нейросети, при этом вторая пытается предсказать поведение первой. Важна глубина нейросети, то есть количество слоев, из которых она состоит. У основной их не должно быть меньше, чем у случайной, в противном случае она не сможет смоделировать ее поведение. Это повлечет нестабильность либо станет причиной невозможности обучения.

Ученые из Tinkoff Research выяснили, что у авторов предыдущих исследований, посвященных теме использования случайных нейросетей в обучении с подкреплением (Reinforcement learning, RL), размер случайной сети составлял четыре слоя, в то время как у основной их было два. Таким образом удалось выявить недостатки в более ранних экспериментах и выводах, из-за которых считалось, что метод RND не способен классифицировать данные — отличать действия в датасете от тех, что там не было. Специалисты Tinkoff Research исправили глубины сетей, превратив их в эквивалентные, и обнаружили, что в таком случае метод может различать данные.

Затем ученые взялись за оптимизацию метода: в итоге, за счет механизма слияния, в основе которого — модуляция сигналов и их линейное отображение, — роботы научились приходить к эффективным решениям. В предыдущих исследованиях на тему RND сигналы дополнительно не обрабатывали.

Благодаря SAC-RND появится возможность повысить уровень безопасности беспилотных автомобилей, облегчить логистические цепочки, сделать быстрее доставку и работу на складах. Помимо этого, с помощью нового метода можно будет оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ.  

«Обучение искусственного интеллекта — процесс, требующий больших ресурсов: прежде всего вычислительных мощностей, финансовых затрат и времени. Его оптимизация позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники».

Пресс-служба «Тинькофф»

Более того, разработка ученых из Tinkoff Research позволит не только сделать лучше работу узкоспециализированных роботов, ускорить исследования, в том числе в области обучения с подкреплением, но и приблизит создание универсального робота, который будет справляться с различными задачами в одиночку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
13 марта, 13:57
Татьяна Зайцева

Археологи обнаружили на стенах гробниц египетской знати в Долине царей надписи на древних индийских языках. Эти граффити оставили путешественники из Южной Азии, посещавшие Египет в начале первого тысячелетия нашей эры, когда он был провинцией Римской империи. Находки подтвердили, что Долина царей уже в те времена была популярным туристическим аттракционом.

12 марта, 15:55
Андрей Серегин

Отдельные аспекты полового поведения живых организмов порой могут оказывать огромное влияние на пищевые цепочки и целые экосистемы. Ученые на примере североамериканских рыб доказали, что агрессивное половое поведение их самцов может помочь в выживании зоопланктона.

12 марта, 07:55
Игорь Байдов

Каждую весну оплодотворенные матки шмелей выходят из зимовки и основывают новые колонии. Но как они умудряются выжить, если во время «спячки» их подземное убежище часто подтапливают талые или дождевые воды? Первыми на этот вопрос в 2024 году ответила команда канадских биологов. Они выяснили, что шмели способны безопасно проводить под водой до недели. Теперь другая группа ученых решила выяснить, какой именно физиологический механизм стоит за этим феноменом.

10 марта, 14:47
ФизТех

Коллектив климатологов из Института географии РАН, Института физики атмосферы имени А. М. Обухова РАН и МФТИ разобрал одну из самых загадочных страниц климатической летописи: почему Арктика так резко потеплела в первой половине XX века, причем особенно сильно зимой. Ученые оценили, какую долю в тех температурных скачках могли сыграть «внутренние ритмы» атмосферы и океана Северного полушария и почему ответ меняется в зависимости от того, как именно отделять естественные колебания климата от внешних факторов вроде роста парниковых газов и загрязнения воздуха аэрозолями.

12 марта, 07:55
Игорь Байдов

Каждую весну оплодотворенные матки шмелей выходят из зимовки и основывают новые колонии. Но как они умудряются выжить, если во время «спячки» их подземное убежище часто подтапливают талые или дождевые воды? Первыми на этот вопрос в 2024 году ответила команда канадских биологов. Они выяснили, что шмели способны безопасно проводить под водой до недели. Теперь другая группа ученых решила выяснить, какой именно физиологический механизм стоит за этим феноменом.

8 марта, 10:58
Татьяна Зайцева

Согласно гипотезе о так называемой Еврогондване, в эпоху динозавров Европа, как часть северного суперконтинента Лавразия, еще не полностью отделилась от южного суперконтинента Гондвана и животные могли свободно мигрировать между Европой и Африкой. Однако новый анализ найденных в Венгрии костей первобытного крокодила показал, что его сходство с гондванскими видами обусловлено не близким родством, а схожим образом жизни.

3 марта, 14:06
Александр Березин

В ноябре 2025 года при взлете российской ракеты с Байконура к МКС с существенной высоты упала кабина обслуживания 8У216. Поскольку в 2010-х годах из экономии средств у нас отказались от дублирования стартовых площадок, это создало ситуацию временной невозможности пилотируемых полетов. Теперь, всего через три месяца после происшествия, «Роскосмос» смог решить проблему, поставив запасную кабину обслуживания, найденную на складах Минобороны. Весенние пуски к МКС, запланированные ранее, теперь имеют шансы пройти в срок.

5 марта, 08:10
Александр Березин

Одна сторона сыплет более дорогими и сложными баллистическими ракетами, другая — относительно дешевыми крылатыми. Но при этом первая на порядок беднее второй. А что у них с технологическим уровнем для наземной войны, и почему, кстати, глава второй избегает даже самого этого слова? Попробуем разобраться в реальных возможностях военных машин сторон потенциально самого опасного конфликта 2026 года.

28 февраля, 16:50
Игорь Байдов

В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.

[miniorange_social_login]

Комментарии

4 Комментария
sergey qwerty
07.08.2023
-
0
+
тоже мне изобретатели😁 sac-rnd давно существует в топовых фрейворках по rl , на гит полно примеров реализации
Комментарий удален пользователем или модератором...
    -
    3
    +
    ИИ это не только языковые программы, конечно, и будущее у него есть. Но проблема в нюансах. Любой современный ИИ - это попытки оптимизации алгоритма "китайской комнаты" разными методами. Но ожиданий от ИИ - просто как от радиации в XIX веке. Переворота в познании ИИ не принесёт, это что-то вроде "логического усилителя", про который Лем писал в "Сумме технологии". Позволит людям эффективнее думать, но вот думать за людей он пока не может, да и не должен. А те, кто продвигает обратное - либо идеалисты, либо просто дураки.
    +
      ещё комментарии
      -
      0
      +
      Мы дураки, а вы предпочитаете обнадеживать себя идеей, что вы вершина творения (эволюции)? Как-то наивно предполагать, что небольшой биологический код, предположительно умещающийся на CD диск, записанный в сперматозоиде и яйцеклетке при пощении в, пардон, инкубатор может самообучиться до осознания себя, а машинный код, появившийся на свет меньше столетия назад, на такое не способен. А ведь по большому счету мы сами и сидим в этой китайской комнате, не осознавая почему мы делаем то, что делаем, ковыряемся в этих непонятных мирозданских иероглифах. Попросту так же движимые самообучающимся алгоритмом.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно