• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.08.2023, 15:34
Мария Азарова
4
12,5 тыс

Ученые из Tinkoff Research создали алгоритм, повышающий скорость обучения ИИ в 20 раз

❋ 5.8

Специалисты лаборатории исследований искусственного интеллекта Tinkoff Research — одна из немногих исследовательских групп, которая проводит научные исследования внутри компании, а не на базе некоммерческой организации — сообщили об открытии нового алгоритма, обучающего ИИ в 20 раз быстрее. Результаты представили на 40-й Международной конференции по машинному обучению (ICML), прошедшей в конце июля на Гавайских островах.

Визуализация принятия решения роботами
Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Четыре рисунка сверху — предыдущие методы, основанные на RND, четыре рисунка снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку / © Tinkoff Research / Автор: Анастасия Кожевникова

Новый метод назвали SAC-RND — Soft Actor Critic (мягкий актор-критик), RND — Random Network Distillation (случайные нейронные сети). Как показали испытания на робототехнических симуляторах, SAC-RND от Tinkoff Research в 20 раз быстрее и на 10 процентов качественнее достигает результатов при меньшем количестве потребляемых ресурсов и времени.

В методе RND задействованы случайная и основная нейросети, при этом вторая пытается предсказать поведение первой. Важна глубина нейросети, то есть количество слоев, из которых она состоит. У основной их не должно быть меньше, чем у случайной, в противном случае она не сможет смоделировать ее поведение. Это повлечет нестабильность либо станет причиной невозможности обучения.

Ученые из Tinkoff Research выяснили, что у авторов предыдущих исследований, посвященных теме использования случайных нейросетей в обучении с подкреплением (Reinforcement learning, RL), размер случайной сети составлял четыре слоя, в то время как у основной их было два. Таким образом удалось выявить недостатки в более ранних экспериментах и выводах, из-за которых считалось, что метод RND не способен классифицировать данные — отличать действия в датасете от тех, что там не было. Специалисты Tinkoff Research исправили глубины сетей, превратив их в эквивалентные, и обнаружили, что в таком случае метод может различать данные.

Затем ученые взялись за оптимизацию метода: в итоге, за счет механизма слияния, в основе которого — модуляция сигналов и их линейное отображение, — роботы научились приходить к эффективным решениям. В предыдущих исследованиях на тему RND сигналы дополнительно не обрабатывали.

Благодаря SAC-RND появится возможность повысить уровень безопасности беспилотных автомобилей, облегчить логистические цепочки, сделать быстрее доставку и работу на складах. Помимо этого, с помощью нового метода можно будет оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ.  

«Обучение искусственного интеллекта — процесс, требующий больших ресурсов: прежде всего вычислительных мощностей, финансовых затрат и времени. Его оптимизация позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники».

Пресс-служба «Тинькофф»

Более того, разработка ученых из Tinkoff Research позволит не только сделать лучше работу узкоспециализированных роботов, ускорить исследования, в том числе в области обучения с подкреплением, но и приблизит создание универсального робота, который будет справляться с различными задачами в одиночку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
9 декабря, 10:59
НИУ ВШЭ

Специфическая тревога из-за ненадежности цифровых образов реальности и иллюзии тотального контроля над действительностью получила название «аффект зомби». Заведующий кафедрой философии НИУ ВШЭ — Санкт-Петербург Иван Микиртумов исследовал феномен в рамках проекта РНФ «Экзистенциальный опыт в цифровой среде».

8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

10 декабря, 11:49
Игорь Байдов

Раскопки мастерской, погребенной в Помпеях почти 2000 лет назад, помогли археологам больше узнать о римских строительных технологиях, а именно — определить методы изготовления римского бетона и раскрыть секрет его долговечности.

8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

9 декабря, 10:59
НИУ ВШЭ

Специфическая тревога из-за ненадежности цифровых образов реальности и иллюзии тотального контроля над действительностью получила название «аффект зомби». Заведующий кафедрой философии НИУ ВШЭ — Санкт-Петербург Иван Микиртумов исследовал феномен в рамках проекта РНФ «Экзистенциальный опыт в цифровой среде».

8 декабря, 10:59
НИУ ВШЭ

Команда психолингвистов Центра языка и мозга НИУ ВШЭ обнаружила, что у подростков в возрасте 15–18 лет навыки фонологической обработки продолжают влиять на скорость чтения текстов. Это открытие опровергает убеждение, что к подростковому возрасту эти навыки уже не играют значимой роли в беглости чтения.

8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

29 ноября, 12:42
Александр Березин

Позавчера, 27 ноября 2025 года, при запуске космонавтов к МКС на стартовую площадку № 31 упала кабина обслуживания стартового комплекса. Это означает, что новые пуски оттуда до починки невозможны. К сожалению, в 2010-х годах, в рамках «оптимизации» расходов, резервную площадку (с которой летал Юрий Гагарин) упразднили. Поэтому случилось беспрецедентное: в XXI веке страна с пилотируемой космической программой осталась без средств запуска людей на орбиту. Пока ремонт не закончится, проблема сохранится. Чем это может грозить?

27 ноября, 20:20
Максим Абдулаев

Японские биологи повторили античную технологию производства вина из изюма, чтобы выяснить механизм его брожения. Исследователи показали, что сушеный виноград, в отличие от свежего, накапливает на поверхности дикие дрожжи и способен превращать воду в алкоголь без внесения дополнительных заквасок.

[miniorange_social_login]

Комментарии

4 Комментария
sergey qwerty
07.08.2023
-
0
+
тоже мне изобретатели😁 sac-rnd давно существует в топовых фрейворках по rl , на гит полно примеров реализации
Комментарий удален пользователем или модератором...
    -
    3
    +
    ИИ это не только языковые программы, конечно, и будущее у него есть. Но проблема в нюансах. Любой современный ИИ - это попытки оптимизации алгоритма "китайской комнаты" разными методами. Но ожиданий от ИИ - просто как от радиации в XIX веке. Переворота в познании ИИ не принесёт, это что-то вроде "логического усилителя", про который Лем писал в "Сумме технологии". Позволит людям эффективнее думать, но вот думать за людей он пока не может, да и не должен. А те, кто продвигает обратное - либо идеалисты, либо просто дураки.
    +
      ещё комментарии
      -
      0
      +
      Мы дураки, а вы предпочитаете обнадеживать себя идеей, что вы вершина творения (эволюции)? Как-то наивно предполагать, что небольшой биологический код, предположительно умещающийся на CD диск, записанный в сперматозоиде и яйцеклетке при пощении в, пардон, инкубатор может самообучиться до осознания себя, а машинный код, появившийся на свет меньше столетия назад, на такое не способен. А ведь по большому счету мы сами и сидим в этой китайской комнате, не осознавая почему мы делаем то, что делаем, ковыряемся в этих непонятных мирозданских иероглифах. Попросту так же движимые самообучающимся алгоритмом.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно