Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые помогли нейросети лучше ориентироваться в пространстве
Исследователи из НИУ ВШЭ, НИТУ МИСИС и AIRI нашли способ эффективнее проводить обучение с подкреплением для нейросетей, заточенных на ориентацию в пространстве. С помощью механизма внимания эффективность работы графовой нейросети увеличилась на 15 процентов.
Результаты исследования опубликованы в журнале IEEE Access. Человечеству пригодились бы роботы, которые могут сами перенести коробку из точки A в точку B, грузовики, умеющие ездить самостоятельно, и дроны-доставщики, способные не врезаться в деревья. Для ориентации в трехмерном пространстве таким устройствам-агентам обязательно нужны нейросети: окружающая среда требует быстрой реакции и возможности реагировать на изменяющиеся условия.
«Если мы хотим научить агента работать самостоятельно, то должны оценивать его работу в процессе обучения. Нельзя просто дать ему проблему и наблюдать — практически всегда она будет решена не тем образом и не с тем результатом, которого мы хотим. Поэтому нейросеть получает бонусный квест: при выполнении задачи набрать как можно больше очков. Очки даются за продвижение к оптимальному решению. Это и есть обучение с подкреплением. Пока нейросеть обучается, выполняя одно и то же задание много раз, мы оцениваем ее результаты и либо поощряем “наградой” за движение в нужном направлении, либо признаем результат вредным и уменьшаем количество заработанных “очков”», — объясняет один из авторов статьи, аспирант факультета компьютерных наук НИУ ВШЭ Матвей Герасёв.
Ориентирование в пространстве — одна из самых сложных задач в мире нейросетей. Проблема в том, что в этой задаче у нейросети зачастую нет полной информации о ее текущем окружении, например глубины или карты местности. Еще меньше нейросеть знает о перспективах награды: вознаграждение выдается не поэтапно, а один раз в конце, после полного выполнения задания.
Представьте, что вам нужно пройти через лес к башне, заинтересовав как можно больше белок. Важно, что они сидят в основном на самом коротком пути (на пути оптимального решения) и, если увидят вас, пойдут за вами. При этом вы их не видите, где башня — не знаете и количество заинтересовавшихся вами зверей узнаете, только достигнув цели. Такого типа задачи достаются пространственным нейросетям.
Получение награды выражено математически функцией вознаграждения, и нейросеть должна определить ее как можно точнее, чтобы получить большую награду. Хорошая функция помогает сети эффективнее решать задачу и обучаться.
Авторы исследования предложили новый метод формирования функции вознаграждения с учетом специфики однократного получения вознаграждения после полного решения проблемы. Он основывается на дополнительных вторичных вознаграждениях — шейпинге вознаграждения. Ученые применили два способа улучшения техники, которую в 2020 году предложили канадские ученые из Макгиллского университета.
Первый использует продвинутые агрегирующие функции, а второй — механизм внимания. Продвинутые агрегирующие функции учитывают, в каком порядке и что видит нейросеть. В статье ученые указывают на важность подбора агрегирующей функции под архитектуру конкретной нейросети. Механизм внимания позволяет модели сосредоточиться на наиболее важных входных данных при создании прогнозов. Признаки важного, выгодного решения нейросеть находит при сопоставлении последовательных шагов решения задачи.
Исследователи провели серию экспериментов с поэтапным вознаграждением (разреженным вознаграждением, sparse reward). Для них использовали задачи на ориентацию в виртуальных пространствах «Четыре комнаты» и «Лабиринт».
В «Четырех комнатах» нейросеть должна обнаружить красный ящик, который случайным образом появляется в одной из комнат. Нейросеть может перемещаться только прямо, влево или вправо. Ящик — цель механизма внимания. Нейросеть учится параллельно в 16 таких пространствах, совершая пять миллионов действий.
В «Лабиринте» помещенный в произвольную точку агент должен найти выход. Сам лабиринт каждый раз генерируется случайным образом, и для успешного обучения модели требуется пройти 20 миллионов шагов.
Исследование показало, что при формировании функции вознаграждения на основе механизма внимания агент обучается сосредотачиваться на ребрах графа, соответствующих важным переходам в трехмерной среде — тем, при которых цель попадает в поле зрения агента. Это до 15 процентов повышает эффективность работы нейросетей.
«Нам важно было оптимизировать процесс обучения именно для графовых нейронных сетей. Граф нельзя наблюдать целиком напрямую, но для эффективного обучения графовой нейронной сети достаточно рассматривать его части. Их можно наблюдать в виде отдельных траекторий перемещения агента. Таким образом, для обучения необязательны все варианты траекторий. Применение механизма внимания — перспективное решение, поскольку оно существенно ускоряет процесс обучения. Ускорение происходит за счет учета структуры графа марковского процесса, что недоступно неграфовым нейросетям», — рассказывает Илья Макаров, доцент факультета компьютерных наук и приглашенный преподаватель Лаборатории алгоритмов и технологий анализа сетевых структур НИУ ВШЭ в Нижнем Новгороде, руководитель группы «ИИ в промышленности» Института AIRI, директор Центра ИИ МИСИС.
В исследовании использовались ресурсы Программы фундаментальных исследований НИУ ВШЭ и вычислительные ресурсы HPC-кластера НИУ ВШЭ.
Telegram 
Дзен 
VK Долгие годы исследователи полагали, что внутренняя структура полости носа неандертальцев была устроена таким образом, что помогала этим людям переносить холод. Однако авторы нового исследования поставили под сомнение эту гипотезу. Ученые впервые проанализировали носовую полость неандертальца в хорошо сохранившемся черепе и выяснили, что его нос не был приспособлен к суровому климату.
В 2025 году российская атомная отрасль отмечает 80-летие — от первого ядерного реактора до космических амбиций и повседневных чудес. Знаете ли вы, когда ученые признали реальность атомов, сколько известно видов радиоактивного распада или когда на полях стали выращивать мутантов?
Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.
Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.
Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.
Ю-Цон Тан (YuCong Tang) — концептуальный художник из Китая. Научно-фантастические мотивы — одно из основных направлений его творчества. Он исследует, как научные открытия и технологии будущего трансформируют среду обитания.
Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.
По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.
В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно