Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Предложен новый метод обучения биполярных нейронных сетей
Исследование, проведенное коллективом российских ученых, в том числе МФТИ, — шаг вперед в области нейронных сетей и их обучения. В своей работе они предложили новую структуру биполярного морфологического нейрона и метод обучения, который может повысить вычислительную эффективность нейронных сетей.
Исследование опубликовано в Programming and Computer Software. Современные системы распознавания образов трудно представить без нейронных сетей. Эти технологии нашли широкое применение в мобильных и специализированных устройствах. На протяжении последних десятилетий исследователи искали способы улучшения производительности нейронных сетей, разрабатывая различные подходы, такие как квантование нейронных сетей и удаление весов. Одним из наиболее перспективных направлений стало создание упрощенных моделей нейронов, которые используют менее сложные операции по сравнению с классическими моделями.
Биполярный морфологический нейрон — это модель, которая использует операции сложения и взятия максимума вместо умножения и сложения, характерных для классических нейронов. Эта модель потенциально более энергоэффективна, так как операции сложения требуют меньше вычислительных ресурсов, чем операции умножения. Однако, несмотря на свои преимущества, биполярные морфологические нейроны требуют четыре ветви вычислений для достижения удовлетворительного качества распознавания, а также сталкиваются с трудностями при обучении.
Принцип работы послойной дистилляции знания для БМ моделей для двух последовательно добавляемых слоев: а) для первого слоя, б) для второго слоя / © Programming and Computer Software
В новой работе ученые из МФТИ и Smart Engines с коллегами представили полутораветочную модель биполярного морфологического нейрона, которая сокращает количество вычислительных веток с четырех до одной. Кроме того, они разработали для этой модели новый метод обучения, который позволяет достичь точности, сопоставимой с классическими моделями. Основной целью исследования было улучшение структуры нейрона, что, в свою очередь, должно было повысить его вычислительную эффективность.
В процессе исследования использовался метод дистилляции знаний, который позволяет передавать информацию от учительской сети к ученической. Этот метод включает в себя изменение функции потерь, учитывающей выходы как ученической, так и учительской сетей. Результаты показали, что для LeNet-подобных сверточных моделей на выборке MNIST точность классификации составила 99,45 процента, а на выборке CIFAR10 — 86,69 процента. Эти показатели не уступают результатам классических нейронных сетей, что подтверждает эффективность предложенного подхода.
Во время обучения ученическая сеть строится последовательно слой за слоем. Для каждого добавляемого слоя к функции потерь добавляется среднеквадратичная ошибка между ним и классическим слоем учительской сети (CNN), после этого выход добавленного слоя передается в следующий слой учительской сети. На следующем шаге только что обученный слой фиксируется и выполняется обучение следующего слоя. В итоге к концу обучения будет обучена вся ученическая сеть.
Однако классический метод обратного распространения ошибки работает медленно с биполярными морфологическими нейронами из-за операции поиска максимума. Эта операция заставляет алгоритм обновлять лишь один вес на каждой итерации. Чтобы ускорить обучение, авторы исследования использовали непрерывную аппроксимацию для операции максимума, которая позволяет алгоритму сходиться быстрее благодаря обновлению большего количества весов за один шаг.
В исследовании были проанализированы результаты работы алгоритма обучения нейронной сети, использующие три разных формулы аппроксимации максимума, причем каждая из этих формул зависела от одного вещественного параметра.
Все три аппроксимации при значении параметра α больше 20 практически неотличимы от настоящего максимума. При использовании этих аппроксимаций при не слишком больших значениях параметра ɑ в нейронах на каждом шаге обратного распространения ошибки будет обновляться большее число весов, чем при использовании точного максимума, и это значительно улучшает обучаемость сети.
Для обучения моделей с помощью описанных методов дистилляции знаний использовались непрерывные аппроксимации максимума в два этапа. Первый этап — это обучение модели с аппроксимацией с помощью дистилляции знаний. Поскольку в предложенных аппроксимациях есть операции умножения и деления, то нужен еще один этап, в котором аппроксимация заменяется на точный максимум с сохранением полученных ранее весов. Далее получившаяся сеть дообучается с помощью дистилляции знаний.
«Мы исследовали новый способ построения нейронной сети, продемонстрировав, что наш метод обучения позволяет достигать высоких результатов с упрощенной структурой нейронов. Это открывает путь к созданию более энергоэффективных и быстрых нейронных сетей», — отметил Михаил Зингеренко, аспирант МФТИ.
Работа открывает новые возможности для развития технологий, основанных на биполярных морфологических нейронных сетях. Они представляют интерес в тех областях, где необходимо использование специализированных распознающих устройств, отличающихся аппаратной и энергетической эффективностью, таких как медицинская диагностика, автономные системы и многие другие.
Следующие шаги в этой области включают дальнейшие эксперименты и дополнительные компьютерные симуляции, которые могут привести к новым открытиям и улучшениям в области биполярных морфологических нейронных сетей и их применения в реальных задачах. Ученые планируют исследовать влияние различных архитектур таких сетей на эффективность и точность классификации, а также возможности интеграции новых методов обучения в существующие системы.
Таким образом, исследование российских ученых является важным вкладом в развитие нейронных сетей и их применения.
Американские исследователи провели эксперимент, который показал, сколько микропластиковых частиц может потенциально проглатывать человек, пока жует натуральную или синтетическую жвачку. Ученые призвали задуматься, стоит ли подвергать организм дополнительному воздействию микропластика. Хотя однозначных свидетельств его вреда для людей на сегодня нет, результаты исследований по этому вопросу вызывают в научном сообществе все больше беспокойства.
Международное энергетическое агентство подвело итоги 2024 года в новом отчете. Мощности возобновляемой энергетики выросли на четверть всего за год. Все виды безуглеродной генерации впервые достигли 40% от мирового потребления электричества. Более того, из-за продолжающейся электрификации дорожного транспорта потребление им нефти сократилось.
Французский деликатес фуа-гра обычно готовят из печени уток или гусей, которых принудительно откармливают, провоцируя отложение в органе большого количества жира. Зоозащитники выступают против жестокой практики, но именно обилие жира придает фуа-гра плотную и одновременно тающую кремовую структуру, за которую ценят блюдо. Однако, похоже, способ примирить активистов и гурманов найден: ученые предложили технологию, позволяющую приготовить фуа-гра без лишних мучений для птиц.
Крупные современные города России — продукт своеобразной эволюции. Их морфология может сочетать историческую застройку, советское наследие и здания времен рыночной экономики. Авторы новой статьи — ученые из ВШЭ и Института географии РАН — заинтересовались, насколько российские города соответствуют современной концепции 15-минутного города. Она описывает доступность инфраструктуры для жителей: могут ли те самостоятельно добраться (пешком или на велосипеде) до школ, больниц, театров и других необходимых заведений за четверть часа.
Прежде чем на Земле появились привычные нам животные, ее населяли «черновики Бога». Это таинственные существа, жившие в эдиакарском периоде и совсем не похожие на своих преемников. В новом исследовании ученые описали 211 окаменелостей мелкой двусторонне-симметричной Parvancorina minchami, найденных у берегов Белого моря. Авторы сумели реконструировать рост и развитие парванкорины, а также оценили продолжительность ее жизни.
В РТУ МИРЭА разработали образовательный проект — многопользовательскую игру API Wars, которая помогает развивать навыки программирования, frontend-разработки и социальной инженерии в увлекательной форме. Действие игры разворачивается в далеком будущем, где игроки, выступая в роли хакерских команд, пытаются взломать автоматизированный завод по производству роботов. Игра также вносит вклад в культурные тренды, используя элементы советского стиля.
Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии