Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Предложен новый метод обучения биполярных нейронных сетей
Исследование, проведенное коллективом российских ученых, в том числе МФТИ, — шаг вперед в области нейронных сетей и их обучения. В своей работе они предложили новую структуру биполярного морфологического нейрона и метод обучения, который может повысить вычислительную эффективность нейронных сетей.
Исследование опубликовано в Programming and Computer Software. Современные системы распознавания образов трудно представить без нейронных сетей. Эти технологии нашли широкое применение в мобильных и специализированных устройствах. На протяжении последних десятилетий исследователи искали способы улучшения производительности нейронных сетей, разрабатывая различные подходы, такие как квантование нейронных сетей и удаление весов. Одним из наиболее перспективных направлений стало создание упрощенных моделей нейронов, которые используют менее сложные операции по сравнению с классическими моделями.
Биполярный морфологический нейрон — это модель, которая использует операции сложения и взятия максимума вместо умножения и сложения, характерных для классических нейронов. Эта модель потенциально более энергоэффективна, так как операции сложения требуют меньше вычислительных ресурсов, чем операции умножения. Однако, несмотря на свои преимущества, биполярные морфологические нейроны требуют четыре ветви вычислений для достижения удовлетворительного качества распознавания, а также сталкиваются с трудностями при обучении.
Принцип работы послойной дистилляции знания для БМ моделей для двух последовательно добавляемых слоев: а) для первого слоя, б) для второго слоя / © Programming and Computer Software
В новой работе ученые из МФТИ и Smart Engines с коллегами представили полутораветочную модель биполярного морфологического нейрона, которая сокращает количество вычислительных веток с четырех до одной. Кроме того, они разработали для этой модели новый метод обучения, который позволяет достичь точности, сопоставимой с классическими моделями. Основной целью исследования было улучшение структуры нейрона, что, в свою очередь, должно было повысить его вычислительную эффективность.
В процессе исследования использовался метод дистилляции знаний, который позволяет передавать информацию от учительской сети к ученической. Этот метод включает в себя изменение функции потерь, учитывающей выходы как ученической, так и учительской сетей. Результаты показали, что для LeNet-подобных сверточных моделей на выборке MNIST точность классификации составила 99,45 процента, а на выборке CIFAR10 — 86,69 процента. Эти показатели не уступают результатам классических нейронных сетей, что подтверждает эффективность предложенного подхода.
Во время обучения ученическая сеть строится последовательно слой за слоем. Для каждого добавляемого слоя к функции потерь добавляется среднеквадратичная ошибка между ним и классическим слоем учительской сети (CNN), после этого выход добавленного слоя передается в следующий слой учительской сети. На следующем шаге только что обученный слой фиксируется и выполняется обучение следующего слоя. В итоге к концу обучения будет обучена вся ученическая сеть.
Однако классический метод обратного распространения ошибки работает медленно с биполярными морфологическими нейронами из-за операции поиска максимума. Эта операция заставляет алгоритм обновлять лишь один вес на каждой итерации. Чтобы ускорить обучение, авторы исследования использовали непрерывную аппроксимацию для операции максимума, которая позволяет алгоритму сходиться быстрее благодаря обновлению большего количества весов за один шаг.
В исследовании были проанализированы результаты работы алгоритма обучения нейронной сети, использующие три разных формулы аппроксимации максимума, причем каждая из этих формул зависела от одного вещественного параметра.
Все три аппроксимации при значении параметра α больше 20 практически неотличимы от настоящего максимума. При использовании этих аппроксимаций при не слишком больших значениях параметра ɑ в нейронах на каждом шаге обратного распространения ошибки будет обновляться большее число весов, чем при использовании точного максимума, и это значительно улучшает обучаемость сети.
Для обучения моделей с помощью описанных методов дистилляции знаний использовались непрерывные аппроксимации максимума в два этапа. Первый этап — это обучение модели с аппроксимацией с помощью дистилляции знаний. Поскольку в предложенных аппроксимациях есть операции умножения и деления, то нужен еще один этап, в котором аппроксимация заменяется на точный максимум с сохранением полученных ранее весов. Далее получившаяся сеть дообучается с помощью дистилляции знаний.
«Мы исследовали новый способ построения нейронной сети, продемонстрировав, что наш метод обучения позволяет достигать высоких результатов с упрощенной структурой нейронов. Это открывает путь к созданию более энергоэффективных и быстрых нейронных сетей», — отметил Михаил Зингеренко, аспирант МФТИ.
Работа открывает новые возможности для развития технологий, основанных на биполярных морфологических нейронных сетях. Они представляют интерес в тех областях, где необходимо использование специализированных распознающих устройств, отличающихся аппаратной и энергетической эффективностью, таких как медицинская диагностика, автономные системы и многие другие.
Следующие шаги в этой области включают дальнейшие эксперименты и дополнительные компьютерные симуляции, которые могут привести к новым открытиям и улучшениям в области биполярных морфологических нейронных сетей и их применения в реальных задачах. Ученые планируют исследовать влияние различных архитектур таких сетей на эффективность и точность классификации, а также возможности интеграции новых методов обучения в существующие системы.
Таким образом, исследование российских ученых является важным вкладом в развитие нейронных сетей и их применения.
Ученые проследили траекторию упавшего в 2014 году на Землю межзвездного метеороида CNEOS14, чтобы выяснить возможное местоположение гипотетической Девятой планеты. Расчеты указали на участок неба в созвездиях Тельца и Ориона, но поиски не увенчались успехом. Это приводит к нескольким возможным выводам: либо планета еще дальше и тусклее, чем предполагалось, либо она в другом месте, либо ее не существует.
Водоросли — это «сборная солянка» из различных организмов, которые живут в воде и заняты фотосинтезом. Некоторые, впрочем, разучились использовать энергию Солнца, например ницшия Nitzschia sp. Новое исследование посвящено эволюции генома у этой диатомеи. Из работы следует, что заимствование ДНК из бактерии и другие перестройки генома сделали ницшию способной использовать альгинаты. Это важный компонент других водорослей — бурых, вроде фукуса и ламинарии.
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Инженеры компании Unitsky String Technologies Inc. разработали несколько вариантов транспортно-инфраструктурных комплексов, способных значительно улучшить пассажирское сообщение в городах, расположенных по обеим берегам крупных водных артерий. Обычно такие мегаполисы сталкиваются с необходимостью строительства дорогих капитальных сооружений — шоссейных мостов, что не всегда подъемно для городского бюджета. Решение белорусских инженеров куда менее ресурсоемкое. Для примера возьмем Ростов-на-Дону, где есть запрос на устойчивое сообщение между левобережной частью города с историческим центром.
До 13 тысяч лет назад в Северной Америке жил вид, который ученые до недавнего времени считали волком. Компания Colossal Biosciences объявила о возрождении этого вымершего вида, но биологические детали ставят ее заявление под серьезное сомнение.
Ученые проследили траекторию упавшего в 2014 году на Землю межзвездного метеороида CNEOS14, чтобы выяснить возможное местоположение гипотетической Девятой планеты. Расчеты указали на участок неба в созвездиях Тельца и Ориона, но поиски не увенчались успехом. Это приводит к нескольким возможным выводам: либо планета еще дальше и тусклее, чем предполагалось, либо она в другом месте, либо ее не существует.
Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).
До 13 тысяч лет назад в Северной Америке жил вид, который ученые до недавнего времени считали волком. Компания Colossal Biosciences объявила о возрождении этого вымершего вида, но биологические детали ставят ее заявление под серьезное сомнение.
Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии