Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Новый метод квантования обеспечит стабильность бинарных нейронных сетей
Группа российских ученых из компании Smart Engines и МФТИ предложила новый способ квантования бинарных нейронных сетей. Им удалось добиться лучших результатов для обучения таких сетей.
Работа опубликована в журнале Computer Optics. Современные нейронные сети широко используются в самых разных областях: от обработки естественного языка и генерации изображений до распознавания символов на мобильных устройствах. В стремительно развивающемся мире искусственного интеллекта эффективность вычислений является критическим фактором. Для многих приложений, особенно для работы на маломощных устройствах (мобильные телефоны, встраиваемые системы, системы автономного вождения), критичны скорость и размер нейронной сети.
Бинарные нейронные сети (БНС)— это один из подходов к созданию компактных и быстрых сетей. В них веса и активации представляются всего одним битом информации (–1 или 1), что значительно уменьшает объем памяти, необходимый для хранения модели, и позволяет использовать быстрые побитовые операции вместо трудоемких умножений. Однако обучение БНС — сложная задача, которая долгое время сдерживала их широкое применение.
Традиционные методы обучения нейронных сетей не подходят для бинарных нейронных сетей. Основная сложность заключается в том, что функция активации (преобразование входных данных в бинарные значения) — это кусочно-постоянная функция (знаковая функция), которая имеет нулевую производную во всех точках, где эта производная определена, — затрудняет применение методов обратного распространения ошибки. Для решения этой проблемы использовались различные подходы.
Метод прямой оценки использует знаковую функцию при прямом проходе, а при обратном проходе — ее аппроксимацию для вычисления градиента. Недостатком является несоответствие градиентов и колебания весов, что приводит к медленному и нестабильному обучению.
Самобинаризующиеся нейронные сети используют гладкую аппроксимацию знаковой функции (например, гиперболический тангенс), которая постепенно приближается к знаковой функции по мере обучения. Недостатком является разрыв между обучаемой моделью и конечной бинарной моделью, что приводит к снижению точности.
Ученые из МФТИ с коллегами совершили прорыв, разработав новый метод квантования на неопределенной базе, который решает эту проблему, обеспечивая стабильное обучение и высокое качество бинарных нейронных сетей даже при ограниченном количестве параметров. Он сочетает в себе преимущества двух выше описанных методов.
Ключевой идеей квантования на основе неопределенности является использование вероятностной активации, которая учитывает неопределенность в значениях весов и активаций.
«В основе нашего метода UBQ лежит новая концепция неопределенности активаций, позволяющая получить более точную аппроксимацию бинарной функции и, как следствие, более эффективно обучать бинарные нейронные сети», — рассказал Антон Трусов, аспирант кафедры когнитивных технологий Физтех-школы прикладной математики и информатики МФТИ.
В квантовании на основе неопределенности для каждого веса и активации вычисляется значение неопределенности, отражающее, насколько сеть «уверена» в его знаке (+1 или –1). Если неопределенность высока, используется гладкая аппроксимация знаковой функции, обеспечивающая стабильное обучение.
Если неопределенность низка, применяется прямое оценивание, что способствует быстрому переходу к бинарному представлению. Кроме того, для сглаживания перехода от режима обучения к режиму исполнения авторы предлагают постепенное «замораживание» слоев сети и замену стандартной процедуры нормализации на ее упрощенный аналог.
Для проверки эффективности квантования на основе неопределенности были проведены эксперименты на широко используемых наборах данных MNIST (распознавание рукописных цифр) и CIFAR-10 (классификация изображений). Обучались несколько небольших и больших сверточных нейронных сетей с бинарными слоями, используя два описанных выше метода и новый авторский. Результаты сравнивались по точности классификации.
Эксперименты показали, что новый метод превосходит прежние при работе с небольшими сетями и демонстрирует сопоставимые результаты с методом прямой оценки для больших сетей. Кроме того, метод квантования на основе неопределенности продемонстрировал более стабильное обучение, чем метод прямой оценки, что подтверждается меньшим разбросом результатов в повторных экспериментах.
Метод квантования на основе неопределенности можно оптимизировать для различных задач и архитектур сетей. Дальнейшие исследования могут включать в себя адаптацию параметров метода для различных задач, использование динамической неопределенности весов, применение метода к другим типам квантованных сетей.
Международная группа астрофизиков провела анализ астрономических данных и обнаружила признаки, указывающие на то, что джет TXS 0506+056 подвергается гравитационному линзированию. Исследования в этом направлении могут существенно изменить наше понимание структуры джетов блазаров и механизмов генерации нейтрино.
Специалисты НИЦ «Курчатовский институт» — ПИЯФ разработали новый тест-набор для быстрой и точной оценки опасности для здоровья загрязняющих химических веществ — ксенобиотиков. Метод основан на использовании дрожжей, мутирующих под воздействием токсинов.
Ученые Университета МИСИС предложили усовершенствованный деформируемый алюминиевый сплав, перспективный для изготовления обшивок сверхзвуковых самолетов, топливных баков и других изделий летательных аппаратов. По термической стабильности новый материал превосходит распространенный промышленный сплав 2219, при этом не требует сложных операций гомогенизации и закалки.
Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.
Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.
Ученые из Австралии исследовали влияние сексуальной активности, а именно — самоудовлетворения и полового контакта с партнером — на объективные и субъективные параметры сна, в том числе на мотивацию поутру и готовность к новому дню.
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).
Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии