• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16.03.2017
Редакция Naked Science
976

Глубокую нейросеть научили «помнить» прошлый опыт

Британские ученые разработали компьютерный алгоритм, который позволяет искусственным нейросетям обучаться, сохраняя «память» о предыдущем опыте. Подробности исследования представлены в журнале Proceedings of National Academy of Sciences (PNAS).

logo
©Wikipedia / Автор: Дмитрий Жуков

В настоящее время глубокие искусственные нейросети являются одним из наиболее перспективных вариантов реализации машинного обучения. Так, алгоритмы, обученные подобным образом, лучше других справляются с распознаванием изображений и освоением настольных игр. Тем не менее, они по-прежнему значительно уступают биологическим аналогам: в частности, глубокие нейросети не способны сохранять приобретенные ранее навыки при обучении новым задачам. Этот феномен, получивший название «катастрофической забывчивости» (catastrophic forgetting), делает невозможным последовательную тренировку одной и той же нейросети на нескольких задачах.

 

Чтобы восполнить пробел, ученые из Имперского колледжа Лондона и компании DeepMind предложили использовать метод, который позволяет искусственно повышать устойчивость ключевых весов для первой задачи при обучении второй. Технически это осуществляется так: при последовательном обучении нейросети каждому весу (он определяет, насколько тот или иной нейрон значим для ответа системы) дополнительно присваивается параметр F, определяющий его значимость только для определенной задачи. При этом значение F прямо пропорционально устойчивости веса к изменениям. Таким образом, алгоритм сохраняет «память» о самых важных навыках, приобретенных прежде.

 

Принцип работы алгоритма: при обучении задаче B, веса, актуальные для задачи A, блокируются / ©DeepMind

 

Предложенный подход получил название «упругое закрепление весов» (elastic weight consolidation) по аналогии с пружиной, жесткость которой сопоставима с параметром F. В случае нейросети «натяжение» происходит от веса, оптимального для задачи A, к весу, оптимальному для задачи B. В результате функция потерь (энергия пружины) возрастает, и менее значимые веса адаптируются к новой задаче, тогда как важные для предыдущих задач веса, предположительно, остаются неизменными.

 

Испытания алгоритма проводились на двух задачах: обучении с подкреплением и обучении с учителем. В последнем случае нейросеть тренировалась распознавать рукописные цифры, причем авторы последовательно вносили в стимулы искажения, чтобы каждый новый шаг требовал обучения «с нуля». В рамках обучения с подкреплением алгоритм обучался играть в игры приставки Atari 2600, систематически осваивая новые стратегии поведения.

 

Игровые очки, полученные нейросетью при обучении новым методом (красный цвет) и методом градиентного спуска (синий цвет) / ©James Kirkpatrick et al., PNAS, 2017

 

Анализ показал, что алгоритму удалось сохранить «память» о весах, необходимых для выполнения предыдущих задач. В каждом отдельном случае эффективность нейросети снижалась, однако по сумме этапов она демонстрировала хорошие результаты. При обучении методом градиентного спуска, позволяющим стирать веса при тренировке на новой задаче, алгоритм успешно справлялся с выполнением отдельных этапов, но оказался не способен удовлетворительно воспроизвести прошлый опыт.

 

Между тем ученые активно работают над приложением «умных» алгоритмов к практическим задачам. Ранее израильские специалисты начали разработку нейросети для автоматизированной диагностики автомобилей, а их японские коллеги объявили о создании системы, которая может заменить офтальмологов. Кроме того, широкое применение нейросети могут получить в правовой сфере. Так, накануне исследователи обучили компьютерный алгоритм с относительно высокой точностью распознавать преступный умысел человека.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 18:28
Evgenia

Ученые, работающие на Большом адронном коллайдере (БАК), обнаружили в результатах экспериментов неожиданные данные. Они могут свидетельствовать о существовании топония, связанного состояния топ-кварка и его антикварка.

Позавчера, 15:35
Елена

Международная группа исследователей из Китая, США и Германии разработала метаматериал с выдающейся механической емкостью хранения энергии. Придать ему уникальные характеристики удалось за счет структуры — скрученных гибких стержней, деформирующихся по спирали.

Вчера, 14:31
Березин Александр

Международная группа ученых попробовала определить, насколько сократилось население Европы 12,7 тысячи лет назад, когда на планете внезапно наступило тысячелетнее похолодание. Оказалось, население континента какое-то время составляло считаные тысячи человек.

2 апреля
Березин Александр

Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.

31 марта
Татьяна

Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.

1 апреля
Мария Азарова

Ученые из Австралии исследовали влияние сексуальной активности, а именно — самоудовлетворения и полового контакта с партнером — на объективные и субъективные параметры сна, в том числе на мотивацию поутру и готовность к новому дню.

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

15 марта
Юлия Трепалина

Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).

18 марта
Илья

Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно