• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16.03.2017
Редакция Naked Science
824

Глубокую нейросеть научили «помнить» прошлый опыт

Британские ученые разработали компьютерный алгоритм, который позволяет искусственным нейросетям обучаться, сохраняя «память» о предыдущем опыте. Подробности исследования представлены в журнале Proceedings of National Academy of Sciences (PNAS).

logo
©Wikipedia

В настоящее время глубокие искусственные нейросети являются одним из наиболее перспективных вариантов реализации машинного обучения. Так, алгоритмы, обученные подобным образом, лучше других справляются с распознаванием изображений и освоением настольных игр. Тем не менее, они по-прежнему значительно уступают биологическим аналогам: в частности, глубокие нейросети не способны сохранять приобретенные ранее навыки при обучении новым задачам. Этот феномен, получивший название «катастрофической забывчивости» (catastrophic forgetting), делает невозможным последовательную тренировку одной и той же нейросети на нескольких задачах.

 

Чтобы восполнить пробел, ученые из Имперского колледжа Лондона и компании DeepMind предложили использовать метод, который позволяет искусственно повышать устойчивость ключевых весов для первой задачи при обучении второй. Технически это осуществляется так: при последовательном обучении нейросети каждому весу (он определяет, насколько тот или иной нейрон значим для ответа системы) дополнительно присваивается параметр F, определяющий его значимость только для определенной задачи. При этом значение F прямо пропорционально устойчивости веса к изменениям. Таким образом, алгоритм сохраняет «память» о самых важных навыках, приобретенных прежде.

 

Принцип работы алгоритма: при обучении задаче B, веса, актуальные для задачи A, блокируются / ©DeepMind

 

Предложенный подход получил название «упругое закрепление весов» (elastic weight consolidation) по аналогии с пружиной, жесткость которой сопоставима с параметром F. В случае нейросети «натяжение» происходит от веса, оптимального для задачи A, к весу, оптимальному для задачи B. В результате функция потерь (энергия пружины) возрастает, и менее значимые веса адаптируются к новой задаче, тогда как важные для предыдущих задач веса, предположительно, остаются неизменными.

 

Испытания алгоритма проводились на двух задачах: обучении с подкреплением и обучении с учителем. В последнем случае нейросеть тренировалась распознавать рукописные цифры, причем авторы последовательно вносили в стимулы искажения, чтобы каждый новый шаг требовал обучения «с нуля». В рамках обучения с подкреплением алгоритм обучался играть в игры приставки Atari 2600, систематически осваивая новые стратегии поведения.

 

Игровые очки, полученные нейросетью при обучении новым методом (красный цвет) и методом градиентного спуска (синий цвет) / ©James Kirkpatrick et al., PNAS, 2017

 

Анализ показал, что алгоритму удалось сохранить «память» о весах, необходимых для выполнения предыдущих задач. В каждом отдельном случае эффективность нейросети снижалась, однако по сумме этапов она демонстрировала хорошие результаты. При обучении методом градиентного спуска, позволяющим стирать веса при тренировке на новой задаче, алгоритм успешно справлялся с выполнением отдельных этапов, но оказался не способен удовлетворительно воспроизвести прошлый опыт.

 

Между тем ученые активно работают над приложением «умных» алгоритмов к практическим задачам. Ранее израильские специалисты начали разработку нейросети для автоматизированной диагностики автомобилей, а их японские коллеги объявили о создании системы, которая может заменить офтальмологов. Кроме того, широкое применение нейросети могут получить в правовой сфере. Так, накануне исследователи обучили компьютерный алгоритм с относительно высокой точностью распознавать преступный умысел человека.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 12:58
Алиса Гаджиева

В Северной Ирландии нашли неолитическое поселение возрастом не менее 5800 лет. Пока не ясно, почему люди обосновались именно там, но известно, что спустя тысячелетия за эти земли воевали могущественные королевства.

Сегодня, 10:49
Даниил Сухинов

Хотя интуитивно люди склонны думать, что занятия музыкой полезны для их психического здоровья, научные исследования указывают на более сложную и неочевидную связь. В новой работе международная группа ученых обнаружила генетическую корреляцию между увлечением музыкой и психическим здоровьем на примере нескольких тысяч близнецов. Результаты исследования показывают, что у музыкально активных людей существенно повышен генетический риск развития депрессии и биполярного расстройства.

Вчера, 07:30
Мария Азарова

Авторы нового исследования провели эксперимент почти с 70 собаками разных пород, чтобы узнать, как они реагируют на вой одного волка и целой стаи.

2 февраля
НИУ ВШЭ

Изучая потребление алкоголя, экономисты и социологи обычно связывают его с условиями жизни людей и их человеческим капиталом: образованием, опытом работы, знаниями. Ученые из Лаборатории исследований рынка труда и Лаборатории экономико-социологических исследований НИУ ВШЭ обратили внимание на некогнитивные навыки, формирующиеся в детстве и подростковом возрасте, и выяснили, что эти качества во многом определяют вероятность злоупотребления спиртным и сокращают степень влияния образования.

Вчера, 07:30
Мария Азарова

Авторы нового исследования провели эксперимент почти с 70 собаками разных пород, чтобы узнать, как они реагируют на вой одного волка и целой стаи.

Вчера, 12:58
Алиса Гаджиева

В Северной Ирландии нашли неолитическое поселение возрастом не менее 5800 лет. Пока не ясно, почему люди обосновались именно там, но известно, что спустя тысячелетия за эти земли воевали могущественные королевства.

10 января
Алиса Гаджиева

Исследователи, изучающие систему обороны Великой стены, обнаружили следы более 130 секретных сквозных проходов и полагают, что это только начало.

25 января
Василий Парфенов

Пока фанаты SpaceX увлеченно следят за достижениями компании, астрономы грустно наблюдают, как их работа становится сложнее с каждым запуском спутников Starlink. Прогресс не проходит без жертв. Поэтому различные научные ассоциации ищут способы снизить негативное влияние множества новых рукотворных объектов в околоземном пространстве на качество данных, получаемых телескопами. Некоторые решения со стороны выглядят экстремальными — например, теперь лазеры для корректировки адаптивной оптики можно не выключать, если в поле зрения есть спутник Starlink. А это десятки ватт излучения!

9 января
Александр Березин

Избыточный вес убивает куда больше людей, чем войны с голодом вместе. До самых недавних пор это объясняли то «мусорным» фастудным питанием, то недостаточными физическими нагрузками. Научные работы показывают: эти гипотезы были неверны. За последние полвека сильно потолстели даже лабораторные животные, корм и нагрузки которых не менялись. Эпидемия лишнего веса действительно убийственна, но ее причина не в калориях или нехватке нагрузки. А в чем же? Naked Science исследует для вас этот вопрос.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: