Глубокую нейросеть научили «помнить» прошлый опыт — Naked Science
6 минут
Редакция

Глубокую нейросеть научили «помнить» прошлый опыт

Британские ученые разработали компьютерный алгоритм, который позволяет искусственным нейросетям обучаться, сохраняя «память» о предыдущем опыте. Подробности исследования представлены в журнале Proceedings of National Academy of Sciences (PNAS).

logo
©Wikipedia

В настоящее время глубокие искусственные нейросети являются одним из наиболее перспективных вариантов реализации машинного обучения. Так, алгоритмы, обученные подобным образом, лучше других справляются с распознаванием изображений и освоением настольных игр. Тем не менее, они по-прежнему значительно уступают биологическим аналогам: в частности, глубокие нейросети не способны сохранять приобретенные ранее навыки при обучении новым задачам. Этот феномен, получивший название «катастрофической забывчивости» (catastrophic forgetting), делает невозможным последовательную тренировку одной и той же нейросети на нескольких задачах.

 

Чтобы восполнить пробел, ученые из Имперского колледжа Лондона и компании DeepMind предложили использовать метод, который позволяет искусственно повышать устойчивость ключевых весов для первой задачи при обучении второй. Технически это осуществляется так: при последовательном обучении нейросети каждому весу (он определяет, насколько тот или иной нейрон значим для ответа системы) дополнительно присваивается параметр F, определяющий его значимость только для определенной задачи. При этом значение F прямо пропорционально устойчивости веса к изменениям. Таким образом, алгоритм сохраняет «память» о самых важных навыках, приобретенных прежде.

 

Принцип работы алгоритма: при обучении задаче B, веса, актуальные для задачи A, блокируются / ©DeepMind

 

Предложенный подход получил название «упругое закрепление весов» (elastic weight consolidation) по аналогии с пружиной, жесткость которой сопоставима с параметром F. В случае нейросети «натяжение» происходит от веса, оптимального для задачи A, к весу, оптимальному для задачи B. В результате функция потерь (энергия пружины) возрастает, и менее значимые веса адаптируются к новой задаче, тогда как важные для предыдущих задач веса, предположительно, остаются неизменными.

 

Испытания алгоритма проводились на двух задачах: обучении с подкреплением и обучении с учителем. В последнем случае нейросеть тренировалась распознавать рукописные цифры, причем авторы последовательно вносили в стимулы искажения, чтобы каждый новый шаг требовал обучения «с нуля». В рамках обучения с подкреплением алгоритм обучался играть в игры приставки Atari 2600, систематически осваивая новые стратегии поведения.

 

Игровые очки, полученные нейросетью при обучении новым методом (красный цвет) и методом градиентного спуска (синий цвет) / ©James Kirkpatrick et al., PNAS, 2017

 

Анализ показал, что алгоритму удалось сохранить «память» о весах, необходимых для выполнения предыдущих задач. В каждом отдельном случае эффективность нейросети снижалась, однако по сумме этапов она демонстрировала хорошие результаты. При обучении методом градиентного спуска, позволяющим стирать веса при тренировке на новой задаче, алгоритм успешно справлялся с выполнением отдельных этапов, но оказался не способен удовлетворительно воспроизвести прошлый опыт.

 

Между тем ученые активно работают над приложением «умных» алгоритмов к практическим задачам. Ранее израильские специалисты начали разработку нейросети для автоматизированной диагностики автомобилей, а их японские коллеги объявили о создании системы, которая может заменить офтальмологов. Кроме того, широкое применение нейросети могут получить в правовой сфере. Так, накануне исследователи обучили компьютерный алгоритм с относительно высокой точностью распознавать преступный умысел человека.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
56 минут назад
6 минут
Василий Парфенов

Интересным наблюдением поделились сотрудники Чернобыльского радиационно-экологического биосферного заповедника. Они уже более трех лет следят за жизнью стада одичавших коров, поведение которого сильно отличается от того, что можно наблюдать у домашних сельскохозяйственных животных.

3 часа назад
9 минут
Мария Азарова

Ученые обнаружили, что чередование периодов голодания с приемами пищи помогает предотвратить развитие рака груди, замедлить рост опухоли и избежать метастазирования в легкие. По их словам, такая простая стратегия также в перспективе может стать практическим способом достичь положительного эффекта при терапии рака молочной железы у людей.

12 часов назад
7 минут
Мария Азарова

Эксперты Всемирной организации здравоохранения напомнили о том, что прививать от коронавируса в первую очередь нужно тех, кто подвержен повышенному риску заболеть Covid-19, особенно в тяжелой форме.

24 января
4 минуты
Мария Азарова

Пациент — уроженец Исландии Феликс Гретарссон, лишившийся верхних конечностей более 23 лет назад из-за несчастного случая на работе — уже идет на поправку.

Вчера, 08:15
9 минут
Мария Азарова

Существует распространенное мнение, что женщины, скрывая овуляцию, получили возможность удерживать мужчин рядом с собой. Однако авторы нового исследования заявляют о преимуществах, которые женщины, напротив, таким образом могли возыметь во взаимоотношениях с представительницами своего же пола.

22 января
52 минуты
Александр Березин

Решение Совета по космосу РАН повременить с созданием сверхтяжелой ракеты для полетов на Луну звучит странно. Куда откладывать лунную ракету, когда в США средство полета туда отправится в космос уже в 2022 году? Если присмотреться к ситуации внимательно, все еще хуже. Starship — не просто ракета для полетов к Луне и Марсу, а технологическое решение, которое навсегда перевернет военно-политический баланс на Земле. Попробуем разобраться, откуда у «Роскосмоса» такое нежелание посылать людей в дальний космос и как прорывной проект Илона Маска может оказаться дорогой к настоящей Звезде Смерти.

4 января
2 минуты
Илья Ведмеденко

В России приступили к летным испытаниям нового Ту-214. По имеющимся данным, речь идет о третьем и заключительном экземпляре Ту-214ПУ, изготовленном по контракту от 2017 года.

6 января
42 минуты
Александр Березин

Попытки нашей страны создать замену сверхмассовому биплану советской эпохи терпят неудачи вот уже тридцать лет. Причина проста: кризис легкомоторной авиации в целом. Когда-то самая передовая часть авиастроения сегодня застряла на решениях большой древности — и без резкого изменения всей концепции "летающего такси" так и не увидит заметных результатов.

4 января
7 минут
Василий Парфенов

Наступление Мирового океана на сушу, как правило, связывают с глобальным потеплением. Однако испанские геологи описали еще одну проблему, которая только усугубляет ситуацию. Они подсчитали, что из-за проседания почв территория, на которой проживает 19% населения Земли, окажется ниже уровня моря уже к 2040 году.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: