Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога — Naked Science
17 минут
Philips

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога

3.9

Нейронные сети способны на многое. Например, создавать новые лица и даже выявлять по снимкам раковую опухоль. О роли генеративных нейтронных сетей в машинном обучении и здравоохранении рассказал научный сотрудник лаборатории Philips Research Lab Rus Леонид Власенков.

На этом рисунке изображены примеры переноса стиля. На фотографию А были перенесены стили с других изображений. К примеру, изображение С — то же фото в стиле с картины «Звездная ночь» Ван Гога / ©Gatys, L.A., Ecker, A.S. and Bethge, M.

 Расскажите, какие алгоритмы бывают в машинном обучении, кроме генеративных?

— В машинном обучении выделяют два класса алгоритмов: дискриминативные и генеративные модели. Чаще всего мы имеем дело с алгоритмами из первого класса. Допустим, нам нужно научиться отличать котиков от хомячков на фотографиях.

У нас для этого есть набор пар изображений и метки «кот/хомяк». Дальше можно взять какой-нибудь алгоритм классификации картинок — пусть это будет огромная нейронная сеть. Мы обучаем ее «смотреть» на картинку и говорить «кот» или «хомяк». Такая модель будет учиться отличать одно животное от другого, обращая внимание на признаки, различающие их.

Когда эта модель уже обучена и работает на вашем смартфоне, помогая отличать котов от хомяков, она в некотором смысле просто «вспоминает», на что из уже увиденного похож объект в камере смартфона.

Поэтому, если показать ей, например, одуванчик, она может, не сомневаясь, назвать его хомяком. Это и есть дискриминативная модель, она как бы сжимает в себе информацию о различиях котов и хомяков, не пытаясь при этом понять, что такое кот, а что — хомяк.

Если ограничить разницу между котами и хомяками какими-нибудь двумя признаками (например, длина хвоста и размер щек), то их несложно изобразить на плоскости (отложив размеры хвостов и щек по горизонтали и вертикали соответственно). На рисунке синие точки — это хомяки, а красные — коты. Пунктирная линия изображает то, что выучила дискриминативная модель. А именно —границу в пространстве хвостов и щек / ©Пресс-служба Philips Research

 Для чего нужны генеративные модели?

— Эта модель помогает ответить на вопрос о том, что есть «кот в себе» или «хомяк в себе». Существует несколько концепций генеративных моделей, но всех их объединяет то, что они так или иначе «впитывают» информацию о том, какие бывают коты и хомяки. Они могут описать, как распределены возможные изображения этих животных.

А если модели известно, какие коты и хомяки бывают вообще, то известны и их различия, следовательно, в общем случае генеративная модель содержит дискриминативную. Такие алгоритмы могут обучиться воссоздавать изображения котов и хомяков — даже такие, каких не было в обучающем наборе.

Вернемся снова в пространство хвостов и щек. На рисунке изображено то, что способна выучить генеративная модель. Она изучила, какие бывают хвосты и щеки у обоих видов. Модель может также синтезировать нового кота с заданными параметрами. И если нужно, то белое пространство между выученными распределениями можно использовать как границу классов дискриминативной модели / ©Пресс-служба Philips Research

В общем, генеративный алгоритм стремится к целостному моделированию процесса без отбрасывания какой-либо информации. Может возникнуть вопрос: зачем нам тогда дискриминативные алгоритмы? Дело в том, что зачастую более специальный дискриминативный алгоритм решает задачу лучше, чем более общий генеративный. Но все равно существует широкий класс задач, где генеративное моделирование позволяет получать впечатляющие результаты.

На этом рисунке — более жизненный пример. Здесь нейросетевая генеративная модель была обучена на изображениях лиц знаменитостей. Крайние фото слева и справа реальны. Между ними — знаменитости, синтезированные сетью. Как видно, сеть способна выдумывать «гибриды», заимствуя в разной степени свойства реальных лиц / ©Kingma, D.P. and Dhariwal, P. 

 Одним из наиболее популярных методов глубокого обучения генеративных моделей являются генеративно-состязательные сети. Расскажите о них подробнее.

— Генеративно-состязательные сети (далее GAN — generative adversarial network) обычно состоят из двух нейронных сетей, которые конкурируют друг с другом во время обучения, создавая таким образом условия для обоюдной эволюции. Они называются генератором и дискриминатором.

Генератор получает на вход случайные числа и синтезирует изображение (или текст, или что-то еще — далее будем говорить о картинках). Его задача — обмануть дискриминатор, выдав свое творчество за реальное изображение. Дискриминатор, в свою очередь, тренируется отличать синтезированные образцы от настоящих. Если обучение проходит успешно, то генератор умеет создавать разнообразные изображения, похожие на те, что были в тренировочном наборе.

Обучение глубоких нейронных сетей часто бывает нестабильно. Тут же сетей две (а иногда и больше), они учатся решать противоположные задачи. Например, даже если генератор производит вполне реалистичные картинки, то он может просто начать игнорировать разнообразие в тренировочных данных и бросить все свои силы на качественный синтез только одного типа изображений.

В примере с генерацией фото знаменитостей выше он мог бы сконцентрироваться только на актрисе Дженнифер Энистон и синтезировать только ее изображения, зато быстро и надежно научившись обманывать дискриминатор. Эту ситуацию называют коллапсом мод (mode collapse).

— В каких сферах используется GAN, чем он полезен?

— GAN может применяться в самых разных областях. Чаще всего это разнообразные методы трансформации изображений. Например, раскрашивание черно-белых фотографий, перенос стиля одного изображения на другое (style transfer), качественное увеличение разрешения исходного снимка (super-resolution imaging).

Также GAN используется для детектирования (выявления) аномалий. Метод помогает распознавать как злокачественные опухоли, так и неожиданные всплески или падения продаж. Еще одна область — обучение с частичным привлечением учителя (semi-supervised learning). Здесь нам обычно доступно только небольшое количество размеченных данных (то есть пар из фото и метки кот/хомяк), и для обучения мы используем неразмеченные (то есть просто фото котов и хомяков).

— А как метод GAN применяется в здравоохранении? Чем они интересен для врачей?

— В нашей лаборатории Philips Research GAN используются в медицинских задачах. Один пример — это трансформация МРТ изображения в КТ. Дело в том, что для некоторых видов терапии требуются изображения обеих модальностей.

Здесь показаны примеры удаления объектов с изображений при помощи GAN. В верхнем ряду оригинальные фото, а в нижнем — трансформированные. Вспомните, когда будете смотреть новости в следующий раз / ©Shetty, R.R., Fritz, M. and Schiele, B.

Но КТ, особенно когда нужно высокое разрешение, требует достаточно высокой дозы облучения пациента. Поэтому можно делать только МРТ, а по нему синтезировать КТ-снимок. Другой пример — это уже упомянутое суперразрешение. Медицинское изображение низкого качества можно трансформировать в более четкое и детальное.

Кроме обучения с частичным привлечением учителя, существует еще задача обучения с одного или нескольких примеров — вполне нормальная для человека, но сложная для алгоритмов. В медицине она бывает востребована из-за индивидуальных особенностей отдельных пациентов. Например, эпилептический припадок может выражаться на электроэнцефалограмме у людей совсем по-разному.

Если данные по многим людям собрать еще можно, то для каждого нового пациента получить длинную историю его заболевания затруднительно, приходится подстраиваться под него на доступном ограниченном количестве данных. GAN поможет нам и здесь.

Еще одна область применения — детектирование патологий. Ранняя диагностика некоторых видов рака основана на гистологических изображениях тканей человека. Анализ большого количества таких изображений для врачей — очень трудоемкая задача. Ошибки могут стоить кому-то жизни.

Выше было сказано, что генеративная модель способна выучить, какие коты бывают вообще. Аналогично она может быть натренирована и на изображениях здоровых тканей. Таким образом, зная, как выглядят здоровые клетки ткани, модель может реагировать на то, что кажется ей непривычным, подозрительным, выходящим за пределы распределения тренировочных данных, распознавая аномальные и патологические случаи.

А — МРТ-изображение, В — КТ-изображение. Как видно, методы позволяют увидеть довольно разные детали / ©Пресс-служба Philips Research

— Какие есть интересные перспективы на будущее в этой сфере?

— Глубокие генеративные модели, особенно GAN, сейчас вызывают огромный интерес в научном сообществе. Интересно, что определенные успехи были достигнуты даже в их теоретическом описании, что пока редко происходит в других областях глубокого обучения. С использованием методов абстрактной математики удается выводить лучшие стратегии обучения GAN.

Фантазируя, можно предположить, что эти исследования повлияют на математическое осмысление когнитивных процессов в человеке. Но даже и без этого нейросетевые генеративные модели — важный инструмент, который можно применить во всех сферах, где используется машинное обучение.

На данный момент существует множество нерешенных или не очень надежно решенных проблем в их тренировке. Их решение приведет к повышению нашей способности виртуализовать и моделировать природные процессы — задача, которую сейчас мы можем решать, лишь привлекая огромное число данных, которые не всегда находятся в открытом доступе и доступны для изучения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Philips
10 статей
Компания была основана в 1891 году и за свою историю несколько раз меняла приоритетное направление деятельности: изначально выпускала электрические лампочки, затем переключилась на бытовую электронику, после 2000-х годов начала специализироваться на медицинском диагностическом оборудовании.
Вчера, 20:22
3 минуты
Денис Гордеев

Эта награда вручается за деятельность в области научно-популярной и просветительской литературы.

5 часов назад
2 минуты
Илья Ведмеденко

Немецкое судостроительное предприятие Pella Sietas, принадлежащее российской «Пелле», заложило линейный дизель-электрический ледокол проекта 21900М2. Его будет эксплуатировать «Росморпорт».

7 часов назад
4 минуты
Сергей Васильев

Астрономы сообщили об открытии OGLE-2016-BLG-1928 — самой маленькой из «планет-сирот», свободно летящих между звездами.

27 октября
4 минуты
Денис Гордеев

Ученые пришли к выводу, что искусственные подсластители не могут быть здоровой заменой сладким напиткам.

26 октября
4 минуты
Денис Гордеев

Временные промежутки между посещениями дантиста могут составлять от трех месяцев до двух лет, в зависимости от индивидуальных факторов.

26 октября
8 минут
Василий Парфенов

Пусть романтика мирного атома с середины 1960-х поутихла, к идее использования ядерных реакторов в «гражданских» целях все равно возвращаются регулярно. Новый ядерный ракетный двигатель (ЯРД) позволит доставить человека на Марс гораздо быстрее, чем это возможно сейчас.

20 октября
4 минуты
Сергей Васильев

Глубоко в носоглотке ученые обнаружили новую — четвертую — пару крупных слюнных желез, о существовании которой ранее никто не подозревал.

16 октября
6 минут
Денис Гордеев

Люди со второй и четвертой группами крови с большей вероятностью переболеют Covid-19 в тяжелой форме.

1 октября
39 минут
Александр Березин

После советской эпохи атомные реакторы перестали запускать в космос, но сегодня все постепенно меняется. К атомной энергетике для марсианских колоний примеривается Илон Маск, проекты лунных АЭС прорабатываются в России — и все несмотря на то, что в космосе условия для солнечной энергетики лучше, чем на нашей планете. Что заставляет космическую отрасль все чаще думать об атомных реакторах? Как ни странно, дело в том, что и ядерная энергетика в космосе становится еще важнее, чем на Земле. Попробуем разобраться почему.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: