• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.04.2019
Philips
15 590

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога

3.9

Нейронные сети способны на многое. Например, создавать новые лица и даже выявлять по снимкам раковую опухоль. О роли генеративных нейтронных сетей в машинном обучении и здравоохранении рассказал научный сотрудник лаборатории Philips Research Lab Rus Леонид Власенков.

На этом рисунке изображены примеры переноса стиля. На фотографию А были перенесены стили с других изображений. К примеру, изображение С — то же фото в стиле с картины «Звездная ночь» Ван Гога / ©Gatys, L.A., Ecker, A.S. and Bethge, M.

 Расскажите, какие алгоритмы бывают в машинном обучении, кроме генеративных?

— В машинном обучении выделяют два класса алгоритмов: дискриминативные и генеративные модели. Чаще всего мы имеем дело с алгоритмами из первого класса. Допустим, нам нужно научиться отличать котиков от хомячков на фотографиях.

У нас для этого есть набор пар изображений и метки «кот/хомяк». Дальше можно взять какой-нибудь алгоритм классификации картинок — пусть это будет огромная нейронная сеть. Мы обучаем ее «смотреть» на картинку и говорить «кот» или «хомяк». Такая модель будет учиться отличать одно животное от другого, обращая внимание на признаки, различающие их.

Когда эта модель уже обучена и работает на вашем смартфоне, помогая отличать котов от хомяков, она в некотором смысле просто «вспоминает», на что из уже увиденного похож объект в камере смартфона.

Поэтому, если показать ей, например, одуванчик, она может, не сомневаясь, назвать его хомяком. Это и есть дискриминативная модель, она как бы сжимает в себе информацию о различиях котов и хомяков, не пытаясь при этом понять, что такое кот, а что — хомяк.

Если ограничить разницу между котами и хомяками какими-нибудь двумя признаками (например, длина хвоста и размер щек), то их несложно изобразить на плоскости (отложив размеры хвостов и щек по горизонтали и вертикали соответственно). На рисунке синие точки — это хомяки, а красные — коты. Пунктирная линия изображает то, что выучила дискриминативная модель. А именно —границу в пространстве хвостов и щек / ©Пресс-служба Philips Research

 Для чего нужны генеративные модели?

— Эта модель помогает ответить на вопрос о том, что есть «кот в себе» или «хомяк в себе». Существует несколько концепций генеративных моделей, но всех их объединяет то, что они так или иначе «впитывают» информацию о том, какие бывают коты и хомяки. Они могут описать, как распределены возможные изображения этих животных.

А если модели известно, какие коты и хомяки бывают вообще, то известны и их различия, следовательно, в общем случае генеративная модель содержит дискриминативную. Такие алгоритмы могут обучиться воссоздавать изображения котов и хомяков — даже такие, каких не было в обучающем наборе.

Вернемся снова в пространство хвостов и щек. На рисунке изображено то, что способна выучить генеративная модель. Она изучила, какие бывают хвосты и щеки у обоих видов. Модель может также синтезировать нового кота с заданными параметрами. И если нужно, то белое пространство между выученными распределениями можно использовать как границу классов дискриминативной модели / ©Пресс-служба Philips Research

В общем, генеративный алгоритм стремится к целостному моделированию процесса без отбрасывания какой-либо информации. Может возникнуть вопрос: зачем нам тогда дискриминативные алгоритмы? Дело в том, что зачастую более специальный дискриминативный алгоритм решает задачу лучше, чем более общий генеративный. Но все равно существует широкий класс задач, где генеративное моделирование позволяет получать впечатляющие результаты.

На этом рисунке — более жизненный пример. Здесь нейросетевая генеративная модель была обучена на изображениях лиц знаменитостей. Крайние фото слева и справа реальны. Между ними — знаменитости, синтезированные сетью. Как видно, сеть способна выдумывать «гибриды», заимствуя в разной степени свойства реальных лиц / ©Kingma, D.P. and Dhariwal, P. 

 Одним из наиболее популярных методов глубокого обучения генеративных моделей являются генеративно-состязательные сети. Расскажите о них подробнее.

— Генеративно-состязательные сети (далее GAN — generative adversarial network) обычно состоят из двух нейронных сетей, которые конкурируют друг с другом во время обучения, создавая таким образом условия для обоюдной эволюции. Они называются генератором и дискриминатором.

Генератор получает на вход случайные числа и синтезирует изображение (или текст, или что-то еще — далее будем говорить о картинках). Его задача — обмануть дискриминатор, выдав свое творчество за реальное изображение. Дискриминатор, в свою очередь, тренируется отличать синтезированные образцы от настоящих. Если обучение проходит успешно, то генератор умеет создавать разнообразные изображения, похожие на те, что были в тренировочном наборе.

Обучение глубоких нейронных сетей часто бывает нестабильно. Тут же сетей две (а иногда и больше), они учатся решать противоположные задачи. Например, даже если генератор производит вполне реалистичные картинки, то он может просто начать игнорировать разнообразие в тренировочных данных и бросить все свои силы на качественный синтез только одного типа изображений.

В примере с генерацией фото знаменитостей выше он мог бы сконцентрироваться только на актрисе Дженнифер Энистон и синтезировать только ее изображения, зато быстро и надежно научившись обманывать дискриминатор. Эту ситуацию называют коллапсом мод (mode collapse).

— В каких сферах используется GAN, чем он полезен?

— GAN может применяться в самых разных областях. Чаще всего это разнообразные методы трансформации изображений. Например, раскрашивание черно-белых фотографий, перенос стиля одного изображения на другое (style transfer), качественное увеличение разрешения исходного снимка (super-resolution imaging).

Также GAN используется для детектирования (выявления) аномалий. Метод помогает распознавать как злокачественные опухоли, так и неожиданные всплески или падения продаж. Еще одна область — обучение с частичным привлечением учителя (semi-supervised learning). Здесь нам обычно доступно только небольшое количество размеченных данных (то есть пар из фото и метки кот/хомяк), и для обучения мы используем неразмеченные (то есть просто фото котов и хомяков).

— А как метод GAN применяется в здравоохранении? Чем они интересен для врачей?

— В нашей лаборатории Philips Research GAN используются в медицинских задачах. Один пример — это трансформация МРТ изображения в КТ. Дело в том, что для некоторых видов терапии требуются изображения обеих модальностей.

Здесь показаны примеры удаления объектов с изображений при помощи GAN. В верхнем ряду оригинальные фото, а в нижнем — трансформированные. Вспомните, когда будете смотреть новости в следующий раз / ©Shetty, R.R., Fritz, M. and Schiele, B.

Но КТ, особенно когда нужно высокое разрешение, требует достаточно высокой дозы облучения пациента. Поэтому можно делать только МРТ, а по нему синтезировать КТ-снимок. Другой пример — это уже упомянутое суперразрешение. Медицинское изображение низкого качества можно трансформировать в более четкое и детальное.

Кроме обучения с частичным привлечением учителя, существует еще задача обучения с одного или нескольких примеров — вполне нормальная для человека, но сложная для алгоритмов. В медицине она бывает востребована из-за индивидуальных особенностей отдельных пациентов. Например, эпилептический припадок может выражаться на электроэнцефалограмме у людей совсем по-разному.

Если данные по многим людям собрать еще можно, то для каждого нового пациента получить длинную историю его заболевания затруднительно, приходится подстраиваться под него на доступном ограниченном количестве данных. GAN поможет нам и здесь.

Еще одна область применения — детектирование патологий. Ранняя диагностика некоторых видов рака основана на гистологических изображениях тканей человека. Анализ большого количества таких изображений для врачей — очень трудоемкая задача. Ошибки могут стоить кому-то жизни.

Выше было сказано, что генеративная модель способна выучить, какие коты бывают вообще. Аналогично она может быть натренирована и на изображениях здоровых тканей. Таким образом, зная, как выглядят здоровые клетки ткани, модель может реагировать на то, что кажется ей непривычным, подозрительным, выходящим за пределы распределения тренировочных данных, распознавая аномальные и патологические случаи.

А — МРТ-изображение, В — КТ-изображение. Как видно, методы позволяют увидеть довольно разные детали / ©Пресс-служба Philips Research

— Какие есть интересные перспективы на будущее в этой сфере?

— Глубокие генеративные модели, особенно GAN, сейчас вызывают огромный интерес в научном сообществе. Интересно, что определенные успехи были достигнуты даже в их теоретическом описании, что пока редко происходит в других областях глубокого обучения. С использованием методов абстрактной математики удается выводить лучшие стратегии обучения GAN.

Фантазируя, можно предположить, что эти исследования повлияют на математическое осмысление когнитивных процессов в человеке. Но даже и без этого нейросетевые генеративные модели — важный инструмент, который можно применить во всех сферах, где используется машинное обучение.

На данный момент существует множество нерешенных или не очень надежно решенных проблем в их тренировке. Их решение приведет к повышению нашей способности виртуализовать и моделировать природные процессы — задача, которую сейчас мы можем решать, лишь привлекая огромное число данных, которые не всегда находятся в открытом доступе и доступны для изучения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 11:02
Игорь Байдов

Грузовой самолет будут использовать для перевозки 90-метровых лопастей ветряных турбин, которые невозможно доставить по суше из-за размеров. Предполагается, что этот аппарат произведет революцию в сфере возобновляемых источников энергии.

Вчера, 13:05
Ольга Иванова

Новые автомобили известных брендов, купленные за последние несколько лет, оказались в два раза менее качественными, чем те, что были приобретены в 2010 году. И в будущем ситуация будет только хуже. К такому выводу пришли исследователи из США, которые также оценили марки машин по их надежности, составив рейтинг — от более к менее качественным автомобилям.

Вчера, 19:23
Полина

Распространено мнение, что, чтобы справиться с гневом, необходимо дать волю негативным эмоциям. Исследователи из США доказали, что такой метод не позволяет снизить уровень агрессии.

Вчера, 11:02
Игорь Байдов

Грузовой самолет будут использовать для перевозки 90-метровых лопастей ветряных турбин, которые невозможно доставить по суше из-за размеров. Предполагается, что этот аппарат произведет революцию в сфере возобновляемых источников энергии.

Позавчера, 08:39
Михаил Орлов

Глобальные изменения климата сказываются как на природе, так и на населении Земли. Среди последствий потепления — волны жары и увеличение числа жарких дней, которые напрямую влияют на здоровье людей и повседневную жизнь. Российские ученые из Высшей школы экономики и Института географии РАН спрогнозировали, как летний зной будет влиять на жителей России в ближайшие десятилетия. Они назвали регионы РФ, которые могут пострадать от жары сильнее всего, и выявили ведущие факторы таких изменений.

15 марта
Юлия Трепалина

Рассмотрев опыт ферм по выращиванию крупных питонов в Азии, ученые пришли к выводу, что это один из эффективных, но в то же время наименее вредных для экологии видов животноводства. По мнению исследователей, людям стоит всерьез задуматься о его внедрении в массовых масштабах.

11 марта
Игорь Байдов

Американская компания Stratolaunch сообщила об успешном завершении летных испытаний прототипа гиперзвукового аппарата Talon-A, оснащенного ракетным двигателем. Во время беспилотного полета планер развил сверхзвуковую скорость.

13 марта
Алиса Гаджиева

Древние переселенцы из Анатолии не только устроили геноцид в Скандинавии, но и одарили выживших новыми болезнями.

Вчера, 11:02
Игорь Байдов

Грузовой самолет будут использовать для перевозки 90-метровых лопастей ветряных турбин, которые невозможно доставить по суше из-за размеров. Предполагается, что этот аппарат произведет революцию в сфере возобновляемых источников энергии.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: