Хотите получать важные новости науки?
Подписаться
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.04.2019
Philips
15 782

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога

3.9

Нейронные сети способны на многое. Например, создавать новые лица и даже выявлять по снимкам раковую опухоль. О роли генеративных нейтронных сетей в машинном обучении и здравоохранении рассказал научный сотрудник лаборатории Philips Research Lab Rus Леонид Власенков.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
На этом рисунке изображены примеры переноса стиля. На фотографию А были перенесены стили с других изображений. К примеру, изображение С — то же фото в стиле с картины «Звездная ночь» Ван Гога / ©Gatys, L.A., Ecker, A.S. and Bethge, M. / Автор: Наталья Федосеева

 Расскажите, какие алгоритмы бывают в машинном обучении, кроме генеративных?

— В машинном обучении выделяют два класса алгоритмов: дискриминативные и генеративные модели. Чаще всего мы имеем дело с алгоритмами из первого класса. Допустим, нам нужно научиться отличать котиков от хомячков на фотографиях.

У нас для этого есть набор пар изображений и метки «кот/хомяк». Дальше можно взять какой-нибудь алгоритм классификации картинок — пусть это будет огромная нейронная сеть. Мы обучаем ее «смотреть» на картинку и говорить «кот» или «хомяк». Такая модель будет учиться отличать одно животное от другого, обращая внимание на признаки, различающие их.

Когда эта модель уже обучена и работает на вашем смартфоне, помогая отличать котов от хомяков, она в некотором смысле просто «вспоминает», на что из уже увиденного похож объект в камере смартфона.

Поэтому, если показать ей, например, одуванчик, она может, не сомневаясь, назвать его хомяком. Это и есть дискриминативная модель, она как бы сжимает в себе информацию о различиях котов и хомяков, не пытаясь при этом понять, что такое кот, а что — хомяк.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
Если ограничить разницу между котами и хомяками какими-нибудь двумя признаками (например, длина хвоста и размер щек), то их несложно изобразить на плоскости (отложив размеры хвостов и щек по горизонтали и вертикали соответственно). На рисунке синие точки — это хомяки, а красные — коты. Пунктирная линия изображает то, что выучила дискриминативная модель. А именно —границу в пространстве хвостов и щек / ©Пресс-служба Philips Research

 Для чего нужны генеративные модели?

— Эта модель помогает ответить на вопрос о том, что есть «кот в себе» или «хомяк в себе». Существует несколько концепций генеративных моделей, но всех их объединяет то, что они так или иначе «впитывают» информацию о том, какие бывают коты и хомяки. Они могут описать, как распределены возможные изображения этих животных.

А если модели известно, какие коты и хомяки бывают вообще, то известны и их различия, следовательно, в общем случае генеративная модель содержит дискриминативную. Такие алгоритмы могут обучиться воссоздавать изображения котов и хомяков — даже такие, каких не было в обучающем наборе.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
Вернемся снова в пространство хвостов и щек. На рисунке изображено то, что способна выучить генеративная модель. Она изучила, какие бывают хвосты и щеки у обоих видов. Модель может также синтезировать нового кота с заданными параметрами. И если нужно, то белое пространство между выученными распределениями можно использовать как границу классов дискриминативной модели / ©Пресс-служба Philips Research

В общем, генеративный алгоритм стремится к целостному моделированию процесса без отбрасывания какой-либо информации. Может возникнуть вопрос: зачем нам тогда дискриминативные алгоритмы? Дело в том, что зачастую более специальный дискриминативный алгоритм решает задачу лучше, чем более общий генеративный. Но все равно существует широкий класс задач, где генеративное моделирование позволяет получать впечатляющие результаты.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
На этом рисунке — более жизненный пример. Здесь нейросетевая генеративная модель была обучена на изображениях лиц знаменитостей. Крайние фото слева и справа реальны. Между ними — знаменитости, синтезированные сетью. Как видно, сеть способна выдумывать «гибриды», заимствуя в разной степени свойства реальных лиц / ©Kingma, D.P. and Dhariwal, P. 

 Одним из наиболее популярных методов глубокого обучения генеративных моделей являются генеративно-состязательные сети. Расскажите о них подробнее.

— Генеративно-состязательные сети (далее GAN — generative adversarial network) обычно состоят из двух нейронных сетей, которые конкурируют друг с другом во время обучения, создавая таким образом условия для обоюдной эволюции. Они называются генератором и дискриминатором.

Генератор получает на вход случайные числа и синтезирует изображение (или текст, или что-то еще — далее будем говорить о картинках). Его задача — обмануть дискриминатор, выдав свое творчество за реальное изображение. Дискриминатор, в свою очередь, тренируется отличать синтезированные образцы от настоящих. Если обучение проходит успешно, то генератор умеет создавать разнообразные изображения, похожие на те, что были в тренировочном наборе.

Обучение глубоких нейронных сетей часто бывает нестабильно. Тут же сетей две (а иногда и больше), они учатся решать противоположные задачи. Например, даже если генератор производит вполне реалистичные картинки, то он может просто начать игнорировать разнообразие в тренировочных данных и бросить все свои силы на качественный синтез только одного типа изображений.

В примере с генерацией фото знаменитостей выше он мог бы сконцентрироваться только на актрисе Дженнифер Энистон и синтезировать только ее изображения, зато быстро и надежно научившись обманывать дискриминатор. Эту ситуацию называют коллапсом мод (mode collapse).

— В каких сферах используется GAN, чем он полезен?

— GAN может применяться в самых разных областях. Чаще всего это разнообразные методы трансформации изображений. Например, раскрашивание черно-белых фотографий, перенос стиля одного изображения на другое (style transfer), качественное увеличение разрешения исходного снимка (super-resolution imaging).

Также GAN используется для детектирования (выявления) аномалий. Метод помогает распознавать как злокачественные опухоли, так и неожиданные всплески или падения продаж. Еще одна область — обучение с частичным привлечением учителя (semi-supervised learning). Здесь нам обычно доступно только небольшое количество размеченных данных (то есть пар из фото и метки кот/хомяк), и для обучения мы используем неразмеченные (то есть просто фото котов и хомяков).

— А как метод GAN применяется в здравоохранении? Чем они интересен для врачей?

— В нашей лаборатории Philips Research GAN используются в медицинских задачах. Один пример — это трансформация МРТ изображения в КТ. Дело в том, что для некоторых видов терапии требуются изображения обеих модальностей.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
Здесь показаны примеры удаления объектов с изображений при помощи GAN. В верхнем ряду оригинальные фото, а в нижнем — трансформированные. Вспомните, когда будете смотреть новости в следующий раз / ©Shetty, R.R., Fritz, M. and Schiele, B.

Но КТ, особенно когда нужно высокое разрешение, требует достаточно высокой дозы облучения пациента. Поэтому можно делать только МРТ, а по нему синтезировать КТ-снимок. Другой пример — это уже упомянутое суперразрешение. Медицинское изображение низкого качества можно трансформировать в более четкое и детальное.

Кроме обучения с частичным привлечением учителя, существует еще задача обучения с одного или нескольких примеров — вполне нормальная для человека, но сложная для алгоритмов. В медицине она бывает востребована из-за индивидуальных особенностей отдельных пациентов. Например, эпилептический припадок может выражаться на электроэнцефалограмме у людей совсем по-разному.

Если данные по многим людям собрать еще можно, то для каждого нового пациента получить длинную историю его заболевания затруднительно, приходится подстраиваться под него на доступном ограниченном количестве данных. GAN поможет нам и здесь.

Еще одна область применения — детектирование патологий. Ранняя диагностика некоторых видов рака основана на гистологических изображениях тканей человека. Анализ большого количества таких изображений для врачей — очень трудоемкая задача. Ошибки могут стоить кому-то жизни.

Выше было сказано, что генеративная модель способна выучить, какие коты бывают вообще. Аналогично она может быть натренирована и на изображениях здоровых тканей. Таким образом, зная, как выглядят здоровые клетки ткани, модель может реагировать на то, что кажется ей непривычным, подозрительным, выходящим за пределы распределения тренировочных данных, распознавая аномальные и патологические случаи.

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога – иллюстрация к материалу на Naked Science
А — МРТ-изображение, В — КТ-изображение. Как видно, методы позволяют увидеть довольно разные детали / ©Пресс-служба Philips Research

— Какие есть интересные перспективы на будущее в этой сфере?

— Глубокие генеративные модели, особенно GAN, сейчас вызывают огромный интерес в научном сообществе. Интересно, что определенные успехи были достигнуты даже в их теоретическом описании, что пока редко происходит в других областях глубокого обучения. С использованием методов абстрактной математики удается выводить лучшие стратегии обучения GAN.

Фантазируя, можно предположить, что эти исследования повлияют на математическое осмысление когнитивных процессов в человеке. Но даже и без этого нейросетевые генеративные модели — важный инструмент, который можно применить во всех сферах, где используется машинное обучение.

На данный момент существует множество нерешенных или не очень надежно решенных проблем в их тренировке. Их решение приведет к повышению нашей способности виртуализовать и моделировать природные процессы — задача, которую сейчас мы можем решать, лишь привлекая огромное число данных, которые не всегда находятся в открытом доступе и доступны для изучения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
28 июня
Игорь Байдов

За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».

Позавчера, 17:23
Людмила Соколова

Чтобы понять, как часто за пределами Солнечной системы встречаются миры, похожие на Землю, ученые из Калифорнийского университета (США) провели статистический анализ 517 экзопланет. Результаты показали, что всего три мира, включая наш, соответствуют критериям потенциальной обитаемости. Наиболее перспективными из них оказались Kepler-22b и Kepler-538b.

Позавчера, 11:35
Игорь Байдов

Команда исследователей из Италии и США предложила два способа, с помощью которых гипотетический зонд сможет быстро добраться до одного из самых отдаленных и малоизученных объектов Солнечной системы. Речь о Седне — транснептуновом теле, которое находится за орбитой Плутона. По мнению инженеров, эти передовые технологии смогут доставить аппарат к Седне за семь и 10 лет.

25 июня
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

25 июня
Елена Авдеева

Состояние паралича, в которое впадают разные виды животных, хорошо известно и задокументировано. Обычно оно считается защитной реакцией в случае опасности, но никаких доказательств этому до сих пор нет. Особенно загадочным остается поведение обитателей океана, притворяющихся мертвыми. Ученые проверили существующие объяснения этого эффекта и сделали неожиданные выводы.

25 июня
Evgenia Vavilova

Квантовые спиновые жидкости (КСЖ) обещают ученым развитие в областях квантовых вычислений и передачи энергии без потерь. В них магнитные моменты частиц теоретически не должны упорядочиваться даже при охлаждении до абсолютного нуля температур.

17 июня
Адель Романова

Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.

25 июня
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

5 июня
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно