Как ИИ изменит нашу жизнь — в специальном проекте Naked Science!
Перейти
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.04.2019
Philips
14 512

Генеративные нейронные сети: создать голливудскую звезду и картину Ван Гога

3.9

Нейронные сети способны на многое. Например, создавать новые лица и даже выявлять по снимкам раковую опухоль. О роли генеративных нейтронных сетей в машинном обучении и здравоохранении рассказал научный сотрудник лаборатории Philips Research Lab Rus Леонид Власенков.

На этом рисунке изображены примеры переноса стиля. На фотографию А были перенесены стили с других изображений. К примеру, изображение С — то же фото в стиле с картины «Звездная ночь» Ван Гога / ©Gatys, L.A., Ecker, A.S. and Bethge, M.

 Расскажите, какие алгоритмы бывают в машинном обучении, кроме генеративных?

— В машинном обучении выделяют два класса алгоритмов: дискриминативные и генеративные модели. Чаще всего мы имеем дело с алгоритмами из первого класса. Допустим, нам нужно научиться отличать котиков от хомячков на фотографиях.

У нас для этого есть набор пар изображений и метки «кот/хомяк». Дальше можно взять какой-нибудь алгоритм классификации картинок — пусть это будет огромная нейронная сеть. Мы обучаем ее «смотреть» на картинку и говорить «кот» или «хомяк». Такая модель будет учиться отличать одно животное от другого, обращая внимание на признаки, различающие их.

Когда эта модель уже обучена и работает на вашем смартфоне, помогая отличать котов от хомяков, она в некотором смысле просто «вспоминает», на что из уже увиденного похож объект в камере смартфона.

Поэтому, если показать ей, например, одуванчик, она может, не сомневаясь, назвать его хомяком. Это и есть дискриминативная модель, она как бы сжимает в себе информацию о различиях котов и хомяков, не пытаясь при этом понять, что такое кот, а что — хомяк.

Если ограничить разницу между котами и хомяками какими-нибудь двумя признаками (например, длина хвоста и размер щек), то их несложно изобразить на плоскости (отложив размеры хвостов и щек по горизонтали и вертикали соответственно). На рисунке синие точки — это хомяки, а красные — коты. Пунктирная линия изображает то, что выучила дискриминативная модель. А именно —границу в пространстве хвостов и щек / ©Пресс-служба Philips Research

 Для чего нужны генеративные модели?

— Эта модель помогает ответить на вопрос о том, что есть «кот в себе» или «хомяк в себе». Существует несколько концепций генеративных моделей, но всех их объединяет то, что они так или иначе «впитывают» информацию о том, какие бывают коты и хомяки. Они могут описать, как распределены возможные изображения этих животных.

А если модели известно, какие коты и хомяки бывают вообще, то известны и их различия, следовательно, в общем случае генеративная модель содержит дискриминативную. Такие алгоритмы могут обучиться воссоздавать изображения котов и хомяков — даже такие, каких не было в обучающем наборе.

Вернемся снова в пространство хвостов и щек. На рисунке изображено то, что способна выучить генеративная модель. Она изучила, какие бывают хвосты и щеки у обоих видов. Модель может также синтезировать нового кота с заданными параметрами. И если нужно, то белое пространство между выученными распределениями можно использовать как границу классов дискриминативной модели / ©Пресс-служба Philips Research

В общем, генеративный алгоритм стремится к целостному моделированию процесса без отбрасывания какой-либо информации. Может возникнуть вопрос: зачем нам тогда дискриминативные алгоритмы? Дело в том, что зачастую более специальный дискриминативный алгоритм решает задачу лучше, чем более общий генеративный. Но все равно существует широкий класс задач, где генеративное моделирование позволяет получать впечатляющие результаты.

На этом рисунке — более жизненный пример. Здесь нейросетевая генеративная модель была обучена на изображениях лиц знаменитостей. Крайние фото слева и справа реальны. Между ними — знаменитости, синтезированные сетью. Как видно, сеть способна выдумывать «гибриды», заимствуя в разной степени свойства реальных лиц / ©Kingma, D.P. and Dhariwal, P. 

 Одним из наиболее популярных методов глубокого обучения генеративных моделей являются генеративно-состязательные сети. Расскажите о них подробнее.

— Генеративно-состязательные сети (далее GAN — generative adversarial network) обычно состоят из двух нейронных сетей, которые конкурируют друг с другом во время обучения, создавая таким образом условия для обоюдной эволюции. Они называются генератором и дискриминатором.

Генератор получает на вход случайные числа и синтезирует изображение (или текст, или что-то еще — далее будем говорить о картинках). Его задача — обмануть дискриминатор, выдав свое творчество за реальное изображение. Дискриминатор, в свою очередь, тренируется отличать синтезированные образцы от настоящих. Если обучение проходит успешно, то генератор умеет создавать разнообразные изображения, похожие на те, что были в тренировочном наборе.

Обучение глубоких нейронных сетей часто бывает нестабильно. Тут же сетей две (а иногда и больше), они учатся решать противоположные задачи. Например, даже если генератор производит вполне реалистичные картинки, то он может просто начать игнорировать разнообразие в тренировочных данных и бросить все свои силы на качественный синтез только одного типа изображений.

В примере с генерацией фото знаменитостей выше он мог бы сконцентрироваться только на актрисе Дженнифер Энистон и синтезировать только ее изображения, зато быстро и надежно научившись обманывать дискриминатор. Эту ситуацию называют коллапсом мод (mode collapse).

— В каких сферах используется GAN, чем он полезен?

— GAN может применяться в самых разных областях. Чаще всего это разнообразные методы трансформации изображений. Например, раскрашивание черно-белых фотографий, перенос стиля одного изображения на другое (style transfer), качественное увеличение разрешения исходного снимка (super-resolution imaging).

Также GAN используется для детектирования (выявления) аномалий. Метод помогает распознавать как злокачественные опухоли, так и неожиданные всплески или падения продаж. Еще одна область — обучение с частичным привлечением учителя (semi-supervised learning). Здесь нам обычно доступно только небольшое количество размеченных данных (то есть пар из фото и метки кот/хомяк), и для обучения мы используем неразмеченные (то есть просто фото котов и хомяков).

— А как метод GAN применяется в здравоохранении? Чем они интересен для врачей?

— В нашей лаборатории Philips Research GAN используются в медицинских задачах. Один пример — это трансформация МРТ изображения в КТ. Дело в том, что для некоторых видов терапии требуются изображения обеих модальностей.

Здесь показаны примеры удаления объектов с изображений при помощи GAN. В верхнем ряду оригинальные фото, а в нижнем — трансформированные. Вспомните, когда будете смотреть новости в следующий раз / ©Shetty, R.R., Fritz, M. and Schiele, B.

Но КТ, особенно когда нужно высокое разрешение, требует достаточно высокой дозы облучения пациента. Поэтому можно делать только МРТ, а по нему синтезировать КТ-снимок. Другой пример — это уже упомянутое суперразрешение. Медицинское изображение низкого качества можно трансформировать в более четкое и детальное.

Кроме обучения с частичным привлечением учителя, существует еще задача обучения с одного или нескольких примеров — вполне нормальная для человека, но сложная для алгоритмов. В медицине она бывает востребована из-за индивидуальных особенностей отдельных пациентов. Например, эпилептический припадок может выражаться на электроэнцефалограмме у людей совсем по-разному.

Если данные по многим людям собрать еще можно, то для каждого нового пациента получить длинную историю его заболевания затруднительно, приходится подстраиваться под него на доступном ограниченном количестве данных. GAN поможет нам и здесь.

Еще одна область применения — детектирование патологий. Ранняя диагностика некоторых видов рака основана на гистологических изображениях тканей человека. Анализ большого количества таких изображений для врачей — очень трудоемкая задача. Ошибки могут стоить кому-то жизни.

Выше было сказано, что генеративная модель способна выучить, какие коты бывают вообще. Аналогично она может быть натренирована и на изображениях здоровых тканей. Таким образом, зная, как выглядят здоровые клетки ткани, модель может реагировать на то, что кажется ей непривычным, подозрительным, выходящим за пределы распределения тренировочных данных, распознавая аномальные и патологические случаи.

А — МРТ-изображение, В — КТ-изображение. Как видно, методы позволяют увидеть довольно разные детали / ©Пресс-служба Philips Research

— Какие есть интересные перспективы на будущее в этой сфере?

— Глубокие генеративные модели, особенно GAN, сейчас вызывают огромный интерес в научном сообществе. Интересно, что определенные успехи были достигнуты даже в их теоретическом описании, что пока редко происходит в других областях глубокого обучения. С использованием методов абстрактной математики удается выводить лучшие стратегии обучения GAN.

Фантазируя, можно предположить, что эти исследования повлияют на математическое осмысление когнитивных процессов в человеке. Но даже и без этого нейросетевые генеративные модели — важный инструмент, который можно применить во всех сферах, где используется машинное обучение.

На данный момент существует множество нерешенных или не очень надежно решенных проблем в их тренировке. Их решение приведет к повышению нашей способности виртуализовать и моделировать природные процессы — задача, которую сейчас мы можем решать, лишь привлекая огромное число данных, которые не всегда находятся в открытом доступе и доступны для изучения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 13:18
Анна Новиковская

Человечество неустанно в своих поисках следов внеземной жизни, но чаще всего принимает желаемое за действительное, например произведенный живыми организмами газ в атмосфере Земли за свидетельство присутствия жизни на Венере.

Позавчера, 12:31
Алиса Гаджиева

Серию секретных рисунков и надписей, добавленных таинственной женщиной-переписчицей, обнаружили в рукописи возрастом более 1200 лет.

Вчера, 11:38
Василий Парфенов

На «Заводе 42» компании Northrop Grumman в Палмдейле, штат Калифорния, прошла торжественная церемония выкатки новейшего стратегического бомбардировщика B-21 Raider. Малозаметный самолет должен в ближайшем будущем частично заменить устаревающий парк Rockwell B-1 Lancer и Northrop Grumman B-2 Spirit, и даже взять на себя ряд задач, которые выполняют совсем уж «старички» Boeing B-52 Stratofortress.

30 ноября
НИУ ВШЭ

Около трети россиян с высшим образованием работают не в той сфере, в которой учились, выше всего этот показатель в сельском хозяйстве и обслуживании. При этом работа не по специальности оборачивается снижением зарплаты на 7–14 процентов. К таким выводам пришли исследователи из Высшей школы экономики совместно с коллегами из Португалии.

28 ноября
Сергей Васильев

Люди с крайней избирательностью в пище воспринимают одни и те же блюда по-разному в зависимости от цвета посуды, из которой едят. Эксперименты продемонстрировали, что пища в белых мисках кажется им менее привлекательной, а в синих — более соленой.

30 ноября
ФизТех

Астрофизики проанализировали общедоступные данные нейтринной обсерватории IceCube, расположенной в Антарктиде. Оказалось, что значительная часть потока высокоэнергетических нейтрино, регистрируемых телескопом, имеет галактическое происхождение, то есть рождена в Млечном Пути.

19 ноября
Анна Новиковская

В последний раз черношейного фазанового голубя видели еще в 1882 году, и с тех пор ученые не знали, живет ли еще в лесах острова Фергуссон эта красивая птица. Теперь, наконец, им повезло: одна из камер запечатлела представителя редчайшего подвида фазановых голубей.

24 ноября
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

24 ноября
Анна Новиковская

В то время как основные мировые языки со временем упрощают письменность, существует одно яркое исключение: китайский язык. За свою историю, насчитывающую три тысячелетия, его система письма становилась только сложнее и до сих пор остается крайне сложной для изучения.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: