Инженеры MIT научили нейросеть качественно разделять объекты на фотографии — Naked Science
24.08.2018
Редакция Naked Science

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 16:28
Илья Ведмеденко

Модернизированный стратегический бомбардировщик Ту-160 снова поднялся в небо. Самолет среди прочего получил обновленную силовую установку.

Позавчера, 13:58
Алиса Гаджиева

На месте будущей дороги в Калининградской области археологи обнаружили некрополь III-VI веков нашей эры.

Вчера, 12:59
Алиса Гаджиева

Несмотря на то, что в крестовых походах погибли тысячи людей, археологи невероятно редко обнаруживают их массовые захоронения. По одной из версий, убитых, найденных в этот раз, хоронил лично Людовик IX Святой, король Франции, предводитель двух крестовых походов.

13 сентября
Илья Ведмеденко

В космическом ведомстве США хотят продлить эксплуатацию станции как минимум на десять лет. Ранее сообщалось, что от проекта могут отказаться в середине десятилетия.

15 сентября
ФизТех

Ученые из Центра исследований молекулярных механизмов старения и возрастных заболеваний МФТИ изучили имеющиеся данные о процессе разделения жидких фаз в клетках. Биофизики предположили, что существует взаимосвязь между разными процессами разделения жидкостей, а последовательность разделений передает сигнал от внешней среды внутрь клетки. Понимание процесса разделения фаз может помочь в изучении причин некоторых болезней.

Вчера, 16:28
Илья Ведмеденко

Модернизированный стратегический бомбардировщик Ту-160 снова поднялся в небо. Самолет среди прочего получил обновленную силовую установку.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

9 сентября
Алиса Гаджиева

Необычный артефакт обнаружили в одном из пунктов сбора вторсырья в Красноярском крае.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: