Инженеры MIT научили нейросеть качественно разделять объекты на фотографии
24.08.2018
3 минуты
Редакция
233

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 09:58
52 минуты
Александр Березин

На днях парламент Эстонии принял резолюцию, где указал на «роль Советского Союза в качестве одного из основных зачинщиков Второй мировой войны». Ранее президент Украины Владимир Зеленский заявил, что СССР виновен в развязывании Второй мировой. До того ведущий польский политик Ярослав Качиньский поставил СССР и Германию на одну доску в вопросе ответственности за начало мировой войны. Бывший президент Украины Кравчук даже заявил, что 17 октября 1939 года Сталин и Гитлер встречались во Львове, что зафиксировано документально. Разберемся, так ли это.

Позавчера, 15:16
4 минуты
Мария Азарова

Власти КНР сообщили, что повторные анализы 195 выздоровевших пациентов вновь показали наличие инфекции.

9 часов назад
8 минут
Мария Азарова

На фоне распространения Covid-19 за пределами Китая глава Всемирной организации здравоохранения заявил, что называть вспышку коронавируса, число зараженных которым приближается к 82 тысячам, пандемией все еще не рекомендуется, однако мир должен быть готовым к такому варианту развития событий.

Вчера, 09:58
52 минуты
Александр Березин

На днях парламент Эстонии принял резолюцию, где указал на «роль Советского Союза в качестве одного из основных зачинщиков Второй мировой войны». Ранее президент Украины Владимир Зеленский заявил, что СССР виновен в развязывании Второй мировой. До того ведущий польский политик Ярослав Качиньский поставил СССР и Германию на одну доску в вопросе ответственности за начало мировой войны. Бывший президент Украины Кравчук даже заявил, что 17 октября 1939 года Сталин и Гитлер встречались во Львове, что зафиксировано документально. Разберемся, так ли это.

21 февраля
4 минуты
Полина Гершберг

Периваскулярная жировая ткань вокруг сосудов не только накапливает липиды, но и непосредственно влияет на релаксацию сосудистых тканей.

Позавчера, 15:16
4 минуты
Мария Азарова

Власти КНР сообщили, что повторные анализы 195 выздоровевших пациентов вновь показали наличие инфекции.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

28 января
25 минут
Александр Березин

Недавняя научная работа предрекла серьезную эпидемию коронавируса 2019-nCoV. Согласно ей, 95% зараженных еще не зарегистрированы властями, а значит, через пару недель в одной Ухани будут сотни тысяч заболевших. При наблюдаемой смертности от вируса в 2,36% — это многие тысячи погибших. На самом деле, новая работа скорее «ловит хайп» или, если угодно, пытается держать мир настороже, чем описывает реальную эпидемию. Последние данные по заразности коронавируса показывают: он действительно неблестяще передается от человека к человеку. Для эпидемии в Китае этого достаточно, но большое число жертв за пределами этой страны маловероятно. Выясняем почему.

28 января
3 минуты
Полина Гершберг

Ученые создали информационную панель, показывающую распространение китайского коронавируса по миру в режиме реального времени. Данные вносятся из подтвержденных источников — это поможет бороться с дезинформацией.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: