Инженеры MIT научили нейросеть качественно разделять объекты на фотографии — Naked Science
3 минуты
Редакция

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 20:00
10 минут
Мария Азарова

Ученые провели анализ по 353 профессиям и оценили, насколько различия в статусе потребления алкоголя можно объяснить родом занятий.

12 часов назад
4 минуты
Илья Ведмеденко

Немцы заключили соглашение, предполагающее поставку израильских комплексов активной защиты Trophy для оснащения основных боевых танков Leopard 2.

Сегодня, 09:47
4 минуты
Сергей Васильев

Моделирование показало, что Фобос и Деймос могли появиться пару миллиардов лет назад, в результате гибели древнего спутника Марса.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

23 февраля
4 минуты
Виктория Сафронова

Звук — шум от передвижения марсохода — записан одним из его микрофонов.

22 февраля
5 минут
Илья Ведмеденко

Новое видео демонстрирует использование новейшего российского разведывательно-ударного БПЛА «Орион» на территории Сирии. Ранее этот комплекс приняли на вооружение.

27 января
6 минут
Василий Парфенов

Интересным наблюдением поделились сотрудники Чернобыльского радиационно-экологического биосферного заповедника. Они уже более трех лет следят за жизнью стада одичавших коров, поведение которого сильно отличается от того, что можно наблюдать у домашних сельскохозяйственных животных.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

2 февраля
44 минуты
Александр Березин

В научном журнале The Lancet появились итоги клинических испытаний «Спутника-V», и на первый взгляд эта публикация — триумф. Российская вакцина показала эффективность выше, чем у Pfizer и Moderna. Увы, на этом хорошие новости закончились. Плохих две.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: