• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.08.2018, 10:31
Редакция Naked Science
667

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia / Автор: Артем Фомин

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии – иллюстрация к материалу на Naked Science

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
18 ноября, 12:36
Игорь Байдов

Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.

18 ноября, 18:24
Игорь Байдов

В темных лабиринтах подземного муравейника разыгрывается коварный сценарий, достойный политического триллера. Вместо того чтобы силой захватить трон, королева одного вида муравьев применяет хитрую тактику. Она проникает в чужую крепость и с помощью поддельного химического сигнала подстрекает верную стражу к свержению собственной повелительницы. Результат — жестокая казнь законной королевы и добровольное подчинение всего муравейника новой владычице.

19 ноября, 07:55
Игорь Байдов

Крошечная глиняная фигурка возрастом 12 тысяч лет, найденная в Израиле еще в 2019 году, долгое время озадачивала ученых. Дело в том, что на ней изображен сюжет, который никак не могли расшифровать. После тщательного анализа это удалось сделать международной команде исследователей. Они пришли к выводу, что на статуэтке, вероятно, изображен анимистический ритуал.

15 ноября, 21:54
Редакция Naked Science

Ю-Цон Тан (YuCong Tang) — концептуальный художник из Китая. Научно-фантастические мотивы — одно из основных направлений его творчества. Он исследует, как научные открытия и технологии будущего трансформируют среду обитания.

18 ноября, 12:36
Игорь Байдов

Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.

15 ноября, 10:10
Любовь С.

Наблюдая за сверхновой 2024 ggi спустя всего 26 часов после вспышки, астрономы напрямую определили форму ударной волны в момент ее прорыва из звезды. Открытие позволит уточнить механизмы гибели массивных светил и может привести к пересмотру существующих моделей возникновения сверхновых.

25 октября, 10:40
Любовь С.

Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.

8 ноября, 18:29
Адель Романова

По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.

24 октября, 14:02
РТУ МИРЭА

В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно