• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.08.2018, 10:31
Редакция Naked Science
667

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia / Автор: Артем Фомин

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии – иллюстрация к материалу на Naked Science

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
14 марта, 09:30
Любовь С.

Хотя лед кажется простым веществом, причина, по которой он настолько скользкий, до сих пор оставалась предметом споров. Недавно физики показали, что при движении по льду трение слегка нагревает его поверхность. Это приводит к образованию тончайшей пленки воды, которая действует как смазка. Некоторые детали этого механизма ученым еще предстоит уточнить.

16 марта, 09:54
Любовь С.

Исследователи впервые испытали на человеке новую технологию медицинской визуализации — магнитно-частичную томографию (MPI). С ее помощью они смогли в реальном времени наблюдать движение крови по венам руки. Метод работает без рентгеновского излучения и может стать более безопасной альтернативой традиционной сосудистой ангиографии.

16 марта, 15:45
Татьяна Зайцева

Бонобо ничуть не менее агрессивны, чем шимпанзе, пришли к выводу авторы нового исследования. Однако между видами все же есть существенные различия в проявлении агрессии между полами: у бонобо самки чаще нападают на самцов, в то время как у шимпанзе, наоборот, самцы более агрессивны по отношению к самкам.

14 марта, 09:30
Любовь С.

Хотя лед кажется простым веществом, причина, по которой он настолько скользкий, до сих пор оставалась предметом споров. Недавно физики показали, что при движении по льду трение слегка нагревает его поверхность. Это приводит к образованию тончайшей пленки воды, которая действует как смазка. Некоторые детали этого механизма ученым еще предстоит уточнить.

12 марта, 15:55
Андрей Серегин

Отдельные аспекты полового поведения живых организмов порой могут оказывать огромное влияние на пищевые цепочки и целые экосистемы. Ученые на примере североамериканских рыб доказали, что агрессивное половое поведение их самцов может помочь в выживании зоопланктона.

13 марта, 13:57
Татьяна Зайцева

Археологи обнаружили на стенах гробниц египетской знати в Долине царей надписи на древних индийских языках. Эти граффити оставили путешественники из Южной Азии, посещавшие Египет в начале первого тысячелетия нашей эры, когда он был провинцией Римской империи. Находки подтвердили, что Долина царей уже в те времена была популярным туристическим аттракционом.

3 марта, 14:06
Александр Березин

В ноябре 2025 года при взлете российской ракеты с Байконура к МКС с существенной высоты упала кабина обслуживания 8У216. Поскольку в 2010-х годах из экономии средств у нас отказались от дублирования стартовых площадок, это создало ситуацию временной невозможности пилотируемых полетов. Теперь, всего через три месяца после происшествия, «Роскосмос» смог решить проблему, поставив запасную кабину обслуживания, найденную на складах Минобороны. Весенние пуски к МКС, запланированные ранее, теперь имеют шансы пройти в срок.

5 марта, 08:10
Александр Березин

Одна сторона сыплет более дорогими и сложными баллистическими ракетами, другая — относительно дешевыми крылатыми. Но при этом первая на порядок беднее второй. А что у них с технологическим уровнем для наземной войны, и почему, кстати, глава второй избегает даже самого этого слова? Попробуем разобраться в реальных возможностях военных машин сторон потенциально самого опасного конфликта 2026 года.

28 февраля, 16:50
Игорь Байдов

В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно