• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.08.2018
Редакция Naked Science
651

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia / Автор: Артем Фомин

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
21 ноября
Елизавета Александрова

До сих пор нашу Галактику считали типичным примером того, как все устроено в любых спиральных галактиках. Но недавно астрономы рассмотрели сотню максимально похожих аналогов Млечного Пути и обнаружили, что большинство из них все же заметно отличаются.

Позавчера, 10:30
НовГУ

В этой посуде можно готовить растворы с ионами серебра и меди, которые обладают мощным антимикробным, противовирусным и иммуностимулирующим действием. Это поможет в профилактике и лечении инфекционных и вирусных заболеваний (в том числе ОРВИ, гриппа, коронавируса), повысит иммунитет населения и предотвратит эпидемии.

21 ноября
Дарья Г.

Бурная эволюция массивных звезд играет большую роль во Вселенной. Именно они ионизируют межзвездный газ и, взрываясь сверхновыми, насыщают космос более тяжелыми элементами. Поэтому ученые так заинтересованы в их изучении. И вот астрономам впервые удалось получить снимок ближайших окрестностей красного сверхгиганта вне Млечного Пути.

19 ноября
Юлия Трепалина

Ученые из Аргентины в серии экспериментов проследили за поведением домашних собак во время разногласий между членами семьи и выявили у четвероногих питомцев ряд характерных реакций на конфликт.

17 ноября
Юлия Позднякова

Евгений Левичев с командой коллег работает над созданием источника синхротронного излучения — по сути большого рентгеновского «микроскопа», с помощью которого геологи, биологи, химики и другие специалисты смогут получить новую и полезную информацию. Задача у Евгения Борисовича непростая — сделать установку с рекордными параметрами: придумать оригинальные технические решения, смоделировать процесс и настроить все наилучшим образом. Член-корреспондент РАН Евгений Борисович Левичев — директор Центра коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ») и заместитель директора Института ядерной физики им. Г. И. Будкера СО РАН (ИЯФ СО РАН).

18 ноября
Дарья Мостовая

Ефим Аркадьевич Хазанов — академик РАН, доктор физико-математических наук, главный научный сотрудник отдела нелинейной и лазерной оптики в Институте прикладной физики им. А.В. Гапонова-Грехова РАН (Нижний Новгород), значимая фигура в российской науке. За 40 лет в науке он внес огромный вклад в развитие лазерной физики и нелинейной оптики — разработал фемтосекундный лазерный комплекс PEARL, предложил идею по созданию мегасайенс проекта XCELS, создал новое направление — термооптику магнитоактивных сред и многое другое. В 2018 году академик Хазанов был удостоен Государственной премии Российской Федерации. Он автор более 350 статей в рецензируемых научных журналах, а его работы были процитированы более 40 тысяч раз. Индекс Хирша Хазанова составляет 79. Ефим Аркадьевич рассказал нам о профессиональном пути, воспитании аспирантов, текущих исследованиях и своей жизни вне науки.

30 октября
Елизавета Александрова

Под рыжим верхним слоем с виду обычного камня открылся целый калейдоскоп довольно неожиданных оттенков. Это особенно интересно с учетом того, где лежит камень — в марсианском кратере, который по всем признакам когда-то был озером.

16 ноября
Evgenia

Международная коллаборация физиков под руководством ученых из Йельского университета в США представила самые убедительные на сегодня подтверждения существования нового типа сверхпроводящих материалов. Доказательство существования нематической фазы вещества — научный прорыв, открывающий путь к созданию сверхпроводимости совершенно новым способом.

31 октября
Татьяна

Органические молекулы с пи-связью образуют очень устойчивые геометрии, которые не любят нарушаться. В 1924 году немецкий химик Юлиус Бредт сформулировал соответствующий запрет, вошедший в учебники химии. Тем не менее это в некоторых случаях возможно. В новой работе американские исследователи представили несколько «антибредтовских» соединений из класса олефинов.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно