• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.08.2018
Редакция Naked Science
633

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia / Автор: Артем Фомин

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Сегодня, 12:08
Андрей

Группа ученых проанализировала пищевые привычки шерстистых мамонтов, а также оценила количество биомассы в северных районах и выяснила, сколько таких гигантов смогла бы прокормить современная Северная Аляска.

Сегодня, 11:07
УрФУ

Уральские ученые выяснили, что люди старшего возраста, принимающие пищу с достаточным содержанием мелатонина, имеют более высокую удовлетворенность жизнью и положительный эмоциональный фон. Кроме того, по словам исследователей, мелатонин снижает риск развития онкологических, сердечно-сосудистых и нейродегенеративных заболеваний и, как следствие, улучшает качество жизни человека.

8 часов назад
Александр Березин

Получив ранение лица, взрослый дикий орангутан Ракус тщательно обработал его растением с анальгетическими, противовоспалительными и жаропонижающими свойствами. Ранее такое поведение животных ученые не отмечали. Авторы новой научной работы предположили, что подобные умения появились еще у общего предка людей и других человекообразных обезьян.

27 апреля
Редакция Naked Science

Первый эпизод рассказывает об исследователе, который посещает различные планеты в поисках инопланетной жизни. Видео переведено на русский специально для Naked Science.

29 апреля
Редакция Naked Science

Третий эпизод показывает ситуацию на Земле будущего в то самое время, когда передовые отряды человечества пытаются колонизировать другие миры. Похоже, энтузиазм исследователей в мире сериала возник не от оптимизма, а от жестокой необходимости. Видео переведено на русский специально для пользователей Naked Science.

29 апреля
Полина Меньшова

Память устроена не так, как предполагают большинство людей исходя из субъективного опыта. Улучшить ее и перестать забывать о рутинных действиях помогут специальные техники, рассказали психологи из США в новой книге.

24 апреля
Ольга Иванова

Ученые из Австралии и Канады пришли к выводу, что подавляющее большинство одиноких людей не вступает в романтические отношения из-за страха. С одной стороны ими руководят опасения, что их отвергнут, с другой — что они потеряют свою независимость.

8 апреля
Василий Парфенов

Режим работы, количество трудовых часов в неделю и экономическую стабильность профессии прочно ассоциируют с благополучием человека. Количественно и качественно определить эти взаимосвязи получается редко — нужны большие выборки респондентов и длительное время наблюдений. Автор новой научной работы использовал долговременное исследование более чем семи тысяч американцев, чтобы выявить основные эффекты паттернов трудовой деятельности на психическое и физическое здоровье работающих людей.

17 апреля
НИУ ВШЭ

Северный Кавказ играл ключевую роль в древней колонизации Евразии и формировании ее культурного и генетического наследия, однако до сих пор не до конца изучена генетическая история носителей местных культур. Ученые впервые провели глубокое секвенирование древней ДНК представителей кобанской культуры, сформировавшейся в позднем бронзовом веке на Северном Кавказе, и сравнили ее с генетическими данными современных народов Кавказа. Результаты работы подтвердили роль носителей кобанской культуры как древнего генетического моста между бронзовым и железным веками на Северном Кавказе.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: