Все, что вы хотели знать об ИИ, — в специальном проекте Naked Science!
Перейти
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.08.2018
Редакция Naked Science
565

Инженеры MIT научили нейросеть качественно разделять объекты на фотографии

Технология позволяет заменять фон, предметы или их части, не оставляя артефактов.

giphy
©Wikipedia

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика (Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.

 

В своей статье они ссылаются на несколько уже известных способов выделения объектов. Один из них — soft segmentation. Суть метода в том, что изображение разделяется на несколько сегментов, где каждый пиксель может принадлежать сразу нескольким сегментам. Авторы отмечают, что он полезен при изменении цветов, но не учитывает границы между объектами.

 

С другой стороны, метод, названный semantic segmentation, использует нейронную сеть для того, чтобы определять типы объектов и выделять их на фотографии. Разработчики не ставили цель создать систему, которая бы проводила разделение на основе классификации. Они объединили два перечисленных метода, но присвоили алгоритму способность выделять объекты, основываясь на границах между ними.

 

MITCSAIL

 

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

 

ACM Transactions on Graphics

 

Несмотря на очевидный прогресс, разработчики выделяют существующие ограничения. Главное из них — время обработки. Для анализа изображения с разрешением 640×480 требуется три-четыре минуты. В последующем они собираются уменьшить этот показатель.

 

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, которая способна представлять трехмерное окружение по одному двухмерному снимку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 15:40
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

Вчера, 09:40
Александр Березин

Также это повышает шансы на вовлечение волка в другие виды рискованной деятельности. Работа может иметь прикладное значение и для человеческих обществ, поскольку сходное влияние известно и для людей.

Позавчера, 19:19
Анна Новиковская

В то время как основные мировые языки со временем упрощают письменность, существует одно яркое исключение: китайский язык. За свою историю, насчитывающую три тысячелетия, его система письма становилась только сложнее и до сих пор остается крайне сложной для изучения.

19 ноября
Анна Новиковская

В последний раз черношейного фазанового голубя видели еще в 1882 году, и с тех пор ученые не знали, живет ли еще в лесах острова Фергуссон эта красивая птица. Теперь, наконец, им повезло: одна из камер запечатлела представителя редчайшего подвида фазановых голубей.

Позавчера, 15:40
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

Позавчера, 19:19
Анна Новиковская

В то время как основные мировые языки со временем упрощают письменность, существует одно яркое исключение: китайский язык. За свою историю, насчитывающую три тысячелетия, его система письма становилась только сложнее и до сих пор остается крайне сложной для изучения.

1 ноября
Анна Новиковская

Когда мы представляем взаимодействие неандертальцев с нашими предками, первобытными людьми, то обычно думаем об агрессивных стычках и конкуренции на охоте. Однако теперь ученые выяснили, что два вида людей взаимодействовали на протяжении как минимум 200 тысяч лет — это слишком долгий срок для активных военных действий, но достаточный для постепенного «растворения» одного вида в другом.

19 ноября
Анна Новиковская

В последний раз черношейного фазанового голубя видели еще в 1882 году, и с тех пор ученые не знали, живет ли еще в лесах острова Фергуссон эта красивая птица. Теперь, наконец, им повезло: одна из камер запечатлела представителя редчайшего подвида фазановых голубей.

13 ноября
Анна Новиковская

Беспилотный орбитальный самолет США завершил свою шестую миссию и приземлился рано утром в субботу. Он провел в космосе рекордные 908 дней, все это время обеспечивая себя энергией благодаря солнечным батареям.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: