27.11.2019
Никита Шевцов

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 09:23
Сергей Васильев

Биологи обнаружили, что обширные скопления пластика позволяют прибрежным животным осваивать открытое море, прежде для них недоступное, и распространяться по всем уголкам океана.

Позавчера, 12:49
Алиса Гаджиева

У погибшего почти 70 миллионов лет назад хищника была трудная жизнь: помимо обычного набора проблем, таких как схватки с сородичами, он страдал от зубной боли.

Вчера, 15:24
Мария Осетрова

Две международные исследовательские группы опубликовали в журнале Science новые методы детекции инфракрасного света: для этого обе группы предлагают сначала сместить спектр излучения в видимую область. Это позволит разработать недорогие способы обнаружения загрязнений, отслеживания раковых заболеваний, проверки газовых смесей и дистанционного зондирования внешней Вселенной.

Позавчера, 09:23
Сергей Васильев

Биологи обнаружили, что обширные скопления пластика позволяют прибрежным животным осваивать открытое море, прежде для них недоступное, и распространяться по всем уголкам океана.

2 декабря
Василий Парфенов

Пару недель назад Международная космическая станция разменяла 23-й год своего существования на орбите. И хотя далеко не все ее модули насчитывают и десяти лет эксплуатации, конструкция в целом давно вызывает опасения в надежности. В числе прочего американскую сторону особо волнуют недавние неполадки в российском сегменте. Их считают предвестником серьезного препятствия человеческой экспансии в космос — когда мы лишимся важнейшего форпоста на орбите Земли, а замены ему еще не появится.

1 декабря
Мария Азарова

Более низкие уровни интерлейкина-6 — маркера системного воспаления — выявили у людей, которые считали, что готовы предоставлять больше поддержки окружающим, чем получать взамен.

12 ноября
Мария Азарова

Кошки оказывались сбиты с толку, когда их человек, как им казалось, «телепортировался» в новое, неожиданное место. Однако они не реагировали таким же образом на чужих людей или других животных.

25 ноября
НИУ ВШЭ

Мобильные ученые публикуются в индексируемых журналах в два раза чаще. К такому выводу пришли исследователи из НИУ ВШЭ.

Позавчера, 09:23
Сергей Васильев

Биологи обнаружили, что обширные скопления пластика позволяют прибрежным животным осваивать открытое море, прежде для них недоступное, и распространяться по всем уголкам океана.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: