• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.11.2019
Никита Шевцов
8 847

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 13:12
Ольга Иванова

Исследователи из Швеции и Великобритания узнали, что «правило деревьев» да Винчи, который считал, что толщина всех веток дерева на любой его высоте, сложенная вместе, равна толщине ствола, ошибочно на микроуровне.

Вчера, 16:31
Igor

Международная группа биологов узнала, сколько родов животных за последние пять веков перестали существовать из-за деятельности человека и во сколько раз люди ускорили вымирание позвоночных.

Вчера, 15:05
Дарья

Распространенное мнение о том, что подавление негативных мыслей может быть вредным и даже опасным для психического здоровья, признали ошибочным. К такому выводу пришли ученые из Кембриджского университета (Великобритания).

Позавчера, 13:12
Ольга Иванова

Исследователи из Швеции и Великобритания узнали, что «правило деревьев» да Винчи, который считал, что толщина всех веток дерева на любой его высоте, сложенная вместе, равна толщине ствола, ошибочно на микроуровне.

Позавчера, 18:00
Алиса Гаджиева

Древние представители рода Homo жили около водопада Каламбо в Южной Африке 476 тысяч лет назад. К такому выводу пришли британские ученые, рассказавшие о самом раннем случае обработки древесины в строительных целях.

18 сентября
JuliaT

Людям, работающим посменно, студентам во время сессии и молодым родителям часто приходится не спать по ночам. Новое исследование показало, что усталость и сонливость после вынужденного бдения можно побороть с помощью специальной стратегии отдыха.

31 августа
Сергей Васильев

Вопреки предсказаниям, кислород-28 оказался крайне неустойчивым. Физики не успели даже зарегистрировать такие ядра, хотя теоретически они должны быть дважды магическими, а значит — особенно стабильными.

31 августа
Дарья Губина

Тотальная память — плохо для мозга. Чтобы детально запомнить событие, стоит о нем вспоминать как можно реже. Чем больше вы знаете по теме, тем больше новой информации вы запомните. Но если информации будет слишком много, то не вся она будет зафиксирована в мозге. Naked Science разбирается, как сегодня ученые, нейробиологи и психологи объясняют способности нашего мозга запоминать и учиться.

24 августа
Сергей Васильев

Двадцать лет спустя после завершения проекта «Геном человека» ученые продолжают восполнять оставленные им пробелы. Недавно им удалось установить последовательность мужской половой хромосомы, особенно трудной для секвенирования.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: