• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.11.2019
Никита Шевцов
8 824

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
6 часов назад
Сергей Васильев

Несмотря на тусклое Солнце, атмосфера Юпитера раскаляется до сотен градусов благодаря не стихающим полярным сияниям. Волны аномальной жары быстро уносят тепло дальше к экватору.

5 часов назад
Анатолий Глянцев

Солнце несравнимо ближе к нам, чем любая другая звезда. До него всего восемь световых минут, тогда как до Проксимы Центавра — четыре с лишним световых года. Казалось бы, уж о Солнце-то мы должны знать все и даже больше. Однако не тут-то было. Naked Science рассказывает о загадках, которые все еще таит дневное светило.

Сегодня, 03:25
Анна Новиковская

У бумажных ос, как и у некоторых других общественных насекомых, есть рабочие особи и царица, чья единственная задача — принесение потомства. Если удалить царицу из гнезда, одна из оставшихся ос займет освободившееся место, но почему же тогда в присутствии царицы осы не «бунтуют» и не пытаются занять ее место? Ответ оказался удивительно простым.

23 сентября
Алиса Гаджиева

Ученые обнаружили, что древняя медная промышленность Израильского царства была организована так, что в итоге в ее центре не осталось ни растений, ни самой промышленности.

23 сентября
Анна Новиковская

За последние 50 лет на Аляске образовалось несколько новых термокарстовых озер, чья поверхность пузырится, выделяя в атмосферу метан — мощный парниковый газ. Поскольку такие озера образовались в результате таяния вечной мерзлоты, в ближайшем будущем их может стать еще больше.

23 сентября
Александр Березин

В инфопространство «утекло» нечто очень похожее на документ стратегического исследовательского центра RAND, адресованный в том числе ЦРУ. Автор этого документа утверждает, что конфликт на Украине полезен для Штатов, поскольку позволяет им «раздеть» своих экономических конкурентов — Германию и Францию, — попутно перекачав капитал из еврозоны в США. Действительно ли Вашингтону выгодны крупные финансово-экономические потери еврозоны, связанные с российско-украинским конфликтом? И если это так, то что это значит для России?

16 сентября
Алиса Гаджиева

Геродот в своей «Истории» утверждал, что блоки для пирамиды Хеопса и соседних пирамид доставляли по воде. Но сегодня от Нила до пирамид слишком далеко. Исследование кернов, взятых в пойме реки, позволило понять, как именно решался сложнейший вопрос транспортировки такого строительного материала.

15 сентября
Никита Логинов

Светодиоды потребляют намного меньше энергии, чем традиционные газоразрядные лампы, что должно сократить парниковые выбросы. Но при этом светодиодное освещение угрожает здоровью жителей и разрушает местные экосистемы в городах и селах.

3 сентября
Алиса Гаджиева

В «Кратких сообщениях Института археологии» опубликована статья Михаила Казанского и Анны Мастыковой, в которой авторы обобщили все известное из самых разных источников (от позднеантичных авторов до материалов археологических раскопок) о народе акациры. В результате они не только узнали, где те жили во время Великого переселения народов, но и предположили, как это племя нашло общий язык с соседями.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: