• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
27.11.2019
Никита Шевцов
8 875

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов / Автор: Caristania Fabricius

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
6 часов назад
Полина Меньшова

Распространено мнение, что, чем чаще пара занимается сексом, тем сильнее каждый из партнеров доволен отношениями. Международная команда исследователей проверила этот тезис.

Позавчера, 13:32
Березин Александр

Ведущая космическая компания планеты предложила Пентагону «подписку» на услуги крупной спутниковой группировки. Она станет крупнейшим созвездием космических аппаратов, построенным в военных целях. Однако данные об этом исходят от информационного агентства Reuters, которое неоднократно публиковало фейки о компаниях Илона Маска.

Позавчера, 09:17
Любовь

Примерно 41-42 тысячи лет назад на Земле произошел кратковременный сдвиг магнитных полюсов, который мог способствовать вымиранию неандертальцев, но не Homo sapiens — их выживание авторы нового исследования связали с появлением теплой одежды и добычей охры.

16 апреля
ПНИПУ

Современное сельское хозяйство сталкивается с серьезными экологическими и агротехническими проблемами, которые связаны с использованием традиционных минеральных удобрений. Большинство из них быстро растворяются, вымываются из почвы и загрязняют водоемы, вызывая гибель экосистем. Ученики Политехнической школы под руководством ученых Пермского Политеха разработали удобрение нового состава: оно не только повышает урожайность, но также дольше действует и снижает нагрузку на окружающую среду.

15 апреля
НовГУ

Оснащенные высокочувствительными датчиками, разработанные новгородцами перчатки, будут отслеживать малейшее движение пальцев и кистей рук и проводить операции с помощью VR-симулятора. Это позволит вывести качество медицинского образования и станет помощником для практикующих хирургов.

15 апреля
ПНИПУ

В крупных компаниях для того, чтобы обслуживать оборудование, инженерам и аналитикам часто приходится разбираться в огромном количестве данных. Например, чтобы избежать поломок и вовремя ремонтировать оборудование, нужно понять, что сильнее влияет на появление дефектов: температура, вибрация или износ? Для этого специалисты занимаются анализом данных с применением технологий машинного обучения, однако это сложные области, которые требуют глубоких знаний программирования и математики. Ученые из Пермского Политеха создали программу в виде электронной книги, которая помогает легко разобраться в основах классификации данных. Она уже успешно применяется в обучении студентов высшей школы авиационного двигателестроения.

8 апреля
Березин Александр

До 13 тысяч лет назад в Северной Америке жил вид, который ученые до недавнего времени считали волком. Компания Colossal Biosciences объявила о возрождении этого вымершего вида, но биологические детали ставят ее заявление под серьезное сомнение.

2 апреля
Березин Александр

Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.

9 апреля
Unitsky String Technologies Inc.

Инженеры компании Unitsky String Technologies Inc. разработали несколько вариантов транспортно-инфраструктурных комплексов, способных значительно улучшить пассажирское сообщение в городах, расположенных по обеим берегам крупных водных артерий. Обычно такие мегаполисы сталкиваются с необходимостью строительства дорогих капитальных сооружений — шоссейных мостов, что не всегда подъемно для городского бюджета. Решение белорусских инженеров куда менее ресурсоемкое. Для примера возьмем Ростов-на-Дону, где есть запрос на устойчивое сообщение между левобережной частью города с историческим центром.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно