Новая технология позволила видеть мемы людям с нарушениями зрения — Naked Science
4 минуты
Никита Шевцов

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 15:09
7 минут
Василий Парфенов

Пусть романтика мирного атома с середины 1960-х поутихла, к идее использования ядерных реакторов в «гражданских» целях все равно возвращаются регулярно. Новый ядерный ракетный двигатель (ЯРД) позволит доставить человека на Марс гораздо быстрее, чем это возможно сейчас.

Вчера, 21:37
8 минут
Мария Азарова

Исследование показало, что цитотоксические Т-клетки (Т-лимфоциты) опосредуют вызванное физическими нагрузками замедление роста опухоли.

4 часа назад
9 минут
Мария Азарова

К такому выводу пришли сотрудники NASA, а авторы другого исследования рассказали, где именно на спутнике Земли может сохраняться водяной лед — в еще больших количествах, чем считалось ранее.

Вчера, 12:18
4 минуты
Денис Гордеев

Временные промежутки между посещениями дантиста могут составлять от трех месяцев до двух лет, в зависимости от индивидуальных факторов.

Вчера, 15:09
7 минут
Василий Парфенов

Пусть романтика мирного атома с середины 1960-х поутихла, к идее использования ядерных реакторов в «гражданских» целях все равно возвращаются регулярно. Новый ядерный ракетный двигатель (ЯРД) позволит доставить человека на Марс гораздо быстрее, чем это возможно сейчас.

Вчера, 09:29
4 минуты
Сергей Васильев

Новое исследование продемонстрировало, что различия в составе микрофлоры у страдающих аутизмом нарушает ее способность нейтрализовать токсины и может вести к массовому повреждению митохондрий.

28 сентября
29 минут
Александр Березин

Сентябрь 2020 года принес в Закавказье войну — столкновение Азербайджана и Нагорного Карабаха получило большой размах, общее число жертв, судя по всему, уже перевалило за сотню, а Ереван и Баку объявили мобилизацию (в Азербайджане — частичную). Объективного смысла в войне для самих участников нет. Баку не победит, но и Армения от конфликта ничего не выиграет. Пользу конфликт, однако, объективно принесет Турции, а также тем, кто поставляет в Азербайджан оружие. Возникает вопрос: почему война оказалась возможна, несмотря на дружественную позицию России к Армении, и зачем на нее пошли в Баку? И есть ли у Еревана разумный выход из назревающей бойни?

20 октября
4 минуты
Сергей Васильев

Глубоко в носоглотке ученые обнаружили новую — четвертую — пару крупных слюнных желез, о существовании которой ранее никто не подозревал.

16 октября
6 минут
Денис Гордеев

Люди со второй и четвертой группами крови с большей вероятностью переболеют Covid-19 в тяжелой форме.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: