Новая технология позволила видеть мемы людям с нарушениями зрения — Naked Science
27.11.2019
4 минуты
Никита Шевцов
957

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

Вчера, 12:35
7 минут
ФизТех

Российские ученые из МФТИ, ФТИАН и ИТМО создали нейросеть, которая научилась предсказывать поведение квантовой системы, «взглянув» на ее схему. Такая нейросеть самостоятельно находит те решения, которые хорошо подходят для демонстрации квантовых преимуществ. Это поможет исследователям разрабатывать эффективные квантовые компьютеры.

Вчера, 12:24
7 минут
ТГУ

Старший научный сотрудник лаборатории «Гербарий» БИ ТГУ Вера Костикова совместно с новосибирскими коллегами выявила ценные лекарственные свойства у спиреи – кустарника, используемого в озеленении городов и дачных участков. Фитохимическое исследование показало, что растение обладает противовирусной и антиоксидантной активностью, что делает его перспективным для использования в медицине.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

11 января
23 минуты
Редакция

Если вы думаете, что вам несвойственны предрассудки, значит, наверняка им-то вы и подвержены. Если думаете, что когнитивные искажения (то есть систематические ошибки в мышлении) это не про вас, следовательно, в вас сидит одно из таких искажений – под названием «наивный реализм»: склонность воспринимать свое мнение как объективное, а мнение других – как полное когнитивных искажений. Какие же ошибки мышления бывают? Их очень много – психологи выделяют больше сотни. Мы расскажем о самых интересных и наиболее распространенных.

13 января
7 минут
Сергей Васильев

Прямые улицы неолитических деревень Центральной Европы неизменно слегка поворачивают налево: ученые связывают это с особенностями работы человеческого зрения, о которых не подозревали строители каменного века.

Вчера, 16:05
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

20.12.2019
24 минуты
Ольга Иванова

На самом деле, на логотипе этих гаджетов вовсе не яблоко, а контаминация знаков птицы и огня. Потому что символ компании VinSmart, входящей в корпорацию VinGroup, — энергия, устремленная ввысь. Это настоящее вьетнамское чудо, выросшее на продаже лапши быстрого приготовления, а теперь имеющее сеть супермаркетов, отелей, школ, производящее автомобили, кондиционеры, телевизоры, электроскутеры, умные дома и смартфоны для местного населения. Впрочем, не только для местного — гаджеты от VinGroup уже вышли на российский рынок. Naked Science побывал на заводе во Вьетнаме и узнал все о том, как их делают.

7 января
44 минуты
Александр Березин

Вашингтон и Тегеран близки к войне как никогда за последние годы. Но, скорее всего, США не пойдут дальше ограниченных ударов. Слишком уж неприятные последствия имели предшествующие силовые операции Штатов в Иране. Попробуем разобраться, что именно их остановит на этот раз.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: