Новая технология позволила видеть мемы людям с нарушениями зрения — Naked Science
4 минуты
Никита Шевцов

Новая технология позволила видеть мемы людям с нарушениями зрения

Ученые разработали алгоритм, определяющий мемы с помощью предварительно написанных шаблонов и генерирующий текст для их описания, который затем можно озвучить.

Создана технология для озвучки мемов
Создана технология для озвучки мемов

Люди с нарушениями зрения используют социальные сети, как и все остальные, часто с помощью программного обеспечения для чтения с экрана. Но этой технологии не хватает, когда она сталкивается с мемами, которые не содержат альтернативного текста для описания того, что изображено на картинках. 

«Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания, — говорит один из авторов работы Джефф Бигэм, сотрудник Университета Карнеги — Меллона. — Многие люди используют мемы, и поэтому они должны быть доступны».

В своей работе, представленной на конференции ASSETS, авторы использовали методы компьютерного зрения, чтобы описать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста. 

Для каждого типа мема необходимо было создать только один шаблон, описывающий изображение, после чего программе оставалось проанализировать наложенный на изображение текст. Но описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для некоторых картинок ученым удалось подобрать точное описание, а другие пришлось исключить из программы. 

Команда также создала платформу для перевода мемов в звук, а не в текст. Пользователи выполняют поиск по звуковой библиотеке и перетаскивают элементы в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

Еще сложнее, по словам авторов работы, внедрить эту технологию в реальный мир. Для этого им, похоже, придется убедить такие крупные социальные сети, как Twitter и Facebook, добавить функцию озвучивания мемов в свою платформу. А это очень непросто.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сегодня, 09:31
5 минут
Сергей Васильев

Микроскоп с высокоскоростной камерой и компьютерное моделирование показали, что сперматозоиды плавают не за счет боковых движений хвоста, а быстро вращаясь всем телом.

9 часов назад
6 минут
Мария Кривоченко

Это крупнейшее исследование ДНК людей, живущих в Северной и Южной Америке. Оно показывает, откуда в США появились рабы, и раскрывает детали жестокого обращения с ними.

Сегодня, 09:34
3 минуты
Сергей Васильев

Новый метод позволил сделать немагнитный пирит ферромагнетиком, подходящим для использования в электронике и солнечных батареях.

Сегодня, 09:31
5 минут
Сергей Васильев

Микроскоп с высокоскоростной камерой и компьютерное моделирование показали, что сперматозоиды плавают не за счет боковых движений хвоста, а быстро вращаясь всем телом.

Вчера, 11:27
35 минут
Александр Березин

На планете разворачивается новая лунная гонка. Российская космическая отрасль пытается обозначить участие в ней, патентуя многопусковой полет к спутнику Земли. Очевидно, что это лишь суррогат сверхтяжелых ракет, которых мы пока не строим. США, напротив, активно разрабатывают сразу два сверхтяжа – но и там не все гладко. Их лунная программа может испытать сильнейший удар в ближайший год. Скептики считают, что усилия всех участников гонки бесполезны. Мол, пилотируемые полеты к другим небесным телам не нужны, ибо дороги. Автоматы смогут все сделать намного дешевле. На деле лунная программа, как мы покажем ниже, не дороже полетов к МКС. Да и автоматы не дадут нам ничего подобного результатам пилотируемой лунной экспедиции. Попробуем разобраться почему.

29 июля
7 минут
Мария Азарова

По мнению авторов новой работы, вертикальное сельское хозяйство позволит удовлетворить спрос на продукты питания, который значительно возрастет к середине-концу столетия. Благодаря вертикальным установкам можно будет повысить урожайность пшеницы в сотни раз, использовать повторно воду для полива и не зависеть от погоды.

6 июля
5 минут
Мария Азарова

Ученые, работающие с крупнейшим в мире радиотелескопом, сообщили об обнаружении эмиссии нейтрального водорода, исходящей от объектов за пределами нашей Галактики.

22 июля
66 минут
Александр Березин

С 2064 года численность людей начнет сокращаться — и этот процесс может быть необратим. Один из авторов соответствующей научной работы прямо указывает: если ничего не изменится, через несколько веков человечество вымрет. Однако есть вещи и похуже вымирания. Куда вероятнее иной сценарий: мир будет заселен теми, кто сможет размножаться в новых культурных условиях. К сожалению, значительная часть современных европейцев, американцев и, возможно, других народов будут вытеснены с первых страниц истории. Вдобавок те, кто победят в этой непростой борьбе, нам, сегодняшнему населению Земли, могут сильно не понравиться. Попробуем разобраться почему.

10 июля
7 минут
Мария Кривоченко

Биологи выяснили, какое воздействие оказывают радиоволны на эмбрионы рыб. Оказалось, они существенно не влияют на уровень смертности, морфологию и реакцию на свет, но немного подавляют сенсомоторные функции. Как это скажется на взрослых особях, еще предстоит выяснить.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: