Необычное изобретение, открывающее новые пути визуализации текстовой информации, может перевернуть восприятие людьми литературных произведений. Исследователи мечтают о новом типе аудиовизуальных электронных книг или специальных приложений для смартфонов, обрабатывающих тексты.
Наша система TransProse генерирует на основе электронных книг простые пьесы для фортепиано, содержание которых зависит от эмоций, описанных в тексте.
– Саиф Мохаммед, Национальный научно-исследовательский совет Канады
Основу для TransProse создала Ханна Дэвис, работая над своей магистерской диссертацией во время учебы в Нью-Йоркском университете. Саиф Мохаммед использовал ее программу для определения плотности слов, ассоциируемых с 8 основными эмоциями: ожидание, злость, радость, страх, отвращение, печаль, удивление и доверие.
Хотя и до этого проводились исследования по анализу эмоций в текстах или по автоматическому созданию музыки, TransProse – первая программа, объединяющая оба направления.
Мы создали первую в мире систему, которая автоматически создает музыкальные произведения, основанные на содержании книг. В TransProse задействован оригинальный механизм, определяющий последовательности нот по эмоциям, указанным в тексте.
– Саиф Мохаммед, Национальный научно-исследовательский совет Канады
Исследователи создали алгоритм по обработке баз данных, который распределяет слова соответственно их эмоциональной ценности, тем самым проводя анализ чувств в тексте и определяя его «эмоциональную температуру».
Например, будет ли мелодия мажорной или минорной зависит от соотношения количества положительных и отрицательных слов друг к другу; основная тональность базируется на разнице между плотностью выражений радости и печали во всем романе.
Изобретателям уже удалось создать с помощью TransProse целый ряд саундтреков на основе таких известных книг, как «Питер Пен» Джеймса Барри, «Заводной апельсин» Энтони Берджесса и «Дорога» Кормака Маккарти.
Еще больше примеров «книжной музыки» можно прослушать на сайте TransProse.
Hi-Tech
Илон Маск
