Новая форма искусства: романы, превращенные в музыку

Необычное изобретение, открывающее новые пути визуализации текстовой информации, может перевернуть восприятие людьми литературных произведений. Исследователи мечтают о новом типе аудиовизуальных электронных книг или специальных приложений для смартфонов, обрабатывающих тексты. 

Наша система TransProse генерирует на основе электронных книг простые пьесы для фортепиано, содержание которых зависит от эмоций, описанных в тексте.

– Саиф Мохаммед, Национальный научно-исследовательский совет Канады

Основу для TransProse создала Ханна Дэвис, работая над своей магистерской диссертацией во время учебы в Нью-Йоркском университете. Саиф Мохаммед использовал ее программу для определения плотности слов, ассоциируемых с 8 основными эмоциями: ожидание, злость, радость, страх, отвращение, печаль, удивление и доверие.

Хотя и до этого проводились исследования по анализу эмоций в текстах или по автоматическому созданию музыки, TransProse – первая программа, объединяющая оба направления.

Мы создали первую в мире систему, которая автоматически создает музыкальные произведения, основанные на содержании книг. В TransProse задействован оригинальный механизм, определяющий последовательности нот по эмоциям, указанным в тексте.

– Саиф Мохаммед, Национальный научно-исследовательский совет Канады

Исследователи создали алгоритм по обработке баз данных, который распределяет слова соответственно их эмоциональной ценности, тем самым проводя анализ чувств в тексте и определяя его «эмоциональную температуру».

Например, будет ли мелодия мажорной или минорной зависит от соотношения количества  положительных и отрицательных слов друг к другу; основная тональность базируется на разнице между плотностью выражений радости и печали во всем романе.

Изобретателям уже удалось создать с помощью TransProse целый ряд саундтреков на основе таких известных книг, как «Питер Пен» Джеймса Барри, «Заводной апельсин» Энтони Берджесса и «Дорога» Кормака Маккарти.

Еще больше примеров «книжной музыки» можно прослушать на сайте TransProse.