Новая система позволит генерировать тексты песен, которые повторяют стиль конкретных артистов — Naked Science
09.01.2019
6 минут
Редакция
121

Новая система позволит генерировать тексты песен, которые повторяют стиль конкретных артистов

Сотрудники Университета Ватерлоо, Канада, разработали систему для создания текстов песен, которые соответствуют стилю определенных музыкальных исполнителей. По их словам, она призвана не заменить артистов, а, наоборот, помочь им.

0_126bee_255b69a5_orig

Подход ученых, изложенный в статье, которая опубликована на arXiv.org, использует вариационный автокодировщик (variational autoencoder, VAE) с вложениями артистов и классификатор CNN, обученный имитировать стиль артистов по MEL-спектрограммам их музыкальных клипов.

 

«Мотивация для этого проекта зарождалась из личных интересов. Музыка – моя страсть, и мне было любопытно, может ли машина генерировать строки, которые бы звучали как тексты моих любимых музыкальных исполнителей. Работая над моделями генерации текста, мы с коллегами обнаружили, что нейронные сети могут генерировать некоторые весьма впечатляющие строчки. Следующим естественным шагом для нас стала попытка выяснить, может ли машина изучить «сущность» лирического стиля конкретного музыкального исполнителя, включая выбор слов, темы и структуры предложений, для создания новых текстов, которые звучат так же, как если бы их написал сам артист», – рассказывает ведущий автор исследования Ольга Вечтомова.

 

Система, разработанная исследователями, основана на модели нейронной сети, которая известна как вариационный автокодировщик, способная к самообучению путем восстановления оригинальных строк текста. Чтобы сгенерировать строчки в стиле конкретного исполнителя, ученые предоставили нейросети для изучения большой каталог текстов артистов, выраженный через действительные числа. Затем исследователи интегрировали тексты исполнителей, чтобы система смогла разобрать особый стиль каждого творца. Цель ученых заключалась в том, чтобы сгенерированные произведения отличались не только в лирическом, но и музыкальном стиле.

 

Два стихотворения, сгенерированные системой и включенные в сборник, представлены на семинаре NeurIPS 2018. Вечтомова создала каждое стихотворение, выбрав строки, сгенерированные VAE, и расположив их художественно значимым образом. Редактирование отдельных строк не производилось, за исключением добавления заглавных букв и знаков препинания / © Olga Vechtomova

 

В серии предварительных тестов разработанная система продемонстрировала замечательные результаты. Результаты показали, что интеграция артиста полезна для создания текстов, которые соответствуют его стилю. Многие строчки, сгенерированные системой, весьма соответствовали выбранному исполнителю, отражая те темы, которые тот обычно поднимает в своем творчестве. Хотя сгенерированные строчки часто содержали слова исходного исполнителя, они использовались в новом, интересном ключе, выражая новые мысли, которых нет в оригинальном тексте. По словам Вечтомовой, некоторые из созданных строк передают новые и довольно мощные поэтические образы, выраженные с использованием метафор и оксюморонов, при этом сохраняя стиль артиста.

 

«Система предназначена не для того, чтобы заменить музыкальных исполнителей, а для того, чтобы те могли использовать ее в качестве источника вдохновения в процессе написания песен. Это может быть аналогом синтезатора, который способен генерировать бесконечное количество звуков, из которого художник затем создает песню. Точно так же этот инструмент может генерировать бесконечное количество новых строк, которые художники могут использовать любым способом», – объясняет ученый.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 14:48
26 минут
Александр Березин

Земная атмосфера 2,7 миллиарда лет назад состояла в основном из углекислого газа — и было его там до тысячи раз больше, чем сегодня. При этом азота почти не было, хотя сегодня его в воздухе 78%. Выходит, наша газовая оболочка по составу была близка к марсианской. Как ни странно, эти дела давно минувших дней актуальны для ответа на вопрос о будущем выживании человечества. Похоже, предсказание Стивена Хокинга о гибели всего живого из-за превращения Земли в Венеру не сбудется. Разбираемся, почему так и как одно связано с другим.

Вчера, 13:56
4 минуты
Илья Ведмеденко

Американские военные пришли к выводу, что новейший эсминец можно эксплуатировать в условиях больших волн. Безопасность корабля в значительной степени объясняется его конструкцией, обеспечивающей малозаметность.

5 часов назад
24 минуты
Александр Березин

Недавняя научная работа предрекла серьезную эпидемию коронавируса 2019-nCoV. Согласно ей, 95% зараженных еще не зарегистрированы властями, а значит, через пару недель в одной Ухани будут сотни тысяч заболевших. При наблюдаемой смертности от вируса в 2,36% — это многие тысячи погибших. На самом деле, новая работа скорее «ловит хайп» или, если угодно, пытается держать мир настороже, чем описывает реальную эпидемию. Последние данные по заразности коронавируса показывают: он действительно неблестяще передается от человека к человеку. Для эпидемии в Китае этого достаточно, но большое число жертв за пределами этой страны маловероятно. Выясняем почему.

25 января
3 минуты
Денис Гордеев

Вирус, который уже унес жизни 41 человека, породил новую волну популярности игры 2012 года.

24 января
35 минут
Александр Березин

Новый коронавирус — «родственник» старой атипичной пневмонии — уже привел к смерти 26 человек. Считается, что им может быть заражено несколько тысяч. И точно известно, что эпидемия вышла за пределы Китая. Но это не повод впадать в панику. Мы собрали всю известную информацию и попробовали ответить на главные вопросы о новой болезни.

Позавчера, 14:48
26 минут
Александр Березин

Земная атмосфера 2,7 миллиарда лет назад состояла в основном из углекислого газа — и было его там до тысячи раз больше, чем сегодня. При этом азота почти не было, хотя сегодня его в воздухе 78%. Выходит, наша газовая оболочка по составу была близка к марсианской. Как ни странно, эти дела давно минувших дней актуальны для ответа на вопрос о будущем выживании человечества. Похоже, предсказание Стивена Хокинга о гибели всего живого из-за превращения Земли в Венеру не сбудется. Разбираемся, почему так и как одно связано с другим.

16 января
5 минут
Илья Ведмеденко

Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.

25 января
3 минуты
Денис Гордеев

Вирус, который уже унес жизни 41 человека, породил новую волну популярности игры 2012 года.

18 января
26 минут
Александр Березин

Многие считают зимнее купание «церковным обычаем». Однако на деле Церковь всегда выступала против него, считая нехристианским, и вредным для здоровья. При всей внешней разумности этой позиции, на самом деле, такие купания могут быть даже полезны — но не для всех. Выясняем, как именно и почему.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: