Эксперты о квантовых компьютерах
Подробнее
09.01.2019
Редакция Naked Science

Новая система позволит генерировать тексты песен, которые повторяют стиль конкретных артистов

Сотрудники Университета Ватерлоо, Канада, разработали систему для создания текстов песен, которые соответствуют стилю определенных музыкальных исполнителей. По их словам, она призвана не заменить артистов, а, наоборот, помочь им.

0_126bee_255b69a5_orig
©Wikipedia

Подход ученых, изложенный в статье, которая опубликована на arXiv.org, использует вариационный автокодировщик (variational autoencoder, VAE) с вложениями артистов и классификатор CNN, обученный имитировать стиль артистов по MEL-спектрограммам их музыкальных клипов.

 

«Мотивация для этого проекта зарождалась из личных интересов. Музыка – моя страсть, и мне было любопытно, может ли машина генерировать строки, которые бы звучали как тексты моих любимых музыкальных исполнителей. Работая над моделями генерации текста, мы с коллегами обнаружили, что нейронные сети могут генерировать некоторые весьма впечатляющие строчки. Следующим естественным шагом для нас стала попытка выяснить, может ли машина изучить «сущность» лирического стиля конкретного музыкального исполнителя, включая выбор слов, темы и структуры предложений, для создания новых текстов, которые звучат так же, как если бы их написал сам артист», – рассказывает ведущий автор исследования Ольга Вечтомова.

 

Система, разработанная исследователями, основана на модели нейронной сети, которая известна как вариационный автокодировщик, способная к самообучению путем восстановления оригинальных строк текста. Чтобы сгенерировать строчки в стиле конкретного исполнителя, ученые предоставили нейросети для изучения большой каталог текстов артистов, выраженный через действительные числа. Затем исследователи интегрировали тексты исполнителей, чтобы система смогла разобрать особый стиль каждого творца. Цель ученых заключалась в том, чтобы сгенерированные произведения отличались не только в лирическом, но и музыкальном стиле.

 

Два стихотворения, сгенерированные системой и включенные в сборник, представлены на семинаре NeurIPS 2018. Вечтомова создала каждое стихотворение, выбрав строки, сгенерированные VAE, и расположив их художественно значимым образом. Редактирование отдельных строк не производилось, за исключением добавления заглавных букв и знаков препинания / © Olga Vechtomova

 

В серии предварительных тестов разработанная система продемонстрировала замечательные результаты. Результаты показали, что интеграция артиста полезна для создания текстов, которые соответствуют его стилю. Многие строчки, сгенерированные системой, весьма соответствовали выбранному исполнителю, отражая те темы, которые тот обычно поднимает в своем творчестве. Хотя сгенерированные строчки часто содержали слова исходного исполнителя, они использовались в новом, интересном ключе, выражая новые мысли, которых нет в оригинальном тексте. По словам Вечтомовой, некоторые из созданных строк передают новые и довольно мощные поэтические образы, выраженные с использованием метафор и оксюморонов, при этом сохраняя стиль артиста.

 

«Система предназначена не для того, чтобы заменить музыкальных исполнителей, а для того, чтобы те могли использовать ее в качестве источника вдохновения в процессе написания песен. Это может быть аналогом синтезатора, который способен генерировать бесконечное количество звуков, из которого художник затем создает песню. Точно так же этот инструмент может генерировать бесконечное количество новых строк, которые художники могут использовать любым способом», – объясняет ученый.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
6 часов назад
Мария Азарова

Все образцы продукции популярных ресторанов быстрого питания, протестированные американскими учеными, содержали один или несколько видов фталатов либо других пластификаторов.

Вчера, 05:30
Мария Азарова

Ученые из Швейцарии и Германии сделали неожиданный вывод: катехины зеленого чая не подавляют окислительный стресс, а способствуют ему. Однако на этом их действие не заканчивается.

Вчера, 17:42
Мария Осетрова

Смоделировав динамику перемещения песчаных дюн в лаборатории, ученые из Кембриджа определили, какие препятствия пропускают дюны сквозь себя, а какие, напротив, их останавливают.

25 октября
Мария Азарова

Американские исследователи оценили вероятность повторного заражения коронавирусами SARS-CoV, HCoV-229E, HCoV-OC43, HCoV-NL63 и особенно SARS-CoV- 2.

Вчера, 05:30
Мария Азарова

Ученые из Швейцарии и Германии сделали неожиданный вывод: катехины зеленого чая не подавляют окислительный стресс, а способствуют ему. Однако на этом их действие не заканчивается.

22 октября
Александр Березин

Повелители тундростепей Евразийского континента, оказывается, вовсе не вымерли с концом ледникового периода. Вопреки тому, что считалось ранее, они выжили — как минимум на Таймыре и как минимум до 1900 года до нашей эры. А это на много веков позже постройки пирамиды Хеопса. Получается, человек не привел мамонта к вымиранию? Или, напротив, нашел затерянные на Таймыре остатки вида и уничтожил их совсем недавно? Это сложный вопрос, от которого зависит ответ на другой: могут ли слоны заселить Север России и в наши дни?

13 октября
Мария Азарова

Анализ образцов крови, взятых у российских космонавтов до и после их полета на МКС, показал, что длительное пребывание в космосе может провоцировать повреждение мозга.

12 октября
Алиса Гаджиева

Две тысячи лет назад многие сооружения строили лучше, чем сегодня.

18 октября
Елена Синицкая

На днях израильский ныряльщик обнаружил на дне Средиземного моря у Хоф-ха-Кармель древние предметы, среди которых оказался меч удивительной сохранности. По мнению специалистов Израильского управления древностей, железный меч с клинком около одного метра и 30-сантиметровой рукоятью принадлежал крестоносцу и датируется XII веком.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: