Новая система позволит генерировать тексты песен, которые повторяют стиль конкретных артистов — Naked Science
6 минут
Редакция

Новая система позволит генерировать тексты песен, которые повторяют стиль конкретных артистов

Сотрудники Университета Ватерлоо, Канада, разработали систему для создания текстов песен, которые соответствуют стилю определенных музыкальных исполнителей. По их словам, она призвана не заменить артистов, а, наоборот, помочь им.

0_126bee_255b69a5_orig
©Wikipedia

Подход ученых, изложенный в статье, которая опубликована на arXiv.org, использует вариационный автокодировщик (variational autoencoder, VAE) с вложениями артистов и классификатор CNN, обученный имитировать стиль артистов по MEL-спектрограммам их музыкальных клипов.

 

«Мотивация для этого проекта зарождалась из личных интересов. Музыка – моя страсть, и мне было любопытно, может ли машина генерировать строки, которые бы звучали как тексты моих любимых музыкальных исполнителей. Работая над моделями генерации текста, мы с коллегами обнаружили, что нейронные сети могут генерировать некоторые весьма впечатляющие строчки. Следующим естественным шагом для нас стала попытка выяснить, может ли машина изучить «сущность» лирического стиля конкретного музыкального исполнителя, включая выбор слов, темы и структуры предложений, для создания новых текстов, которые звучат так же, как если бы их написал сам артист», – рассказывает ведущий автор исследования Ольга Вечтомова.

 

Система, разработанная исследователями, основана на модели нейронной сети, которая известна как вариационный автокодировщик, способная к самообучению путем восстановления оригинальных строк текста. Чтобы сгенерировать строчки в стиле конкретного исполнителя, ученые предоставили нейросети для изучения большой каталог текстов артистов, выраженный через действительные числа. Затем исследователи интегрировали тексты исполнителей, чтобы система смогла разобрать особый стиль каждого творца. Цель ученых заключалась в том, чтобы сгенерированные произведения отличались не только в лирическом, но и музыкальном стиле.

 

Два стихотворения, сгенерированные системой и включенные в сборник, представлены на семинаре NeurIPS 2018. Вечтомова создала каждое стихотворение, выбрав строки, сгенерированные VAE, и расположив их художественно значимым образом. Редактирование отдельных строк не производилось, за исключением добавления заглавных букв и знаков препинания / © Olga Vechtomova

 

В серии предварительных тестов разработанная система продемонстрировала замечательные результаты. Результаты показали, что интеграция артиста полезна для создания текстов, которые соответствуют его стилю. Многие строчки, сгенерированные системой, весьма соответствовали выбранному исполнителю, отражая те темы, которые тот обычно поднимает в своем творчестве. Хотя сгенерированные строчки часто содержали слова исходного исполнителя, они использовались в новом, интересном ключе, выражая новые мысли, которых нет в оригинальном тексте. По словам Вечтомовой, некоторые из созданных строк передают новые и довольно мощные поэтические образы, выраженные с использованием метафор и оксюморонов, при этом сохраняя стиль артиста.

 

«Система предназначена не для того, чтобы заменить музыкальных исполнителей, а для того, чтобы те могли использовать ее в качестве источника вдохновения в процессе написания песен. Это может быть аналогом синтезатора, который способен генерировать бесконечное количество звуков, из которого художник затем создает песню. Точно так же этот инструмент может генерировать бесконечное количество новых строк, которые художники могут использовать любым способом», – объясняет ученый.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
6 часов назад
4 минуты
Сергей Васильев

Микроскоп с высокоскоростной камерой и компьютерное моделирование показали, что сперматозоиды плавают не за счет боковых движений хвоста, а быстро вращаясь всем телом.

6 часов назад
3 минуты
Сергей Васильев

Новый метод позволил сделать немагнитный пирит ферромагнетиком, подходящим для использования в электронике и солнечных батареях.

Вчера, 21:52
2 минуты
Илья Ведмеденко

Пилотируемый космический корабль Crew Dragon приводнился в Атлантическом океане, у побережья Флориды. Это приблизило компанию SpaceX к полноценному вводу нового аппарата в эксплуатацию.

6 часов назад
4 минуты
Сергей Васильев

Микроскоп с высокоскоростной камерой и компьютерное моделирование показали, что сперматозоиды плавают не за счет боковых движений хвоста, а быстро вращаясь всем телом.

Вчера, 11:27
35 минут
Александр Березин

На планете разворачивается новая лунная гонка. Российская космическая отрасль пытается обозначить участие в ней, патентуя многопусковой полет к спутнику Земли. Очевидно, что это лишь суррогат сверхтяжелых ракет, которых мы пока не строим. США, напротив, активно разрабатывают сразу два сверхтяжа – но и там не все гладко. Их лунная программа может испытать сильнейший удар в ближайший год. Скептики считают, что усилия всех участников гонки бесполезны. Мол, пилотируемые полеты к другим небесным телам не нужны, ибо дороги. Автоматы смогут все сделать намного дешевле. На деле лунная программа, как мы покажем ниже, не дороже полетов к МКС. Да и автоматы не дадут нам ничего подобного результатам пилотируемой лунной экспедиции. Попробуем разобраться почему.

29 июля
7 минут
Мария Азарова

По мнению авторов новой работы, вертикальное сельское хозяйство позволит удовлетворить спрос на продукты питания, который значительно возрастет к середине-концу столетия. Благодаря вертикальным установкам можно будет повысить урожайность пшеницы в сотни раз, использовать повторно воду для полива и не зависеть от погоды.

6 июля
5 минут
Мария Азарова

Ученые, работающие с крупнейшим в мире радиотелескопом, сообщили об обнаружении эмиссии нейтрального водорода, исходящей от объектов за пределами нашей Галактики.

22 июля
66 минут
Александр Березин

С 2064 года численность людей начнет сокращаться — и этот процесс может быть необратим. Один из авторов соответствующей научной работы прямо указывает: если ничего не изменится, через несколько веков человечество вымрет. Однако есть вещи и похуже вымирания. Куда вероятнее иной сценарий: мир будет заселен теми, кто сможет размножаться в новых культурных условиях. К сожалению, значительная часть современных европейцев, американцев и, возможно, других народов будут вытеснены с первых страниц истории. Вдобавок те, кто победят в этой непростой борьбе, нам, сегодняшнему населению Земли, могут сильно не понравиться. Попробуем разобраться почему.

10 июля
7 минут
Мария Кривоченко

Биологи выяснили, какое воздействие оказывают радиоволны на эмбрионы рыб. Оказалось, они существенно не влияют на уровень смертности, морфологию и реакцию на свет, но немного подавляют сенсомоторные функции. Как это скажется на взрослых особях, еще предстоит выяснить.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: