• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
08.11.2023, 12:15
Сколтех
204

Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами

❋ 4.5

Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант Сколтеха Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным, чтобы люди смогли получать новые эмоции и удовольствие от известных композиций. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную.

Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами / © Getty images / Автор: Sycophanta Duccius

Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. «Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки.

Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказывает Илья Боровик.

Когда пользователь запускает приложение на смартфоне и даёт разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.

Схема работы системы / © Илья Боровик

«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — продолжает Илья.

Метки в отрывке партитуры к сонате Бетховена № 17. Синим цветом обозначены указания по темпу, красным и оранжевым — указания по громкости, зеленым – акценты для нот / © Илья Боровик

Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
4 июля, 11:27
НовГУ

Исследование НовГУ показало, что атлетическая гимнастика — один из самых эффективных способов борьбы с ожирением, в отличие, например, от бега. Тренировки с отягощениями не только помогают сжечь жир, но и укреплять мышцы, при этом щадя суставы и сердечно-сосудистую систему. Назван и оптимальный комплекс упражнений для таких людей: три силовые тренировки в неделю по 40–90 минут.

4 июля, 18:38
Evgenia Vavilova

Специалисты центра изучения недр «Геосфера» извлекают из образцов грунта все необходимые данные о действующих и перспективных месторождениях нефти. Рутинные операции с керном делегированы роботам. Умные помощники трудятся 24/7 и позволяют исследователям сосредоточиться на научных и технологических задачах.

4 июля, 10:17
ТГУ

Международная группа физиков из России (включая ученых ТГУ), Казахстана и Японии экспериментально зафиксировала необычное явление: стрела, движущаяся прямолинейно, оставляет за собой след в форме винтовой спирали. Это противоречит классическим представлениям, но было подтверждено в эксперименте с переходным излучением. Открытие меняет существующие взгляды на природу закрученного света и имеет значительные перспективы как для фундаментальных исследований, так и для прикладных технологий.

4 июля, 11:27
НовГУ

Исследование НовГУ показало, что атлетическая гимнастика — один из самых эффективных способов борьбы с ожирением, в отличие, например, от бега. Тренировки с отягощениями не только помогают сжечь жир, но и укреплять мышцы, при этом щадя суставы и сердечно-сосудистую систему. Назван и оптимальный комплекс упражнений для таких людей: три силовые тренировки в неделю по 40–90 минут.

2 июля, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

4 июля, 18:38
Evgenia Vavilova

Специалисты центра изучения недр «Геосфера» извлекают из образцов грунта все необходимые данные о действующих и перспективных месторождениях нефти. Рутинные операции с керном делегированы роботам. Умные помощники трудятся 24/7 и позволяют исследователям сосредоточиться на научных и технологических задачах.

17 июня, 16:49
Адель Романова

Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.

25 июня, 15:19
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

2 июля, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно