Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант Сколтеха Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным, чтобы люди смогли получать новые эмоции и удовольствие от известных композиций. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную.
Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. «Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки.
Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказывает Илья Боровик.
Когда пользователь запускает приложение на смартфоне и даёт разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — продолжает Илья.
Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.
Telegram 
Дзен 
VK Коллектив ученых из лаборатории искусственных квантовых систем МФТИ, Института радиотехники и электроники им. В. А. Котельникова РАН и Сколтеха провел уникальный эксперимент, в котором исследовал явление резонансной флуоресценции в трехуровневой системе. На систему воздействовали сразу два источника излучения.
В мире насекомых существует сообщество муравьев, где нет места рабочим и самцам. Только королевы. Каждая из них с рождения «запрограммирована» на одну поведенческую стратегию — захват чужого гнезда и основание собственной линии; спаривание при этом не играет никакой роли. Биологи описали вид муравьев, который превратил свою жизнь в бесконечную череду «дворцовых переворотов».
Опытные наблюдатели за птицами отличаются не только зорким взглядом. В их мозге происходят изменения — такие же, как при изучении иностранного языка или игре на музыкальном инструменте. Эти изменения могут помочь дольше сохранить ясность ума. К такому выводу пришли авторы нового исследования.
Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Оказалось, что насекомые активно избегают влажных поверхностей.
Специалисты Института истории материальной культуры (ИИМК) РАН в ходе раскопок некрополя Артющенко-2 в Темрюкском районе Краснодарского края обнаружили первые для данного памятника грунтовые склепы на некрополе Артющенко-2. Один из склепов содержал в себе останки не менее 7 человек, в том числе ребенка.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно