Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант Сколтеха Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным, чтобы люди смогли получать новые эмоции и удовольствие от известных композиций. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную.
Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. «Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки.
Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказывает Илья Боровик.
Когда пользователь запускает приложение на смартфоне и даёт разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — продолжает Илья.
Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.
Telegram 
Дзен 
VK Фотография костей, уничтоженных во Второй мировой войне, помогла открыть новый род хищных динозавров
Сотрудник Палеонтологического музея в Мюнхене, копаясь в архивах, обнаружил ранее неизвестную фотографию неполного скелета динозавра, найденного в Египте в 1914 году. Через 30 лет кости уничтожила бомбардировка, но до разрушений их успели описать и отнести к виду гигантских хищных ящеров. Однако новая фотография запечатлела уникальный гребень на носу динозавра и прочие особенности, на основе которых ученые открыли новый род.
Астрономы зарегистрировали необычную вспышку под названием «быстрый радиовсплеск» — мгновенный выброс сильнейшего радиоизлучения. Причем случился он в галактике, где они, по имеющимся представлениям, не должны происходить.
Опрос среди владельцев собак показал, какие преимущества и недостатки, связанные с наличием питомцев, представляются людям наиболее существенными.
Сниженная концентрация внимания у молодежи побуждает педагогов к внедрению новых, более увлекательных методик, способных поддерживать интерес к обучению у поколения Z. Проведенный на Филиппинах эксперимент показал, что использование специализированных мемов может положительно влиять на успеваемость учеников и их отношение к дисциплине.
Опрос среди владельцев собак показал, какие преимущества и недостатки, связанные с наличием питомцев, представляются людям наиболее существенными.
Ученые Северо-Западного университета (США) синтезировали новый материал с исключительными свойствами. Очень прочный, но в то же время гибкий и легкий, полученный ими полимер может изготавливаться в больших объемах, а применяться при создании бронежилетов и баллистических тканей.
Многие предпочитают вступать в романтические отношения с людьми примерно своего возраста, но есть и пары с существенной возрастной разницей. Международная группа ученых недавно на крупной выборке людей проследила за изменениями возраста партнеров на старте отношений в разные годы жизни.
По распространению сейсмических волн в недрах Земли геологи словно «сканируют» планету и обнаруживают все больше интересных особенностей ее внутреннего строения. Недавно очередное такое исследование заставило ученых особенно внимательно рассмотреть то, что скрывается под Тихоокеанской литосферной плитой.
Ученые из Троицкого института инновационных и термоядерных исследований, МФТИ и МЭИ совершили значительный прорыв в области защиты материалов от экстремальных тепловых нагрузок, характерных для условий управляемого термоядерного синтеза.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно