Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант Сколтеха Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным, чтобы люди смогли получать новые эмоции и удовольствие от известных композиций. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную.
Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. «Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки.
Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказывает Илья Боровик.
Когда пользователь запускает приложение на смартфоне и даёт разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — продолжает Илья.
Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.
Telegram 
Дзен 
VK На полотне, которое Католическая и Православная церкви почитают как погребальный саван Иисуса Христа, ученые нашли генетический материал множества биологических видов — людей, животных, а также растений, завезенных в Европу из Америки. Результаты исследования не прояснили, а лишь умножили число вопросов вокруг происхождения одного из самых спорных христианских артефактов.
Считается, что плач помогает справиться со стрессом и тяжелым состоянием, будучи способом выразить сильные эмоции. Новое исследование показало, что положительный или отрицательный эффект зависит от причины слез.
Морские биологи впервые детально задокументировали процесс родов у диких кашалотов. Анализ видеозаписей и акустических сигналов показал, что самки из разных родственных линий временно объединяются, чтобы по очереди выталкивать новорожденного на поверхность для дыхания. Это первое доказательство взаимопомощи при родах между неродственными особями у видов, не относящихся к приматам.
Морские биологи впервые детально задокументировали процесс родов у диких кашалотов. Анализ видеозаписей и акустических сигналов показал, что самки из разных родственных линий временно объединяются, чтобы по очереди выталкивать новорожденного на поверхность для дыхания. Это первое доказательство взаимопомощи при родах между неродственными особями у видов, не относящихся к приматам.
Ученые Кабардино-Балкарского государственного университета им. Х.М. Бербекова более десяти лет изучают уникальные свойства кефирных зерен — природных симбиотических сообществ микроорганизмов, собранных в высокогорных районах Кавказа. Исследования показывают, они могут стать основой для новых методов лечения кишечных заболеваний, восстановления иммунитета и даже создания космического питания.
Во время нейроанатомического исследования тканей полового члена ученые выявили высокую плотность нервных окончаний в области, которую анатомы и хирурги долгое время оставляли без должного внимания. Авторы научной работы предположили, что эта зона может играть важную роль в формировании сексуальных ощущений, и допустили, что именно там у мужчин находится аналог так называемой «точки G».
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.
За 10 лет лежания в почве сигаретные фильтры не растворились, а лишь замаскировались под грязь. Их пластиковые волокна распались на микрочастицы, намертво склеились с минералами и превратились во вторичный микропластик. Более того, на пятом году гниения мусор начал отравлять землю с новой силой.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно