Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант Сколтеха Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным, чтобы люди смогли получать новые эмоции и удовольствие от известных композиций. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную.
Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. «Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки.
Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказывает Илья Боровик.
Когда пользователь запускает приложение на смартфоне и даёт разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — продолжает Илья.
Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.
Telegram 
Дзен 
VK В поиске сигналов от внеземных цивилизаций ученые решили сосредоточиться не на целенаправленных посланиях человечеству, а на случайных «утечках информации» из межпланетного пространства гипотетической обитаемой системы. По расчетам, в определенные моменты до нас могут доходить сигналы внеземной космической связи. Кстати, благодаря «общению» Земли с марсианскими и другими зондами мы тоже постоянно невольно сообщаем о себе в глубокий космос.
Модель, представленная учеными из коллаборации DESI и Мичиганского университета (США), может перевернуть представления о происхождении темной энергии. Авторы нового исследования полагают, что черные дыры, поглощая вещество, постепенно преобразовывают его в энергию, гипотетически ответственную за расширение Вселенной.
Глава Российской академии наук Геннадий Красников рассказал в недавнем интервью о том, для чего мышам летать над полюсами Земли, в чем преимущества новой космической станции по сравнению с МКС, что предстоит проделать на Луне в ближайшее десятилетие и чем ученых продолжает интриговать Венера.
К 2025 году около 30 стран приняли программы по развитию водородной энергетики, а совокупный объем инвестиций в эту область превысил 150 миллиардов долларов. Эксперты полагают, что замена дизельных авто на водородные снизит выбросы на 80-90%, а водородные самолеты способны уменьшить углеродный след на 50-75%. Но при использовании водорода в двигателях внутреннего или внешнего сгорания, происходит взаимодействие с металлом, что наиболее опасно при высоких температурах. Это может вызвать их разрушение, в результате чего возникает риск пожара или взрыва с тяжелыми последствиями для пассажиров. Ученые Пермского Политеха впервые выяснили, как водород влияет на металлы в условиях экстремальных температур (800 градусов и выше), в которых работают двигатели самолетов и машин. Это продвинет авиационную, машиностроительную и нефтегазовую отрасли в безопасном использовании водорода в качестве источника энергии.
Ученые обнаружили косвенные доказательства существования мира размером с Землю за орбитой Нептуна. Эта гипотетическая планета отличается от предполагаемой Девятой планеты не только размером, но и гравитационным влиянием на другие объекты.
Большие кошки (Pantherinae) обычно охотятся на животных своего или меньшего размера. У снежных барсов, как выяснилось, другие предпочтения. Новое исследование показало, что ирбисы чаще нападают на взрослых горных козлов, которые как минимум вдвое превосходят хищников в весе. Ученые объяснили, с чем может быть связан такой выбор добычи.
Примерно 12 800 лет назад в Северном полушарии началось резкое изменение климата, которое сопровождалось вымиранием мегафауны и угасанием культуры Кловис. Такое могло произойти, например, из-за прорыва пресных вод в Атлантику или мощного вулканического извержения. Несколько лет назад ученые обнаружили места на суше с повышенным содержанием элементов платиновой группы, прослоями угля, микрочастицами расплава. По их мнению, это может быть признаком пребывания Земли в потоке обломков кометы или астероида. В новой работе впервые представлены доказательства кометного события в позднем дриасе из морских осадочных толщ.
Возраст находок — около 5500 лет, они лежат во множестве круглых ям, чьи стены укреплены кирпичом. Среди обнаруженных орудий из кремня есть и сотни неиспользованных, которые могут быть ритуальным подношением богам.
Гостингом (от английского «призрак») называют ситуацию, когда человек прекращает общение или отношения, «пропадая с радаров» без объяснения причин. Исследователи из США сымитировали такое поведение, а затем проанализировали реакцию людей на него.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно