• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16.08.2023
Сергей Васильев
4 567

Ученые реконструировали песню Pink Floyd по активности мозга слушателей

❋ 5.2

Используя массив электродов, чтобы отслеживать работу нескольких участков головного мозга, ученые обучили нейросеть восстанавливать звуки музыки, которую слушает человек. В получившемся аудиофайле вполне можно распознать исходный хит — Another Brick in the Wall.

На концерте Pink Floyd
На концерте Pink Floyd / ©Slovenska touristična organizacija / Автор: Messiena Lucretius

За последние годы мы встречали немало работ, связанных с «чтением мыслей» — реконструкцией слов, картинок и образов по данным об активности нервных клеток в соответствующих участках мозга. Теперь же нейробиологи из Калифорнийского университета в Беркли сумели восстановить музыкальный трек, который прослушивали добровольцы в процессе мониторинга активности их мозга. Статья об этом опубликована в журнале PLOS Biology.

Как правило, к подобным экспериментам привлекают больных, страдающих тяжелой эпилепсией, припадки которых не удается остановить никаким другим способом, кроме как с помощью электродов, помещенных непосредственно в мозг. Людовик Беллье (Ludovic Bellier) и его коллеги нашли 29 таких пациентов, согласившихся стать добровольцами, и имплантировали им массивы из 2668 микроэлектродов.

Фрагмент исходной музыкальной композиции

Далее участники прослушивали несколько классических песен легендарной британской группы Pink Floyd, пока ученые снимали с электродов информацию об активности разных участков их мозга. Анализ собранных данных показал, что с музыкой коррелировали показания 347 электродов, в основном расположенных в верхней височной и нижней лобной извилинах, а также в складках сенсомоторной коры. Само по себе это неудивительно, поскольку известно, что все эти области вовлечены в восприятие и интерпретацию звуков, включая музыку и речь.

Фрагмент реконструированного трека

Однако Беллье и его коллегам удалось создать и обучить математическую модель на базе ИИ, которая интерпретировала данные об активности мозга и реконструировала один из исходных музыкальных треков — хит 1979 года Another Brick in the Wall («Еще один кирпич в стене»). Получившийся аудиофайл далек от настоящего хита — слова практически неразличимы, звук доносится будто из бочки, но в целом мелодия и ритм вполне узнаваемы.

Чтобы лучше разобраться в том, какие области мозга участвуют в распознавании разных особенностей музыки, реконструкцию повторили несколько раз, без использования данных от разных групп электродов. Это позволило идентифицировать участок верхней височной извилины, который ответствен за восприятие ритма: его «отключение» приводило к генерации трека без партии ритм-гитары. Вообще, оказалось, что именно эта извилина играет ключевую роль в обработке музыки, и без данных с нее трек получался наименее похожим на исходный.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Сегодня, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

Сегодня, 15:35
Губкинский университет

Исследования ученых РГУ нефти и газа имени И. М. Губкина подтвердили, что технология производства авиационного топлива SAF из растительных лигноцеллюлозных отходов позволит снизить выбросы углекислого газа на 75% по сравнению с нефтяным керосином.

Сегодня, 08:01
Адель Романова

На стыке трех литосферных плит у Красного моря заметили необычный вулканический процесс: где-то магма поднимается равномерным потоком, где-то — по частям. По мнению геологов, такой «пульс» вызван тем, что в некоторых местах магма с большим трудом пытается пробиться на поверхность.

28 июня, 18:58
Игорь Байдов

За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».

27 июня, 09:47
Авдей Палиш

Снимки с фотоловушек давно стали культурным явлением. Особенно забавными выглядят медведи. Мы с удовольствием смотрим на зверей, попавших в объектив камер в национальных парках: тигр украл фотоловушку, муравьед проехал верхом на муравьеде и так далее. Но не все животные настолько обаятельные. Ученые из США решили развить эмпатию к гремучим змеям, которых многие боятся. Для этого специалисты запустили трансляцию из «мегалогова», где рептилии отдыхают и рожают потомство.

29 июня, 17:23
Людмила Соколова

Чтобы понять, как часто за пределами Солнечной системы встречаются миры, похожие на Землю, ученые из Калифорнийского университета (США) провели статистический анализ 517 экзопланет. Результаты показали, что всего три мира, включая наш, соответствуют критериям потенциальной обитаемости. Наиболее перспективными из них оказались Kepler-22b и Kepler-538b.

17 июня, 16:49
Адель Романова

Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.

25 июня, 15:19
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

5 июня, 13:20
Александр Березин

Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно