• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16.08.2023
Сергей Васильев
4 515

Ученые реконструировали песню Pink Floyd по активности мозга слушателей

5.2

Используя массив электродов, чтобы отслеживать работу нескольких участков головного мозга, ученые обучили нейросеть восстанавливать звуки музыки, которую слушает человек. В получившемся аудиофайле вполне можно распознать исходный хит — Another Brick in the Wall.

На концерте Pink Floyd
На концерте Pink Floyd / ©Slovenska touristična organizacija / Автор: Messiena Lucretius

За последние годы мы встречали немало работ, связанных с «чтением мыслей» — реконструкцией слов, картинок и образов по данным об активности нервных клеток в соответствующих участках мозга. Теперь же нейробиологи из Калифорнийского университета в Беркли сумели восстановить музыкальный трек, который прослушивали добровольцы в процессе мониторинга активности их мозга. Статья об этом опубликована в журнале PLOS Biology.

Как правило, к подобным экспериментам привлекают больных, страдающих тяжелой эпилепсией, припадки которых не удается остановить никаким другим способом, кроме как с помощью электродов, помещенных непосредственно в мозг. Людовик Беллье (Ludovic Bellier) и его коллеги нашли 29 таких пациентов, согласившихся стать добровольцами, и имплантировали им массивы из 2668 микроэлектродов.

Фрагмент исходной музыкальной композиции

Далее участники прослушивали несколько классических песен легендарной британской группы Pink Floyd, пока ученые снимали с электродов информацию об активности разных участков их мозга. Анализ собранных данных показал, что с музыкой коррелировали показания 347 электродов, в основном расположенных в верхней височной и нижней лобной извилинах, а также в складках сенсомоторной коры. Само по себе это неудивительно, поскольку известно, что все эти области вовлечены в восприятие и интерпретацию звуков, включая музыку и речь.

Фрагмент реконструированного трека

Однако Беллье и его коллегам удалось создать и обучить математическую модель на базе ИИ, которая интерпретировала данные об активности мозга и реконструировала один из исходных музыкальных треков — хит 1979 года Another Brick in the Wall («Еще один кирпич в стене»). Получившийся аудиофайл далек от настоящего хита — слова практически неразличимы, звук доносится будто из бочки, но в целом мелодия и ритм вполне узнаваемы.

Чтобы лучше разобраться в том, какие области мозга участвуют в распознавании разных особенностей музыки, реконструкцию повторили несколько раз, без использования данных от разных групп электродов. Это позволило идентифицировать участок верхней височной извилины, который ответствен за восприятие ритма: его «отключение» приводило к генерации трека без партии ритм-гитары. Вообще, оказалось, что именно эта извилина играет ключевую роль в обработке музыки, и без данных с нее трек получался наименее похожим на исходный.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 11:06
НИУ ВШЭ

Энцелад — один из крупнейших спутников Сатурна, где потенциально может существовать внеземная микробная жизнь. Исследователи НИУ ВШЭ и ИКИ РАН вычислили характеристики пылевой плазмы и электрических полей, а также концентрацию фотоэлектронов вблизи поверхности спутника. Несмотря на удаленность Энцелада от Солнца, фотоэффект на его поверхности оказался важен для формирования пылевой плазмы.

Позавчера, 08:27
Александр Березин

Популярная гипотеза о доставке большого объема легких элементов на древнюю Землю с кометами и астероидами получила существенный удар: «импорт» был весьма невелик. Значит, вода и многое другое, необходимое для возникновения жизни, никогда не исчезали с лица нашей планеты.

18 июня
Сколтех

Ученые из Сколтеха, Цзилиньского университета и Центра передовых исследований в области науки и технологий высокого давления в Пекине (HPSTAR), а также их немецкие коллеги синтезировали и исследовали новый тип сверхпроводника с высоким содержанием водорода — супергидрид лантана типа A15 с формулой La4H23. Новый материал обладает сверхпроводимостью при температуре ниже −168 градусов и давлении в 1,2 миллиона атмосфер.

18 июня
Сколтех

Ученые из Сколтеха, Цзилиньского университета и Центра передовых исследований в области науки и технологий высокого давления в Пекине (HPSTAR), а также их немецкие коллеги синтезировали и исследовали новый тип сверхпроводника с высоким содержанием водорода — супергидрид лантана типа A15 с формулой La4H23. Новый материал обладает сверхпроводимостью при температуре ниже −168 градусов и давлении в 1,2 миллиона атмосфер.

Позавчера, 16:57
ПНИПУ

Шаровая молния — выдумка или реальное явление, что такое темная материя и как она влияет на массу Вселенной? Для чего предназначены узоры на кончиках пальцев? Как мы «заражаемся» зевотой и почему мы чихаем, глядя на солнце? Отчего правшей больше, чем левшей и что нужно, чтобы сработал эффект плацебо? Об этом рассказали ученые Пермского Политеха.

17 июня
Игорь Байдов

Американские военные планируют разработать психостимулятор, действие которого можно активировать в мозге с помощью ближнего ИК-излучения. Такая технология поможет пилотам ВВС США сохранять бдительность во время длительных боевых вылетов. Привыкания или побочных эффектов препарат вызывать не будет.

24 мая
Игорь Байдов

С помощью космических и наземных телескопов международная команда астрономов открыла похожий на нашу планету мир в так называемой зоне обитаемости, позволяющей воде существовать на поверхности тела в жидком состоянии. По космическим меркам экзопланета находится достаточно близко к Земле и, вероятно, представляет собой скалистый мир с благоприятным для жизни климатом. Подобные миры астрономы открывают крайне редко.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

10 июня
Александр Березин

Исследователи из США выяснили, что примерно два миллиона лет назад Солнечная система захватила хвост облака холодного межзвездного газа. В результате гелиосфера сильно сжалась, дав галактическим лучам свободно облучать все планеты системы. Это должно было вызвать и серьезные проблемы с климатом.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно