• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16.08.2023, 10:17
Сергей Васильев
4,6 тыс

Ученые реконструировали песню Pink Floyd по активности мозга слушателей

❋ 5.2

Используя массив электродов, чтобы отслеживать работу нескольких участков головного мозга, ученые обучили нейросеть восстанавливать звуки музыки, которую слушает человек. В получившемся аудиофайле вполне можно распознать исходный хит — Another Brick in the Wall.

На концерте Pink Floyd
На концерте Pink Floyd / ©Slovenska touristična organizacija / Автор: Messiena Lucretius

За последние годы мы встречали немало работ, связанных с «чтением мыслей» — реконструкцией слов, картинок и образов по данным об активности нервных клеток в соответствующих участках мозга. Теперь же нейробиологи из Калифорнийского университета в Беркли сумели восстановить музыкальный трек, который прослушивали добровольцы в процессе мониторинга активности их мозга. Статья об этом опубликована в журнале PLOS Biology.

Как правило, к подобным экспериментам привлекают больных, страдающих тяжелой эпилепсией, припадки которых не удается остановить никаким другим способом, кроме как с помощью электродов, помещенных непосредственно в мозг. Людовик Беллье (Ludovic Bellier) и его коллеги нашли 29 таких пациентов, согласившихся стать добровольцами, и имплантировали им массивы из 2668 микроэлектродов.

Фрагмент исходной музыкальной композиции

Далее участники прослушивали несколько классических песен легендарной британской группы Pink Floyd, пока ученые снимали с электродов информацию об активности разных участков их мозга. Анализ собранных данных показал, что с музыкой коррелировали показания 347 электродов, в основном расположенных в верхней височной и нижней лобной извилинах, а также в складках сенсомоторной коры. Само по себе это неудивительно, поскольку известно, что все эти области вовлечены в восприятие и интерпретацию звуков, включая музыку и речь.

Фрагмент реконструированного трека

Однако Беллье и его коллегам удалось создать и обучить математическую модель на базе ИИ, которая интерпретировала данные об активности мозга и реконструировала один из исходных музыкальных треков — хит 1979 года Another Brick in the Wall («Еще один кирпич в стене»). Получившийся аудиофайл далек от настоящего хита — слова практически неразличимы, звук доносится будто из бочки, но в целом мелодия и ритм вполне узнаваемы.

Чтобы лучше разобраться в том, какие области мозга участвуют в распознавании разных особенностей музыки, реконструкцию повторили несколько раз, без использования данных от разных групп электродов. Это позволило идентифицировать участок верхней височной извилины, который ответствен за восприятие ритма: его «отключение» приводило к генерации трека без партии ритм-гитары. Вообще, оказалось, что именно эта извилина играет ключевую роль в обработке музыки, и без данных с нее трек получался наименее похожим на исходный.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
4 июля, 09:30
Любовь С.

Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.

4 июля, 17:28
Evgenia Vavilova

Мы много знаем о том, как цивилизации до нас строили дома и дороги, но с объектами материальной культуры дела обстоят сложнее. Ремесленные техники часто хранились в строгом секрете и могли быть случайно утрачены при неудачном стечении обстоятельств. Так случилось с ювелирной техникой цзинь чжэ сы.

3 июля, 12:20
Татьяна Зайцева

Японские исследователи выловили у берегов Окинавы пластиковую бутылку с узким горлышком, внутри которой сидел большой живой краб. В итоге ученые смогли найти ответы на несколько возникших в связи с этой находкой вопросов: как краб попал в бутылку, сколько там находился и как ему удалось выжить?

28 июня, 15:51
Александр Березин

На протяжении десятилетий Тель-Авив воздерживался от этого шага, чтобы не испортить отношения с Турцией. Но после действий Израиля 2023-2026 годов официальная Анкара, как и множество государств мира, неоднократно осуждала Израиль, из-за чего изменилась и его позиция по геноциду.

29 июня, 13:56
ЮФУ

Ученые Южного федерального университета исследовали новую светочувствительную молекулу и обнаружили, что она ведет себя совсем не так, как ожидалось. Благодаря необычным свойствам она может стать основой для создания умных материалов, сенсоров и лекарств, которые будут активироваться светом именно там, где нужно, например, для борьбы с опасными бактериями.

30 июня, 12:35
ИИМК РАН

Ученые Института истории материальной культуры РАН завершили первый этап комплексного проекта по изучению перехода от мезолита к неолиту в Юго-Восточной Прибалтике. Спустя 50 лет после экспедиций выдающегося ученого ИИМК РАН Владимира Тимофеева специалисты вернулись на ключевые памятники Калининградской области, чтобы с помощью современных методов ответить на вопрос о появлении глиняной посуды в регионе аномально поздно — лишь в V тысячелетии до нашей эры.

10 июня, 11:51
Александр Березин

Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.

25 июня, 16:20
Любовь С.

Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.

25 июня, 15:09
Марк Чернов

Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.

[miniorange_social_login]

Комментарии

Написать комментарий