Huxley
Автор: Huxley
© Huxley — альманах о философии, бизнесе, искусстве и науке

Нейросеть угадывает мелодию по активности мозга

Нейросеть угадывает мелодию по активности мозга
Иллюстрация: www.pixabay.com (тп)

 

Искусственный интеллект научился определять, какую песню человек слушает в наушниках, по активности его мозга. Ученые из Нидерландов и Индии представили на конференции CODS COMAD 2021 исследование, в котором обученная нейросеть с 85% вероятностью угадывала музыку по фрагментам электроэнцефалограммы.

Любую мелодию можно представить как последовательность данных, которая состоит из отдельных аккордов, ударов, звуков. Даже если данные немного искажены, например, из-за фонового шума, мы все равно можем распознать песню.

Большинство из нас угадывает известные мелодии, даже если их напеть или настучать по столу. То же самое способен делать и компьютер. Например, стандартное Google-приложение в смартфонах ищет композиции по свисту и напеву.

Когда органы чувств получают очередной стимул, в мозге возникает соответствующая активность, то сути, реакция на раздражитель. Исследователи под руководством Дерека Ломаса из Делфтского технического университета в Нидерландах решили проверить, можно ли из этой активности восстановить последовательность входящих стимулов.

Для эксперимента они пригласили 20 добровольцев. Каждый из них прослушал по 12 песен. При этом добровольцы сидели в одиночестве с закрытыми глазами в слабо освещенной комнате, что позволяло минимизировать влияние других органов чувств.

Все это время ученые измеряли активность мозга участников эксперимента, используя шлем с 128-ю электродами. Полученные данные были переданы нейросети для того, чтобы она смогла научиться и подстроиться под индивидуальные особенности каждого из добровольцев.

Ученые разбили данные, полученные благодаря электроэнцефалограмме, на фрагменты длиной в секунду. Таким образом они смогли получить соотношение «электрод — активность за промежуток времени». Затем они преобразовали сигналы из временной в частотную область с помощью специальной функции из программы по обработке электроэнцефалограммы — EEGLAB.

После обработки данные передали сперва на трехслойную сверточную нейросеть для выделения признаков мелодий, а затем — на двухслойную плотную нейросеть, которая классифицировала песни.

Интересно, что если нейросеть училась на данных не конкретного человека, а других участников группы добровольцев, то точность распознавания снижалась с 84,96% до 7,73%. То есть реакция мозга на музыку достаточно индивидуальна, вплоть до задействования разных отделов.

В ближайшем будущем подобные алгоритмы научатся рекомендовать песни, подходящие конкретному слушателю.
Они будут опираться на индивидуальную информацию о том, какие участки мозга от каких песен получают удовольствие.

И это станет следующим шагом после рекомендаций по настроению или банальному сходству композиций, которые используют многие музыкальные сервисы.

Параллельно с этим развивается не менее полезное направление — распознавание речи по электроэнцефалограмме. В 2019 году американским ученым удалось натренировать нейросеть определять цифры от 0 до 9 по тому, какая активность возникала в мозге участника эксперимента.

Вступая в клуб друзей Huxley, Вы поддерживаете философию, науку и искусство

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Получайте свежие статьи

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: