Иллюстрация: www.pixabay.com (тп)
Искусственный интеллект научился определять, какую песню человек слушает в наушниках, по активности его мозга. Ученые из Нидерландов и Индии представили на конференции CODS COMAD 2021 исследование, в котором обученная нейросеть с 85% вероятностью угадывала музыку по фрагментам электроэнцефалограммы.
Любую мелодию можно представить как последовательность данных, которая состоит из отдельных аккордов, ударов, звуков. Даже если данные немного искажены, например, из-за фонового шума, мы все равно можем распознать песню.Большинство из нас угадывает известные мелодии, даже если их напеть или настучать по столу. То же самое способен делать и компьютер. Например, стандартное Google-приложение в смартфонах ищет композиции по свисту и напеву.
Когда органы чувств получают очередной стимул, в мозге возникает соответствующая активность, то сути, реакция на раздражитель. Исследователи под руководством Дерека Ломаса из Делфтского технического университета в Нидерландах решили проверить, можно ли из этой активности восстановить последовательность входящих стимулов.
Для эксперимента они пригласили 20 добровольцев. Каждый из них прослушал по 12 песен. При этом добровольцы сидели в одиночестве с закрытыми глазами в слабо освещенной комнате, что позволяло минимизировать влияние других органов чувств.
Все это время ученые измеряли активность мозга участников эксперимента, используя шлем с 128-ю электродами. Полученные данные были переданы нейросети для того, чтобы она смогла научиться и подстроиться под индивидуальные особенности каждого из добровольцев.
Ученые разбили данные, полученные благодаря электроэнцефалограмме, на фрагменты длиной в секунду. Таким образом они смогли получить соотношение «электрод — активность за промежуток времени». Затем они преобразовали сигналы из временной в частотную область с помощью специальной функции из программы по обработке электроэнцефалограммы — EEGLAB.
После обработки данные передали сперва на трехслойную сверточную нейросеть для выделения признаков мелодий, а затем — на двухслойную плотную нейросеть, которая классифицировала песни.
Интересно, что если нейросеть училась на данных не конкретного человека, а других участников группы добровольцев, то точность распознавания снижалась с 84,96% до 7,73%. То есть реакция мозга на музыку достаточно индивидуальна, вплоть до задействования разных отделов.
В ближайшем будущем подобные алгоритмы научатся рекомендовать песни, подходящие конкретному слушателю.
Они будут опираться на индивидуальную информацию о том, какие участки мозга от каких песен получают удовольствие.
И это станет следующим шагом после рекомендаций по настроению или банальному сходству композиций, которые используют многие музыкальные сервисы.
Параллельно с этим развивается не менее полезное направление — распознавание речи по электроэнцефалограмме. В 2019 году американским ученым удалось натренировать нейросеть определять цифры от 0 до 9 по тому, какая активность возникала в мозге участника эксперимента.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.