Специалисты из Сеульского национального университета провели серию экспериментов с участием десяти пациентов, страдающих эпилепсией. На поверхности коры головного мозга добровольцев уже были размещены клинические электроды для медицинского мониторинга, что позволило ученым использовать метод электрокортикографии для прямой фиксации нейронных сигналов.
В ходе тестов люди прослушивали первые несколько тактов знакомых детских песен, после чего музыка выключалась, а участники должны были мысленно продолжить мелодию про себя и лишь затем напеть её вслух для контроля точности.
Собранные во время мысленного пения сигналы мозга содержали подробную информацию о соотношении высоты звуков во времени. Алгоритм декодировал не абсолютные частоты, а относительные музыкальные классы — интервалы между нотами вроде «до, ре, ми». Такой подход эффективен, так как человеческий мозг распознает и запоминает музыку именно по взаимосвязи нот, даже если одна и та же песня звучит в другой тональности.
Объединение пошаговых предложений высоты тона позволило полностью реконструировать структуру воображаемых треков. В перспективе авторы планируют расширить возможности декодера для считывания темпа и динамики звука. Технология ляжет в основу систем синтеза речи для полностью парализованных пациентов, которые потеряли способность говорить и двигаться, но сохранили ментальную активность.
Информация носит исключительно ознакомительный характер и не является индивидуальной медицинской рекомендацией.
Обложка:
The post appeared first on .