Ученые научились считывать сигналы в мозге парализованного больного – и превращать их в звуки с помощью компьютерного синтезатора речи.
Схема системы, распознающей паттерны активности нейронов, и выдающей звуки речи. Авторы назвали ее Neuralynx
В качестве подопытного выступил больной, находящийся в состоянии «бодрствующей комы». В отличие от «классической» комы, во время которой все реактивные функции (сознание, движение, рефлексы, чувствительность и т.п.) утрачены, а сохраняются лишь вегетативные (кровообращение терморегуляция, дыхание и т.д.), в бодрствующей коме могут сохраняться и некоторые реактивные функции – частично, или полностью. Иначе говоря, такой больной может потерять всякую подвижность, но сохранять сознание, оказавшись буквально заперт в собственном теле. Отсюда и английское наименование болезни, lock-in syndrome, «синдром запертого», который в русскоязычной литературе переводится обычно, как синдром окружения.
Именно такой несчастный стал первым человеком, мысли которого в буквальном смысле прочел и озвучил компьютер. Технологии, обеспечившие чтение электрической активности мозга, ее интерпретацию и синтез на ее основе слов, «задумываются» над каждым не больше 50 миллисекунд, примерно столько же, сколько на осознание и озвучивание своих мыслей требуется и обычным людям.
Эта поразительная работа проделана большой группой ученых из разных лабораторий и разных стран, а возглавил ее Фрэнк Гентер (Frank Guenther). Выбранный ими пациент был мужчиной 26 лет, у которого болезнь развилась в результате травмы основания мозга, полученной около 10 лет назад. Травма привела к поражению моторных нейронов и, хотя сознание и все мыслительные способности бедняги остались совершенно нормальными, он поражен почти полностью. Единственное движение, доступное ему – медленное поднимание и опускание зрачков.
По словам ученых, большая сложность состояла в том, что до сих пор не существует детального описания электрической активности нейронов, связанных с речью. Поэтому им пришлось полагаться на существующие модели происходящего в нашем мозге в момент произнесения слов. По этим представлениям, звуки, прежде чем произнесены, появляются в виде активности нейронов в левой передней части премоторной коры. В нормальных обстоятельствах их сигналы передаются на моторную кору, которая и дает команды на соответствующие мускулы языка, челюстей и гортани. В данном же случае эту роль и должна взять на себя компьютеризированная система.
Чтобы научиться этому, ученые провели длительные опыты: пациент слышал звук, который выдает компьютер в ответ на его намерение, и старался научиться «формулировать» это намерение как можно внятнее. Постепенно нейроны его адаптировались, и спустя 5 месяцев средний уровень верного распознавания паттернов электрической активности поднялся с 45 до 89%.
Впрочем, работа с пациентом началась еще 5 лет назад, когда ученые имплантировали электрод в его мозг, на границу между областью, связанной с речью, и моторным кортексом. Со временем нейроны проросли внутрь и спустя 3-5 месяцев паттерны их электрической активности стало возможным снимать с высокой точностью, через этот самый электрод.
Спустя 3 года после операции исследователи начали первые пробы своего «мозгово-компьютерного интерфейса» для синтезирования речи на основе электрической активности нейронов. Электрод усиливает эту активность и, превращая ее в радиосигнал, передает на приемное устройство. Система не требует проводов – а значит, не создает дополнительного риска проникновения инфекций.
Зато приемное устройство, чтобы оно способно было качественно улавливать слабый сигнал, располагать приходится прямо на голове пациента. Пара проводящих катушек-антенн прикрепляется с помощью растворимого геля. Еще одна катушка на голове питает электрод: пропускаемое через нее электричество индуцирует в нем ток. Напомним, что это явление в ближайшем будущем может найти и куда более широкое применение – для беспроводной передачи энергии в бытовых приборах (читайте: «Скажите “ци”!»).
Снятый сигнал уже затем подается на компьютер, который проводит его первичную обработку, вычленяя данные и отбрасывая шумы. После чего за дело принимается программа-декодер, переводящий паттерны электрической активности уже в звуки. Они передаются на компьютерный синтезатор речи, который и «говорит» за больного. Речью пока что назвать это нельзя: на настоящий момент система узнает и воспроизводит 3 вида гласных звуков, но ведь это только начало. Да и для несчастного пациента, лишенного вообще какой-либо связи с окружающим миром, эти 3 звука просто бесценны.
По словам Фрэнка Гентера, в ближайшем будущем ученые намерены расширить диапазон рабочих звуков для своей системы, так, чтобы он охватил и согласные. Они работают и над новой «версией» оборудования, способного получать и обрабатывать сигналы с большего числа электроды. Ученый уверен, что уже в следующей версии системы они увеличат это количество вдесятеро, что приведет к существенному повышению производительности. До чтения мыслей осталось совсем немного.
Ссылка на источник
