ИИ читает мысли?
В Центре интегративной нейронауки Калифорнийского университета в Сан-Франциско продемонстрировали, как ИИ преобразует сигналы мозга в английскую речь. Журналисты уже окрестили это «чтением мыслей», однако реальность гораздо прозаичнее.
Группа исследователей под руководством Джозефа Макина
опубликовала интересные результаты в статье
«Машинный перевод корковой активности в текст». Это исследование продолжает ряд подобных работ.
Их общий смысл в том, чтобы сделать эффективный интерфейс «мозг – компьютер», а затем написать программу способную расшифровывать электрическую активность мозга, вербализуя её в отдельные слова и фразы.
На этот раз источником данных послужил массив из 120 – 250 электродов для электрокортикографии (ECoG). Это не безобидная ЭЭГ, а инвазивный метод, при котором проводники хирургически накладываются непосредственно на кору головного мозга.
В эксперименте они наиболее плотно размещались в районе третьей лобной извилины. Там находится центр Брока, отвечающий (в том числе) за фонологическую кодификацию речи.
Проще говоря, по ECoG оценивали активность мозга во время устного чтения. Испытуемые зачитывали вслух повторяющиеся тексты, содержащие до 50 предложений и не более 250 уникальных слов. Так проходило обучение ИИ.
Затем набор текстов меняли, а ИИ пытался распознать новые слова и фразы. После серии от 7 до 20 повторений ему удавалось это сделать с вероятностью 97%. Столь высокий результат объясняется сочетанием факторов.
Во-первых, регистрация управляющих импульсов головного мозга по ECoG гораздо проще, чем традиционное измерение слабых потенциалов его фоновой активности на ЭЭГ.
Во-вторых, управляющий (γ-сигнал) имеет частоту до 150 Гц, а регистрация выполнялась при дискретизации 200 Гц – с запасом.
В-третьих, исследователи применили две рекуррентных нейросети (RNN) с длинной кратковременной памятью (LSTM). Одна работала как кодировщик сигналов ЭЭГ, а другая преобразовывала в речь уже отфильтрованные управляющие импульсы.
Такая структура кодер-декодер идеальна для машинного перевода, а эта задача аналогична декодированию речи. Пара нейросетей проходит сквозное обучение, устраняя необходимость в ручном описании мозговой активности, о которой наши знания ещё весьма ограничены.
Код, используемый для обучения и тестирования кодировщиков-декодеров, доступен на
GitHub.
Источник: Nature Neuroscience