Как отмечают исследователи в своей статье, опубликованной до публикации, расшифровка языка на основе активности мозга является долгожданной целью как в области здравоохранения, так и в области неврологии. Сегодня существуют внутричерепные устройства, которые при обучении реакции мозга на основные лингвистические задачи способны эффективно декодировать интерпретируемые признаки (например, буквы, слова, спектрограммы). Однако эти устройства довольно инвазивны и, как правило, не подходят для естественной речи.

Поэтому Жан-Реми Кинг и его коллеги из компании Meta разработали ИИ, способный переводить записи магнито- и электроэнцефалографии (которые являются неинвазивными методами) в слова. Технология все еще находится в зачаточном состоянии, но первые результаты обнадеживают: для каждой записи ИИ предсказывал список из 10 слов, и в 73% случаев этот список включал правильное слово; в 44% случаев первое предсказанное слово было правильным. Следующим шагом может быть попытка интерпретировать мысли человека.

Перевод мозговой активности в слова

Для обучения ИИ Кинг и его коллеги использовали общедоступные наборы данных о мозговых волнах 169 добровольцев, собранные во время прослушивания записей естественной речи людей. Эти волновые данные, записанные с помощью магнито- или электроэнцефалографии (М/ЭЭГ), были разделены на трехсекундные блоки и переданы в ИИ вместе с соответствующими звуковыми файлами — цель программы заключалась в том, чтобы сравнить их для выявления закономерностей.

Из имеющихся данных 10% было зарезервировано для этапа тестирования. Другими словами, эти мозговые волны никогда ранее не исследовались ИИ. И программа блестяще прошла тест: она смогла определить по мозговым волнам, какие отдельные слова из списка 793 слов каждый человек слушал в этот момент.

«Результаты показывают, что наша модель может идентифицировать из 3-х сигналов MEG соответствующий речевой сегмент с точностью до 72,5% в топ-10 из 1594 отдельных сегментов (и 44% в топ-1)«, уточняют исследователи. Для записей типа ЭЭГ ИИ показал более низкую точность: он смог предсказать список из десяти слов, содержащих правильное слово, в 19,1% случаев из 2604 различных сегментов.

На сегодняшний день у Meta нет конкретных коммерческих целей, но для команды эти результаты указывают на перспективный путь к расшифровке обработки естественного языка в реальном времени на основе неинвазивных записей активности мозга.

Возможности прогнозирования все еще далеки от возможностей человеческого мозга

Некоторые эксперты по-прежнему скептически относятся к этим показателям, считая, что эта технология еще далека от достаточной точности для реального применения. Они считают, что записи магнитоэнцефалографии и электроэнцефалографии никогда не будут достаточно подробными, чтобы однажды можно было повысить точность предсказания. В мозге происходит множество процессов, которые в любой момент могут помешать мозговым волнам, связанным со слушанием.

Однако Кинг не теряет уверенности, хотя и признает, что ИИ в его нынешнем виде малоэффективен — определение того, какие слова человек слышит в данный момент времени, малоэффективно. С другой стороны, эта технология может привести к разработке системы, способной интерпретировать мысли человека и, таким образом, потенциально позволяющей людям, не способным говорить, снова общаться — особенно амбициозная цель, учитывая сложность задачи.

Недавно компания Meta объявила о долгосрочном исследовательском партнерстве — с центром визуализации мозга NeuroSpin при CEA и INRIA — для изучения человеческого мозга и, в частности, того, как он обрабатывает язык. Цель — собрать данные, необходимые для разработки ИИ, способного обрабатывать речь и текст так же эффективно, как человек.

Несколько исследований уже показали, что мозг систематически организован в иерархию, которая поразительно похожа на языковые модели ИИ. Однако определенные области мозга предвидят не только слова, но и идеи относительно далеко вперед, в то время как большинство современных языковых моделей обучены предсказывать только следующее слово. «Разблокирование этой способности к долгосрочному прогнозированию может помочь улучшить современные языковые модели ИИ«, — говорится в блоге компании.