Исследователи из Университета Осаки обучили искусственный интеллект воссоздавать изображение, на которое смотрит человек. За основу они взяли популярную программу Stable Diffusion, которая создаёт картинки с помощью текста. Точность распознавания составила 80%. Эксперты заговорили о первой в мире нейросети для чтения мыслей.
На самом деле проекты, которые можно трактовать как чтение компьютером человеческих мыслей (образов, намерений), существуют давно. Aif.ru рассказывает, чего удалось добиться учёным.
Воспроизводит форму и даже цвета
Метод работы нейросети, которую использовали японцы, заключается в том, что она формирует изображение по ключевым словам, а каждая новая текстовая подсказка делает картинку более точной. Учёные добавили в эту схему ещё один этап обучения. Программе было предложено сопоставлять данные мозговой активности четырёх участников эксперимента, анализируя результаты МРТ (магнитно-резонансной томографии). Людям показывали разные фотографии с текстовым описанием изображений, а нейросеть в это время фиксировала и запоминала, какие участки мозга возбуждены.
Всего добровольцам продемонстрировали около 10 тысяч изображений, система собрала картины мозговой активности, а искусственный интеллект сопоставил их и расшифровал. Он соотносил полученную текстовую и визуальную информацию с зафиксированной активностью человеческого мозга. Завершив обучение, система стала способна довольно точно воспроизводить форму и даже цвета тех объектов, на которые смотрели участники эксперимента. Совпадения были зафиксированы в 80% случаев.
В ходе исследования его авторы выяснили, что за восприятие изображений у нас отвечают затылочная и височная доли мозга. Одна анализирует построение картины (её перспективу, размер, расположение объектов), другая — её содержание.
«Мы показали, что наш метод способен воспроизводить изображения с достаточно высоким разрешением и семантической точностью. Это позволяет эффективно читать мысли людей», — пишут японские исследователи в своей статье.
По их мнению, технология позволит наладить коммуникацию с парализованными людьми, узнать, как видят мир животные, и, возможно, даже записывать наши сновидения.
Преобразовывает мозговые волны в слова
Результаты исследования, проведённого в Университете Осаки, впечатляют. Но всё-таки назвать чтением мыслей это можно с большой натяжкой. По сути, речь идёт о распознавании образов, а мысль как действие разума — понятие более широкое и сложное.
Обездвиженный пациент выбирает взглядом букву на экране компьютера, затем другую, третью — и программа складывает их в слово. Инвалид-колясочник думает о том, что надо повернуть направо — и коляска поворачивает. По большому счёту, это тоже чтение мыслей, но этим уже мало кого удивишь. Закреплённые на голове датчики (а лучше имплантированные в головной мозг) считывают простые намерения и реализовывают их. Эту технологию, получившую название нейрокомпьютерный интерфейс (Brain-Computer Interface, BCI), наука освоила давно.
Летом 2021 года учёные из Калифорнийского университета в Сан-Франциско впервые смогли «прочитать мысли» парализованного человека с помощью нейроимпланта, который преобразовывает мозговые волны в слова. Этот пациент потерял способность говорить, перенеся инсульт, но его когнитивные функции остались неизменными, и он мог частично двигать головой, шеей и конечностями. Ему имплантировали на поверхность мозга электроды и попросили выбирать те или иные слова и буквы на экране планшета, а компьютер анализировал возникающие мозговые импульсы.
В конце концов набрался словарик из 50 слов («вода», «семья», «хорошо» и др.), после чего к эксперименту подключили искусственный интеллект. Он научился распознавать активность мозга и те слова, которые хотел бы произнести человек. Но поскольку он не мог этого сделать, то просто думал о них, а компьютер писал их на мониторе либо озвучивал голосом робота.
Меняет сюжет фильма
Исследования в области нейрокомпьютерных интерфейсов ведутся во множестве стран, в том числе в России. А в Китае, например, разработали микросхему, которая способна преобразовывать сигналы нейронов в цифровые данные. Подробности не сообщаются, известно лишь, что это чип.
Неожиданное решение было предложено в киноиндустрии. Пять лет назад британский режиссёр Ричард Рэмчерн представил фильм, сюжет которого зритель мог менять силой мысли. Для этого надо надеть шлем для регистрации мозговой активности, похожий на приборы для снятия ЭЭГ. Стоит пользователю подумать о том, что ему не нравится какая-то сцена, как она корректируется, и действие переключается на другую сюжетную линию.
Конечно, набор таких линий ограничен и разветвлённого сценария с разными вариантами развития событий создать невозможно, но сам этот эксперимент показывает: применения у технологий «чтения мыслей» могут быть весьма неожиданные.