Способность воссоздать визуальный образ на основе мыслей человека, буквально напрямую из головы – звучит как сюжет из фантастического романа. Но это – реальность, которая становится возможной с помощью технологий ИИ.
Японские исследователи из Осакского университета провели смелый и весьма футуристический эксперимент. Он попробовали воспроизвести изображения, которые видели участники эксперимента, с помощью данных, полученных посредством fMRT (Разновидностью МРТ для нейровизуализации) в Stable Diffusion. Сначала участникам эксперимента показывали определенные изображения, затем снимали показания через МРТ, а полученные данные преобразовывались в изображения с помощью Stable Diffusion. Иными словами, активность нейронов была декодирована и подана в Stable Diffusion для генерации картинки.
⚠️Самое потрясающее в том, что ученым удалось таким образом получить достаточно точные изображения, очень близкие к тем, что человек видел в реальности!
Авторы говорят, что их простая структура может реконструировать изображения с высоким разрешением на основе мозговой активности с высокой семантической точностью, без необходимости обучения или тонкой настройки сложных глубоких генеративных моделей. То есть для процесса не потребуется обучать новую большую модель по типу Stable Diffusion. Исследование вплотную приближает нас к пониманию того, как наш мозг обрабатывает изображения.
