使用源自大脑活动的潜在扩散模型重建高分辨率图像
使用大脑活动重建视觉体验是一种独特的方法，可以更好地理解大脑感知世界的方式以及计算机视觉模型之间的关系。 用高保真语义重建逼真的图像是一个难题，尽管深度生成模型最近被用于这项任务。 我们提出了一种基于扩散 (DM) 模型的新技术来重建从功能磁共振成像测量的大脑活动中获取的图像。 更具体地说，我们依赖于称为稳定扩散的潜在扩散模型 (LDM)。 该模型降低了 DM 的计算成本，同时保持了它们的高生成性能。 我们通过研究 LDM 的各个组成部分（例如图像 Z 的潜在向量、条件输入 C 和去噪 UNet 的不同元素）之间的关系来表征 LDM 的内部机制。 我们提出的方法能够以直接的方式重建高分辨率、高保真度的图像，无需额外的训练或微调复杂的深度学习模型。 从神经科学的角度来看，我们还提供了不同 LDM 组件的定量解释。 我们的研究提供了一个理解 DM 的框架，并提出了一种有望利用人脑活动重建图像的方法。 请访问我们的网站 https://www.acs.org/。
作者没有声明任何竞争利益。
来源和详细信息：
https://www.biorxiv.org/content/10.1101/2022.11.18.517004v1