基于深度学习的模糊对象的鬼成像

训练集:ENMNIST    模糊对象通过Airy卷积获得

测试集:多缝

本文神经网络:新的残差神经网络 (ResNetV2)、残差密集块 (RDB) 和 eHoloNet

深度学习与鬼成像的发展历程:

1.  2017年,Lyu等人基于深度学习。提出了一种新的计算幽灵成像(CGI)框架。利用重建后的GI图像和原始对象对深度神经网络(DNN)进行训练,训练后的DNN可以在低采样条件下提高重建质量。[15]

 M. Lyu, W. Wang, H. Wang, and G. Situ, “Deep-learning-based ghost imaging,” Sci. Rep. 7, 17865 (2017).

2. He等人还意识到,在低采样下,基于深度学习(GIDL)的鬼成像在提取物体特征方面具有优势,可以在卷积神经网络(CNN)结构中重建更复杂的目标.[16]

 Y. He, G. Wang, G. Dong, and Z. Xu, “Ghost imaging based on deep learning,” Sci. Rep. 8, 6469 (2018).

3. 2018年,提出了一种不同于GIDL的端到端鬼成像方法,GIDL以重建的GI图像作为训练集[17],在端到端方法中,没有必要使用GI图像.相反,它可以直接用桶状信号重建对象(eHoloNet)

 H. Wang, M. Lyu, and G. Situ, “eHoloNet: a learning-based end-toend approach for in-line digital holographic reconstruction,” Opt. Express 26, 22603–22614 (2018).

4. 2019年,将RNN(残差神经网络)和eHoloNet结合起来,提高了低采样神经网络的泛化和质量

F. Wang, H. Wang, H. Wang, G. Li, and G. Situ, “Learning from simulation: An end-to-end deep-learning approach for computational ghost imaging,” Opt. Express 27, 25560–25572 (2019).

5. Wu 等人提出了一种深度神经网络 (DAttNet),在亚奈奎斯特采样率 (SNSR) 下仅使用一维光强度序列 (1D LIS) 来重建高质量的物体图像[19]

 H. Wu, R. Wang, G. Zhao, L. Cheng, and X. Zhang, “Sub-Nyquist computational ghost imaging with deep learning,” Opt. Express 28, 3846–3853 (2020).

6. 2021年,基于DAttNet的架构,他们提出了一种基于混合(hybrid)神经网络(HNN)的自适应CGI方法,可以在不同的SNSR上获得高质量的图像[20]

 H. Wu, G. Zhao, M. Chen, and L. Cheng, “Hybrid neural networkbased adaptive computational ghost imaging,” Opt. Lasers Eng. 140, 106529 (2021).

现实原因:物体在成像前有可能受到损伤

(使用ResNetV2,一旦提供了损坏的定义,就可以完美地重建损坏的对象。)

原理:

模糊对象:原始物体的物体函数 卷积 艾里斑

桶信号:

 

 

GIDL中使用的是重建GI和原始图像的进行的训练

GIDL的方法类似于成像去噪,因为它使用鬼成像成像后的图像来重建图像。由于基于学习的方法,GIDL可以在很大程度上提高成像质量,即[15,16]。但是,GIDL 中的重建也很耗时(缺点)

(方案):用端到端的DLGI方法[17],它可以直接用桶信号重构对象 

DLGI使用桶信号和原始图像进行训练

神经网络训练的本质是迭代和优化可学习参数(如权值和偏差)

训练集

给定一个大小为M2×1024的随机矩阵A,矩阵A的行数表示采样数,每一行的数据表示重新塑造的随机模式

对于ENMNIST的灰度图像,大小为28×28,我们填充边缘得到32×32大小的对象O(x,y)j

 

 

模拟:

(第一轮)艾里斑卷积核为20*20,GI与DLGI方法的比较

                  可以看到 GI 不能重建模糊对象,而DLGI在使用阵列桶信号的重建中效果很好。

 

 (第二轮)不同卷积大小

                   随着艾里尺寸的进一步增加,重建成像的质量会下降

 (第三轮)用multi—slit(多缝)进行测试,Airy尺寸为16×16

                   进行不同数量的缝和不同的缝距离d

                 ​​​​​​​  数量一定,质量随着d增加而增加,||,d一定,数量与质量成反比  

 (第四轮)艾里斑卷积核大小、缝的数量、缝的距离,第四个实验中,距离一定d=5pixels 改变另两个

 不同艾里尺寸的卷积下测试,这意味着不同的模糊级别

原理解释:桶信号Sj的方差 

 

方差(variance)越大,桶状信号的波动(fluctuation)就越大。根据GI理论,在大波动下很难重建物体。 随着狭缝距离的减小和狭缝数量的增加,方差增加,随着Airy大小或缝数的增加,或缝距离的减小,从可恢复到不可恢复。

有一个关键的方差允许重建(临界值)。方差小于临界值的情况是可恢复,而大于临界值的情况则不可恢复。

特例:由于衍射的限制,σ小于临界值,也很难恢复任何多缝物体。

           由于狭缝距离要小得多,即使没有模糊,也无法重建。

实际上,艾里卷积的本质就是以原始物体的每个像素为中心,对艾里进行加权求和。卷积后,原始物体的边界被模糊,模糊的程度取决于艾里斑的大小

相比之下,当一个对象被覆盖或缺陷时,它本质上(essentially)意味着向原始对象添加了另一个对象或删除了部分信息。其共同特点是使原始对象信息失真,可以理解为向原始对象添加了不同类型的噪声

 

由于给出了噪声类型,因此可以通过实验重建模糊对象以及被覆盖和有缺陷的对象。 

 

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注