近期，中国科学院上海光学精密机械研究所信息光学与光电技术实验室与德国斯图加特大学应用光学研究所、美国麻省理工学院合作，提出并实验验证了一种基于物理模型和深度神经网络的新型计算成像方法，无需大量带标签的数据来完成神经网络训练，将能有力促进人工智能技术在计算成像中的广泛应用。相关成果于5月6日在线发表于《光：科学与应用》(Light: Science & Applications)。
近年来，基于深度学习的方法被广泛应用于计算成像中，在相位恢复、数字全息、单像素成像、散射成像等众多领域取得了一系列令人瞩目的成果。然而，传统基于深度学习的计算成像方法大都采用监督学习的策略，因此需要预先获取大量带标签的数据来训练神经网络，且所获取数据的数量和质量对所得模型的性能具有很大影响，而在实际应用中这一条件往往是难以满足的。尽管此前研究表明，当成像系统的正向物理模型已知时可以通过仿真生成训练数据，但是神经网络的泛化性总是有限的，所得模型只能对类似训练集的场景得到较好的结果。
针对基于深度学习的计算成像方法中训练数据难以获取和模型泛化性有限的问题，研究人员提出将物理模型与神经网络相结合的方法(Physics-enhanced deep neural network, PhysenNet)，利用物理模型替代训练数据来驱动网络参数的优化。相比传统数据驱动的端到端深度学习方法，PhysenNet无需获取训练数据且是一种具有普适性的方法。相比模型驱动的优化算法，PhysenNet无需使用显式正则项就能用于病态逆问题（从探测到的物理测量中恢复原始物体信息，在探测阶段存在诸如相位等信息丢失）的求解。
研究人员以计算成像中的经典例子——相位成像来验证该方法的有效性，通过不断迭代使神经网络输出结果经衍射传播和测量过程（物理模型）后计算得到的衍射强度图逐渐逼近实际测量的衍射强度图，随着迭代的进行，神经网络输出结果也逐渐逼近实际待求相位物体（图1）。实验结果（图2）表明，在仅使用单张衍射强度图时，PhysenNet的恢复效果优于需在多个离焦面之间来回迭代的Gerchberg-Saxton（GS）算法的恢复效果，且接近数字全息方法的恢复效果。该方法可应用于众多正向物理模型已知的计算成像方法中。
该项工作得到中科院前沿科学重点研究计划、中德中心“中德合作小组”和国家自然科学基金重大项目的支持。
图1 PhysenNet原理图
图2 实验结果 (a)实验装置图；(b)和(g)两个相位型物体的衍射强度图分别为(c)和(h); 利用PhysenNet、数字全息、GS方法恢复的结果分别为(d)和(i)、(e)和(j)、(f)和(k)
来源：中国科学院上海光学精密机械研究所
