忻获麟教授：深度学习实现亚埃级分辨率电子三维重建

来源：研之成理

三维断层成像技术（tomography），打破了传统二维投影成像的限制，越来越广泛的应用到材料研究领域，极大的促进了对材料构效关系的研究。这项技术发展至今，已经成为了研究材料科学的有力手段。通过一系列二维片层图像，通过数学变换得到物体三维结构。最常见的例子如医用CT，通过采集不同角度的X射线信息，得到病人病变组织的确切信息。

对于所有的tomography技术而言，都会存在一个共有的问题---缺失角度，这通常是由于采集角度范围受限且不连续造成的，因此在倒易空间内，采集的图像会出现很大的缺失角度，严重的影响了重构图像质量。尽管一些传统的方法也可以一定程度上弥补这种不足，但是效果差强人意。Xin等人此前率先地将深度学习生成对抗网络应用到tomography的重建[1]，通过深度学习将缺失的信息填补起来，并且消除重构过程中产生的噪音，伪影等。结果发现通过深度学习能够非常精确的补充缺失角度的信息，获得高质量的重构结果。

▲Figure 1 IRDM模型的设计思路

在最近的工作中，Xin等研究人员再次利用深度学习的理念，将三维重构的空间分辨率提升到0.7埃，是迄今为止最高分辨率的三维重构[2]。作者通过生成对抗网络设计并训练了图形恢复-去噪的模型（IRDM），这种模型和此前报道的结果相似，相比于传统的WBP，SART等数学方法有更强大的图形恢复能力。即便是缺失角达到80°，IRDM都能够有着良好的图形恢复效果。

▲Figure 2 IRDM与传统数学方法在不同缺失角下的结果对比

▲Figure 3 不同重建方法的性能对比

为了在实际的重构结果中解决缺失角问题，作者将IRDM应用到了原子分辨率的重构中。作者分别对比了传统的WBP方法和依托于深度学习的IRDM，结果显示，在WBP方法中，倒易空间的缺失角信息非常明显，同时，空间分辨率只有1. 42埃。而在IRDM方法中，此前WBP无法重建的242，440晶面族的布拉格点也能够清楚的显示出来，分辨率达到0.7埃。

▲Figure 4 WBP与IRDM在原子级重构中的性能对比

值得一提的是，尽管训练IRDM的数据，例如大脑，CT图像等，和电子显微重构并没有直接的联系，但是该模型依然取得了良好的重构结果。其中的原因在于原子图像无论从形状还是明暗对比度方面都更加简单，这意味着，尽管尺度不同，但是相似的特征已经被数据库覆盖。

实际上，缺失角问题并不只存在于电子显微重构，在很多诸如医疗领域的CT, MRI等技术中同样存在，尽管TVM这一类正则化恢复技术能够在低角度缺失的情况下有效的恢复数据，但是对于大角度缺失的条件下，很难得到准确的结果。相比于传统方法，深度学习的优点更加明显：

1，不需要复杂的公式；

2，不需要多次的迭代；

3，通过改善数据库可以很快的提升性能；

4，模型的设计更加灵活，可以应用于不同的技术中。

总的来说，深度学习正在从各种各样的角度给我们的技术带来深刻的变革。

[1] Ding, G., Liu, Y., Zhang, R. et al. A joint deep learning model to recover information and reduce artifacts in missing-wedge sinograms for electron tomography and beyond. Sci Rep 9, 12803 (2019).

[2] Wang, C., Ding, G., Liu, Y. and Xin, H.L. (2020), 0.7 Å Resolution Electron Tomography Enabled by Deep‐Learning‐Aided Information Recovery. Adv. Intell. Syst. 2000152.