Odom课题组：深度学习实现光学显微镜下纳米颗粒空间定向

Odom组胡竞天研之成理

▲第一作者：胡竞天；通讯作者：Teri W. Odom

通讯单位：Northwestern University (Evanston, IL)

论文DOI：https://doi.org/10.1021/acscentsci.0c01252

全文速览

本研究工作将深度学习算法与微分干涉对比（DIC）显微技术结合，通过其强大的图像分析能力实现各向异性金纳米颗粒的空间定向。

背景介绍

光学显微镜是研究细胞动态运输的主要表征方法，能够通过观测细胞内结构和物质的移动来理解运输的机理，对于开发以靶向运输为核心的疾病诊断及治疗起到关键作用。近年的研究发现，在运输过程中，旋转运动相比于平移运动包含更多的机理信息。然而，运输靶向药物的载体以及参与运输的细胞结构（细胞膜表面受体以及小泡）大小通常在200纳米以下，受限于衍射极限的物理障碍难以用光学显微镜观测其旋转。

佐治亚州立大学方宁教授基于微分干涉对比（DIC）显微镜实现金纳米棒粒子的定向和旋转跟踪技术，可以用于获取复杂细胞环境中的信息[1]。在DIC显微镜下，各向异性的金属纳米颗粒会基于其结构和空间定向差异呈现不同明暗对比的图案。因此，根据这些图案可逆向推断出纳米颗粒的空间定向，从而实现旋转跟踪。Odom组之前也曾用DIC显微技术，通过追踪星状纳米颗粒的旋转频率分布，区分由受体（HER2）主导的靶向与非靶向运输机理(图1)。然而，细胞环境中纳米载体及其运输结构通常呈现复杂的三维旋转，导致还原空间定向十分困难。此外，现存的定向方法多依赖人为比较或传统图片分析方法，速度和可靠性都存在缺陷。

本文亮点

卷积神经网络实现精准纳米粒空间定向；在多种成像环境（背景结构及噪音）中误差在20度以下；高度各向异性纳米星颗粒具有多光谱共振，可实现多维度定向追踪。

图文解析

本项研究通过在DIC显微系统中引入深度学习模型，建立了一个可用于三维追踪纳米颗粒旋转的方法（图1）。卷积神经网络模型用纳米颗粒在各个空间朝向所呈现的DIC图像构成的图片训练后，能够准确基于新输入的图像预测相应纳米颗粒的空间定向，并在多种成像环境（背景结构及噪音）表现出较强的抗干扰能力。此研究同时表明，纳米棒由于其二重轴对称的结构只能实现平面中0-180度的空间定向，而结构各向异性的纳米星能将此范围扩展到全部0-360度。最后，巧妙设计的多光谱共振的纳米星结合多波长DIC成像实现三维空间定向。

▲图1：深度学习结合DIC显微技术实现纳米颗粒智能空间定向。

在建立深度学习模型前需要：

（1）构建用于优化及测试卷积网络的数据集；

（2）定义用于量化评估模型误差的代价方程（图2）。之后卷积神经网络的优化由PyTorch内置的函数完成。

▲图2a：数据集从已知空间指向的纳米粒的DIC成像中提取图案，再经过

数据扩增获得

● 数据扩增保留与颗粒定向相关的信息：DIC图案及其旋转角度。

● 数据扩增随机改变与颗粒定向相关的信息：图案位置，大小，背景杂音。

● 数据集中部分标记角度被预留作为测试集，用于评价训练完成后的模型。

● 剩余数据集被分为训练集和验证集，后者仅用于避免过拟合。

图2b：基于极坐标系（或球坐标）定义代价函数。

● 误差定义为预测角度和实际角度在单位半径极坐标中的距离。

● 有效解决转角的周期性问题。

● 解决多维旋转问题时可拓展到球坐标系。

▲图3：棒状纳米颗粒平面内空间定向结果。

作为概念验证，我们展示了用深度学习模型实现棒状纳米颗粒在平面内旋转的空间定向。图3显示训练完成的模型预测角度与实际角度一致，误差在20度以下，证明深度学习模型在理想条件下对纳米颗粒的空间定向高度精准。

▲图4：DIC深度学习模型适用于多种成像环境背景

实际的DIC显微环境中通常会有背景干扰目标纳米粒的成像结果。因此，深度学习模型走向实际应用前必须评估该方法抵抗这些干扰的能力（图4）。

图4a：在不同背景下获取DIC图像的过程。背景图样由盖玻片上5纳米镉图案构成

图4b：深度学习模型在不同背景下预测平面角度结果准确。

▲图5：多光谱共振金纳米颗粒的多维空间定向。(a) 纳米星不同波长下的等离子体共振呈现不同空间朝向。(b) 深度学习网络通过综合分析多波长下DIC图片实现平面外空间定向。

最后，本项研究巧妙设计了一个呈现多光谱共振的纳米颗粒，以实现多维空间定向。此纳米星在724，785，815纳米的局域等离子共振分布在不同平面，相应的DIC成像也就包含了不同的旋转角度的信息（图5a）。使用此颗粒作为定向探针时，深度学习模型通过同时分析多个波段的DIC图片，能够同时确定平面内转角φ和平面外转角θ，实现精准的多维度空间定向（图5b）。

总结与展望

卷积网络的深度学习方法结合独特的纳米星探针设计，使得空间定向得以实现，能够实时追踪细胞物质运输中的旋转运动，有望成为研究亚细胞动力学以及设计靶向药物的关键工具。该方法走向广泛应用的主要阻碍在于，目前获取多光谱共振纳米星结构并收集其在各三维空间朝向的DIC图片数据集有较大难度，且需耗费大量时间。这些局限有望随着近年微纳加工与机电技术的迅速发展迎刃而解。

参考文献

[1] G. Wang, W. Sun, Y. Luo, N. Fang, J. Am. Chem. Soc. 2010, 132, 16417

[2] D. Bhowmik, K.S.B. Culver, T. Liu, T.W. Odom, ACS Nano 2019, 13, 13637

心得与体会

近年深度学习领域迅速发展，出现了众多诸如TensorFlow和PyTorch的成熟工具，虽然使用时依旧需要基本的编程能力，但是门槛已经大大降低，未来甚至可能会成为像Photoshop及Excel一样普遍的工具。因此，在各种实验科学领域有一定计算机基础的小伙伴们不妨了解深度学习（或其它数据科学方法）的基本原理，却不一定需要过于深入。相对来说，发现适合用这些工具解决的问题才是用好这些新兴方法的关键。

参考文献

[1] G. Wang, W. Sun, Y. Luo, N. Fang, J. Am. Chem. Soc. 2010, 132, 16417

[2] D. Bhowmik, K.S.B. Culver, T. Liu, T.W. Odom, ACS Nano 2019, 13, 13637

作者与课题组介绍

作者介绍：胡竞天，1992年生于湖北，2013年毕业于伊利诺伊大学厄本那香槟校区（UIUC），2019年博士毕业于西北大学材料系Teri Odom组，主要研究方向为进化算法设计等离子体超表面。

胡竞天谷歌学术网页：

https://scholar.google.com/citations?user=3GIdO3wAAAAJ&hl=en&oi=sra

Teri Odom组网页：

https://www.odomgroup.northwestern.edu/about/

相

关