Light：非结构化阵列像感器十亿像素智能成像学术资讯

来源：两江科技评论

人类获取的信息80%以上来自视觉，成像系统作为核心技术已经在科学观测、智慧城市和公共安全等方面取得了长足的发展。针对动态大场景多对象（十亿像素成像）兼顾“看得全”和“看得清”的迫切需求，面临宽视场与高分辨不可兼得的固有矛盾。科学家们瞄准这一难题历经了探索与攻关，取得了系列突破。

第一代单像感器成像系统（以Gigapan为代表），通过扫描拼接成十亿像素图像；第二代结构化阵列像感器成像系统（以杜克大学AWARE为代表），沿用均匀采样原理，采用同构像感器阵列，硬件结构固化，标定过程依赖相邻像感器重叠的视场区域，标定算法复杂度高。进一步提高系统的鲁棒性和可扩展性代价大。

针对宽视场与高分辨的固有矛盾，清华大学方璐团队另辟蹊径，率先提出了非结构化计算成像新原理，成功研制了阵列像感器十亿像素智能成像系统（UnsctructuredCam）。

非结构化计算成像新原理的特征是“层内非结构”和“层间主从式异构”：（1）“层内非结构” 摒弃了现有结构化阵列的均匀化采样、信号同分布假设，突破了相邻像感器间结构固化和视场重叠的制约，赋予像感器阵列场景内容自适应成像的能力；（2）“层间异构”提出了主从式硬件子系统分治机制和多尺度场景内容关联机制，突破了现有结构化阵列像感器尺度单一和难以扩展的瓶颈，赋予阵列像感器成像系统高鲁棒、易标定、可扩展特性。实现了十亿像素级全景360度动态三维成像，提出了高分辨参考的跨尺度深度超分辨算法，全局像感器感知低分辨全景深度，局部像感器感知高分辨细节，实现了动态大场景百米级深度感知与重建。

图1 阵列像感器十亿像素智能成像系统（UnsctructuredCam）

视频1：UnstructuredCam具有高鲁棒和易标定特性

图2 UnstructuredCam具有视场和感知维度可扩展特性

视频2：十亿像素级全景三维成像

课题组应用UnsctructuredCam构建了国际首个十亿像素级大场景多对象视频数据平台PANDA (gigaPixel-level humAN-centric viDeo dAtaset)，对象标注框达3000人/单帧，对象尺度变化超500倍，对象遮挡比例达50.9%。PANDA突破了人眼视觉分辨率的极限，填补了大场景下高密度人群数据平台的空白，为探索视觉智能新方向提供了不可或缺的数据基础。

视频3：十亿像素智能成像

研制的非结构化阵列像感器十亿像素智能成像系统可应用于边海防、智慧城市、公共安全、无人系统、虚拟现实等领域。

文章信息：

该研究成果以"A modular hierarchical array camera"为题在线发表在Light: Science & Applications。

本文通讯作者为方璐副教授，第一作者为清华大学博士后袁肖赟和季梦奇。该项目得到了国家自然科学基金的支持。

来源：imeta-center 两江科技评论

原文链接：http://mp.weixin.qq.com/s?__biz=MzU0NDgwMjI0MQ==&mid=2247496170&idx=2&sn=98511873d466a7e5851f2cae705c1697

电话：（010）86409582

邮箱：kejie@scimall.org.cn