世界首台SKA区域中心原型机,了解一下

科技工作者之家 2019-11-21

来源:中国科学报

作者 | 程唯珈 卜叶 

人类史上最大天文装置——平方公里阵列(SKA)射电望远镜预计2020年启动建设。

作为创始成员国之一,中国除了参与研发这个超级望远镜的反射面天线,也在为建设区域中心积极进行准备工作。

近日,我国科学家成功研制出世界首台SKA区域中心原型机。

20191121100711_fa5cd4.jpg

中国SKA区域中心原型机 图片来源:《自然—天文》

“没有SKA区域中心,就无法开展真正意义上的SKA科学研究。”中科院上海天文台研究员安涛告诉《中国科学报》,此项研究不仅有助于我国科学家在关键科学项目中优先获得数据从而把握创新突破的先机,而且能极大促进国内超算和大数据相关领域自主创新能力。

相关成果日前发表于《自然—天文》。 

分担总台数据处理压力   

宇宙从何而来,将向何处去?SKA的建设和运行将为这些问题的解答打开一个窗口。

不同于“中国天眼”FAST,SKA是由一系列小单元天线编织成的巨大网络,也称综合孔径射电望远镜。它不仅能直接成像,还能得到海量的数据,这些数据需要射电天文学家运用专门的软件处理,将数据转化为科学成果,从数据中“看见”宇宙。

然而,SKA产生的数据量极其庞大,台址国数据处理中心的承受能力无法满足SKA完整的数据处理和存储需求,建设多个区域性科学与数据中心成为了必然选择。

“SKA的两组望远镜阵列分别位于南非和澳大利亚,而另外的大多数成员国也希望有些数据能储存在北半球,方便用户使用。”安涛补充道。

不过,区域中心不仅需要分担SKA天文台的数据处理总体压力,更重要的是,它们要承担本地区的用户支持,使得SKA科学成果最大化。

事实上,各个国家和地区的科研水平和关注的学术领域不尽相同,不同科学任务要求的计算架构和软件环境也都不同。台址国超算设备的设计一旦固化,就缺乏灵活性,只有区域中心才有能力充分考虑用户的差异化需求。  

建造区域中心原型机

这样的区域中心的技术要求和建设成本相当高,因此需要关键设备等的预研。原型机的建造就是重要的预研内容之一。

目前,中国虽然有“天河二号”“神威·太湖之光”等超算设备,但计算能力难以满足SKA庞大而复杂的数据处理要求。

为了方便数据的国际共享,区域中心必须方便国际同行访问提取,实现宽带低延迟国际互联。这些无疑都增加了原型机的研制难度。

安涛介绍,成功研制的中国SKA区域中心原型机,整体设计充分考虑了各方面需求,整个系统采用“软硬件协同设计”的思想,即根据应用程序的特征,选择合适的硬件和软件组件,以实现在有限功耗下的最佳性能。

此次研制的原型机在计算、存储、网络三大模块中均有创新突破。

计算模块采用新型数据岛架构,由执行框架将整个数据中心按照任务需求分成若干个小区域或多个子数据中心,既可以独立执行数据处理任务,也可以根据需求灵活重组资源,满足SKA多任务并行处理的要求。

此外,中国SKA区域中心原型机还首次采用了华为鲲鹏处理器,基准测试表明该服务器整体性能优良。

不过,在处理SKA先导望远镜的实测数据中,原型机会遇到实际的问题,有些可能是事先无法预测的,这为未来建设完整意义的中国SKA区域中心提供了宝贵经验。

安涛介绍,原型机还有一个任务是测试软件和算法,研究这些软件在大型集群上的扩展性。“比如我们和国际合作团队在美国SUMMIT(世界上最快的超算)上开展大规模实验之前,就在原型机上做了大量测试。”

他指出,要想针对不同科学用户和科学需求,定制不同的计算和存储设备组合,使得区域中心能够发挥最大效率,经济运行成本也需考虑在内。 

区域中心并非单纯超算

事实上,中国并非一早就参与了SKA区域中心原型机的研究,世界上有很多国家很早就开始了SKA科学数据处理器的研究工作。受各国现实条件等的影响,最终中科院上海天文台成功研制了中国SKA区域中心原型机,成为世界上首台SKA区域中心原型机。

在中科院上海天文台研究员洪晓瑜看来,我国领先的超算能力和日益增长的综合科技实力,为建设中国SKA区域中心的数据处理平台奠定了重要基础。

区域中心就是简单意义上的超算吗?答案是否定的。

相比于传统的服务于通用型需求的国家超算,中国SKA区域中心对系统架构、业务目标、技术都提出了更高的挑战。

首先,SKA区域中心是以数据处理为中心而非以计算为中心,SKA数据的运算和管理主要是以数据驱动的工作流模式,巨大的数据流对输入输出(I/O)带宽、单服务器存储容量与存储介质的性能均提出了极致需求,而这些都不是国家超算的主流业务类型。

其次,计算平台是专门设计的异构系统。与国家超算强调节点同构以支持大规模作业运行或提供通用计算服务不同,SKA区域中心需要支持众多不同科学目标的科学工作组,其软件特征差异巨大,不适宜用同构的、通用服务型超算中心进行承载。

洪晓瑜告诉《中国科学报》,中国SKA区域中心是国际SKA区域中心体系的一个关键节点,不仅承担第一层级数据(每年百PB量级)的接收、运算、管理和存档,而且需要与其他区域中心进行数据交换和协同工作,它还依赖于科学软件的研发和科学用户的长期服务支撑,这些都不是通用型国家超算可以比拟的。

总体而言,区域中心除了承担计算和存储的国际义务,更重要的是承担研发SKA数据处理软件、培养中国SKA第一梯队科研人才的重任。

“中国SKA区域中心一旦建成,意味着中国科学家不出国门,就能便捷使用数据产出科学成果,并吸引国际伙伴来中国进行科学研究和交流。”安涛表示,下一步团队将逐步向国内外用户开放,支持天文学家使用原型机分析处理SKA先导望远镜数据。 

相关论文信息:

https://doi.org/10.1038/s41550-019-0943-4

来源:china_sci 中国科学报

原文链接:http://mp.weixin.qq.com/s?__biz=MzA3NTE5MzIzMg==&mid=2654261556&idx=6&sn=e87da3e88255745ffaccbabfa433ffd9&chksm=84b43fcbb3c3b6dd48dbe691fbeaf1ae1eb66130d23f266229ea958941f5f9e57439ed72bbb9&scene=27#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

数据处理 原型设计 安涛

推荐资讯