城市智慧治理政务大数据应用系统设计和实践

科技工作者之家 2020-09-12

来源:中国测绘学会智慧城市工作委员会

进入21世纪,在飞速发展的信息技术支持下,人们终于可以处理超大规模数据。所谓超大规模,指比以往处理的数据量至少大1000倍,达到PB级别,即250B数据。数据量及数据处理速度的突发猛进,极大降低了决策时的主观性和实施风险,如美国现任总统特朗普及前任总统奥巴马在总统竞选过程中,无不利用大数据技术,对超大规模数据进行分析挖掘,寻找和锁定潜在的己方选民,定位拉拢中间派选民及筹集选举资金,成为将大数据价值充分发挥的典型,“量变到质变”这一辩证法规律再次显现威力。



当前,各国政府十分重视数据资源的开发和利用。2012年,奥巴马政府发布《大数据研究和发展倡议》,大数据上升为美国国家发展战略。2014年3月,大数据首次进入我国《政府工作报告》,2015年8月国务院发布《促进大数据发展行动纲要》,标志着大数据产业已成为我国的国家发展战略。“用数据说话、用数据决策、用数据管理、用数据创新”已成为共识,大数据全方位参与政府和企业的决策和管理活动,数据资源和物资资源、人力资源一样,成为3大国家战略资源之一,大数据应用也成为政府提升社会管理效能的重要手段之一。


城市智慧治理旨在实现全天候、全时段能在线监测、分析预测和应急指挥的智能城市指挥运行体系,提升政府治理效能和人民群众的安全感、获得感与幸福感。当前,城市智慧治理面临的最大问题是政府部门垂直和行业应用之间壁垒严重,存在着数据形态复杂、数据集成困难和智能应用构建基础薄弱问题,横向宏观分析决策往往缺少有力的信息支撑。本文以城市智慧治理应用为导向,提出了以政务大数据为核心的技术架构,并阐述了城市智慧治理政务大数据应用系统建设实践中的关键环节。


>>>>

城市智慧治理政务大数据应用系统简介




在我国,政府掌握超过80%的数据资源。拥有如此众多的大数据资源,各级政府纷纷启动智慧城市、数字政府和智慧治理等基于政务大数据的政务智能化管理项目,借助这些项目,不仅提高了政府的办事效率,更重要的是提高了政府决策的精准度和智能化水平,改善了政府服务质量,推进了政府管理和社会治理模式创新。


以城市智慧治理领域应用系统建设为例,经济运行、市场监管、社会管理、公共服务和环境保护是各级政府的政务职能,城市智慧治理应用系统建设基本围绕着这5大政府职能展开,一般均具备城市运行风险监测、综合分析、态势研判和重大活动(事件)指挥调度的能力。实际建设过程中,为了给城市治理者提供可靠的政务决策支撑,需接入海量的实时业务数据、视频数据、物联感知数据和历史业务数据,以便从宏观、中观与微观等角度去展现、监控、分析和预测城市治理中的重点与难点,因此城市治理应用系统一定是政务大数据应用系统。


>>>城市智慧治理政务大数据应用系统特征


城市智慧治理政务大数据应用系统的特征集中在数据和应用方面。在数据方面,主要包括以下5点:


(一)数据源不同。传统信息系统数据仅包括由应用产生的事务数据,或为应用准备的基础数据。政务大数据的数据源要丰富得多,除上述数据外,还有来自传感器、物联网和“互联网+”应用的数据,部门历史数据、部门共享和交换数据以及综合各部门数据后生成的供分析研判用的统计数据。


(二)数据采集目的不同。传统数据的采集通常有明确的目的,是为事务处理服务的,因此,数据的价值高且质量好。政务大数据采集时,可能没有明确的目的,日后有了任务或确定的目的,再去分析已经采集的大数据,找出其中蕴含的价值,即先有数据,后挖掘价值。


(三)数据类型不同。政务大数据的数据类型摆脱了数据表格这种服务于事务处理的数据类型,可以处理更符合描述现实世界的任意类型数据,包括文档类、图结构、图像和音视频等数据。


(四)数据作用不同。传统信息系统围绕业务应用展开,数据因业务应用而汇聚或产生,其作用是满足业务需求。政务大数据应用系统中,除了业务驱动数据汇聚或产生数据外,还有海量数据经过清洗、碰撞后反过来对业务应用进行牵引,利用流感病毒扩散的地理信息系统(GIS)数据控制流感疫情蔓延就是大数据驱动应用的典型案例。在政务大数据应用系统中,数据不再仅用于支撑业务,其本身也成为业务应用的来源之一。


(五)应用不同。政务大数据分析应用是开展以往没做过的任务,大数据应用设计的方针是:大数据主导,信息化为本。大数据分析由数据引发,是一个个相对独立的应用,与传统信息系统相比较,其规模小许多,可称为“大数据、小应用”。信息系统受纵向条块分割影响,数据大多为各自的纵向系统服务,很难实现跨纵向系统的横向共享,大数据系统建设的第一步是实现纵向垂直数据的融合和共享,使得数据分析的维度更多,范围更广,因此,大数据应用包括大数据分析与数据集成分析。当然,垂直数据共享需把控数据的共享范围,只有被其他系统使用的数据才需要共享。


在应用方面,政务大数据应用系统与传统信息系统相比,更擅长的能力包括:预测分析;原因分析,找出事件发生的关联因素;关联分析,找出各因素间的关联关系;精准监控,精准监控事件发生的全过程,及时发现其中的异常值。就城市智慧治理领域来说,大数据应用系统更偏重于跨层级、跨地域、跨系统、跨部门和跨业务的宏观决策、预警和调控,传统信息系统常聚焦于具体部门业务等事务。


>>>城市智慧治理政务大数据应用系统设计



(一)总体技术体系架构


城市智慧治理政务大数据应用系统的技术体系架构主要包含以下几个特点:


1.在数据资源的存储计算上,搭建统一的大数据计算存储框架,既能处理结构化数据,也能处理海量的半结构化和非结构化数据,为上层交换与共享库、公共基础库、业务主题库、公共业务数据库和公共服务数据库的搭建提供多种存储和计算方式。


2.政务大数据治理是总体技术体系架构的核心,负责垂直业务数据的横向汇聚、整合、共享和分析,包括资源目录平台、共享交换平台、数据治理监控平台和大数据分析建模平台。政务大数据治理充分利用政务业务系统和各种智能终端的数据资源,通过建设算法模型库,搭建深度学习框架和使用可视化分析建模平台,不断迭代,逐渐将人工智能运用于城市智慧治理业务领域,更好发挥其城市大脑作用。


政务大数据应用技术体系架构包含基础设施层、数据资源层、公共平台层、智慧应用层、用户层、信息安全体系、标准规范体系和运维保障体系,如图1所示。



3.基础设施层是基础,结合虚拟化技术为智慧政务体系建设提供硬件、网络和智慧感知等基础支撑,主要包括网络系统、融合通信系统、计算存储、综合显示系统和智能感知系统等。(1)网络系统包括政务内网、政务外网、互联网和5G/4G网络等,它们提供高带宽、高可靠且高安全的网络链路;(2)融合通信系统主要通过公用电话网、视频会议、微信通信和集群等通信链路,以及语音、视频、图像、数据和文本消息等各种信息媒体的交互方式;(3)计算存储系统通过虚拟化技术将城市智慧治理政务大数据应用系统所需的计算存储资源进行池化处理,再根据业务需要灵活配置成相对独立的虚拟化资源提供给应用系统;(4)智能感知系统是通过射频识别(RFID)、各类传感器、视频采集设备、感知网关和传感网等物联网技术,实现对城市管网基础设施、环境和建筑等的基础信息采集和监测,感知城市运行的实时状态。


4.数据资源层包含大数据计算存储框架、公共基础数据库以及各委办局的主题业务数据,并通过数据整合共享技术为各类智慧应用提供公共数据服务。(1)公共基础数据库由人口库、法人库、自然资源与空间地理库、社会信用库和电子证照库组成,该库存放的是基础数据,更新频率相对较低,而且是其他数据的标准,即其他数据定义时,与公共基础数据库相同的部分,应按照公共基础数据库的定义设计;(2)公共业务数据是基于公共基础数据库的业务类扩展数据库,由根据业务应用需要而扩展的各类专业数据构成;(3)公共服务数据由各类专题应用类数据库构成,该类数据通过对基础数据、公共业务数据进行清洗挖掘分析后形成,是有特定应用场景的服务型数据集,为各应用单位提供融合后的专题应用数据服务资源;(4)交换与共享信息库由交换信息库和目录信息库组成,为跨部门和跨业务的数据共享提供支撑;(5)业务主题库存放政府业务管理数据,目前主要按照经济运行、市场监管、社会管理、公共服务、环境保护和社会诉求6大领域进行主题聚合;(6)大数据计算存储框架包括图计算、流计算、内存计算及离线计算等,分为持久化和非持久化2种存储方式,持久化存储包括分布式文件系统(HDFS)、分布式非关系型数据库系统(Hbase)和MongoDB,非持久化存储包括Mem-cached、BerkeleyDB和Redis等。


5.公共平台层实现城市不同部门异构系统间的资源共享和业务协同,包括政务大数据平台和通用服务平台。(1)政务大数据平台实现跨部门和跨业务数据的汇集、清洗、共享、开放和融合分析,为科学决策提供支持;(2)通用服务平台为各类智慧应用系统提供统一的基础应用服务组件支撑,包括视频融合服务平台、数据融合服务平台、GIS可视化融合服务平台和服务管理监控,由服务监控管理平台调度这类基础应用服务组件的运行。4)智慧应用层实现政府5大政务职能和行业政务应用,及其之间的协同联动,构建全面覆盖、集约高效和纵横联动的城市智慧治理应用体系。5)信息安全体系以等级保护安全防护为基准,为城市治理政务大数据应用系统提供全面的信息安全防护,包括物理环境安全、大数据承载环境安全、数据安全和应用安全等。6)标准规范体系,遵循有标贯标、无标建标的原则,已有国家或国际标准的,需遵照国家或国际标准执行;有行业标准的,需遵照行业标准执行;无标准可参照的,可根据项目实际情况创建标准,确保项目平稳运行。7)运维保障体系实现运维数据可视化分析,实现统一的运维服务流程化管理,实现故障定位及安全监测预警,为管理者提供合理的信息化建议。


(二)政务大数据治理架构


政务大数据治理是智慧政务体系建设的重要组成部分。搭建集数据采集、治理、分析、应用和发布于一体的政务大数据共享开放平台,以公共基础数据库和各类主题数据库为基础,推动各级各部门政务数据向政务公共数据资源体系迁移集聚,发挥政务大数据支撑多部门协同服务的作用,简化优化公众办事流程,最大程度利企便民,打造公共服务和社会治理的新模式,从而带动经济发展,同时支撑更加科学的政府管理研判和决策机制。


政务大数据治理架构如图2所示,由大数据存储计算框架、资源目录管理平台、数据共享交换平台、数据治理监控平台和可视化分析建摸平台等组成。



1.资源目录管理平台:政务信息资源目录是实现政务信息资源共享和业务协同的基础,是各政务部门之间信息共享的依据。通过对部门目录、基础目录和主题目录等内容的有效组织及管理和对各业务部门业务系统、信息资源的注册及动态管理,形成统一规范的目录内容,实现对各部门整体信息资源状况的全面掌握。


2.数据共享交换平台:数据共享交换平台立足于数据的交换和集成处理并提供应用程序接口(API)服务,依据资源目录将各部门相关的信息资源统一采集到政务公共数据资源体系,支持不同的网络环境和数据类型等情况下进行数据汇聚和对数据进行清洗加工的能力,为资源目录管理系统提供交换服务和API服务。


3.数据治理监控平台:数据治理监控平台对汇聚到公共数据资源体系的大量信息资源进行全程动态管理与监控。对各信息资源涉及的元数据进行元数据血统分析与影响分析,逐步实现元数据的标准化;对信息资源的质量进行管理,包含质量规则制定、执行和生成报告,促进数据质量不断提升;对数据中心数据处理进行全程监控。


4.可视化分析建模平台:采用大数据、人工智能技术和交互式模型构建模式,建设可视化分析建模平台,为城市智慧治理用户提供可视化的、用于搭建数据分析模型的共性工具平台,并通过机器学习,逐步实现智能应用的自主建模。可视化分析建模平台包括算法模型库、深度学习框架和建模工具箱等内容。


>>>城市智慧治理政务大数据应用系统实践


(一)建设过程


城市智慧治理政务大数据应用系统建设可分为大数据承载环境建设、纵向业务数据与已建系统接入和重要维度的融合展现以及大数据分析系统即智能化应用系统研制3个阶段。


第1阶段主要任务是搭建大数据承载环境,主要包括硬件虚拟资源和服务管理等建设内容。硬件虚拟资源建设将网络、计算和存储等基础设施资源虚拟化,使其具有可靠性强、可用性高和规模可伸缩等特点,满足多样化应用需求。服务管理建设提供对硬件虚拟资源的管理,确保其可靠性、可用性与安全性,并为硬件虚拟资源的使用提供调用接口。


第2阶段主要任务是接入汇聚大量纵向业务数据和各委办局已建的在用系统。该阶段对于大量纵向业务数据的接入可从已建的城市政务数据资源体系中通过订阅/发布方式直接接入;对于已建系统的接入,需先根据指挥大厅超大屏显示要求,对已建系统进行适应性改造。


第3阶段最重要任务是要完成经济运行、市场监管、社会管理、公共服务、环境保护和社会诉求6大领域中垂直业务数据在重要维度上的横向融合、展现和应用,即建设实践中最重要的数据集成和智能应用2个环节。


(二)关键建设环节


1.数据集成


数据集成首先需解决多源数据的汇聚和融合问题。对于数据汇聚,本文采用的工程实现方法是将各类数据池接到一个新的NoSQL数据库。选用NoSQL数据库是因为其宽松的数据类型约束特性,可在短时间内完成数据仓库建设。完成数据仓库池接数据后,需对其中共享数据进行抽取并重新规范定义,建立共享数据集,该共享数据集又回到关系数据库中定义,从而形成关系数据库→NoSQL数据库→关系数据库的实现方式。对于数据融合,本文在现有平台基础上完善数据治理功能,形成一套数据治理体系,保障多源纵向业务数据在横向展现上的合法性、完整性、规范性、一致性、准确性、唯一性、关联性和时效性。大数据治理平台技术架构如图3所示。



元数据管理对信息资源的标识、内容、分发、数据质量、数据表现、数据模式、图示表达、限制和维护等信息进行统一管理,提供元数据的定义、存储、查询及维护等功能,以利于发现与定位以及管理与整合信息资源,改进系统有效存储、检索和移动数据的能力。数据质量管理明确数据质量检查规则、管理工作参与部门及具体流程,提出数据质量检查规范要求,切实有效提高数据质量。数据标准管理实现标准定义管理、代码标准管理、标准文档管理、标准落地管理和数据标准浏览等,以便更好地维护管理数据标准。


2.智能应用


智能应用实施以大数据驱动应用展开,主要用于数据分析和预测,体现大数据应用的智慧性和智能性。数据分析指利用大数据的时间属性,按照相对应的时间间隔记录发生的重要变化,通过叠加每次变化的内容,提取其中共性特征数据,确定当前业务运行状态或查出当前问题。数据预测指通过建立某类数据共性指标体系,构建数据模型,辅以合理的加权权重,通过对标算法和回归算法等,推算出将来发展和变化趋势,并通过历史同时期对应的实际情况对推算结果进行校正,最终实现对未来某个时间段/点的业务预测。


以城市内涝预警应用为例,通过气象、雨量监测站、城市低洼易淹点、河道水位监测和水库监测点实时业务数据、重要点位视频数据以及近5年来年城市内涝灾害点位、灾情数据的汇聚,找出城市内涝发生规律,利用人工智能技术识别各关键要素间的耦合作用,建立相关情景模型,既能预测城市内涝事件的发生,又能通过厘清城市内涝事件与人员伤亡、财产损失的联系规律,建立情景推演-应对型处置机制,实现城市内涝事件处置被动应对到主动预防的转变。在2019-07—2019-08城市汛期中,通过该智能应用的运用,实现了内涝灾害1~2h的预警,提升了政府应对该类突发事件的应对能力,保障了人民群众的生命财产安全。城市内涝预警界面如图4所示。



>>>>

结束语



本文从大数据是国家基本战略、各级政府纷纷掀起智慧城市建设浪潮这一重要背景入手,分析了城市智慧治理政务大数据应用系统特征,并在此基础上提出了技术体系架构和政务大数据治理架构,并通过案例说明这2个架构理论指导数据集成和智能应用的实现。



欢迎扫码关注公众号:中国测绘学会智慧城市工作委员会投稿,入群联系:18801398718

来源:gh_aade121f7c73 中国测绘学会智慧城市工作委员会

原文链接:http://mp.weixin.qq.com/s?__biz=Mzg5MzIxMzk4Mg==&mid=2247493759&idx=1&sn=4d5bd75965fb2db65cfe0b4b04fc6abb&chksm=c030e40ef7476d183033e31e3379b219320619c2ca6cb7e69e84ba0ab92eddfca6ad0f8e0548&scene=27#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

大数据 信息安全 数据治理 智能城市 应用架构 政府服务 治理理论 智能监控 系统设计 政府治理

推荐资讯