随着自然资源部的成立,国家相继印发各类重要文件,对自然资源信息化建设提出了明确要求。构建统一、准确、权威的自然资源“一张图”是自然资源信息化建设的一项重要任务,亦是保障自然资源信息化可持续发展的必要基础。
2019年11月,《自然资源部信息化建设总体方案》(自然资发〔2019〕170号)提出在原有的信息化相关标准规范体系的基础上,建立自然资源信息标准参考模型、自然资源数据管理规范、自然资源数据质量控制规范等,将自然资源“一张图”数据质量管理的重要性提升到了一个新高度。
数据质量管理,是指对数据全生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
自然资源“一张图”数据质量管理需求
由于业务历史管理特性和缺乏完善的数据质量管理,汇集后的自然资源数据存在数据异构多元、量大类多、一数多源、数据混乱等问题。经过全面的数据治理,形成统一的自然资源“一张图”。为保障自然资源“一张图”的长期有效应用,需要有严格的数据质量管理措施,基于数据生产、存储、集成、应用等全流程,通过数据质量管理手段,对自然资源数据进行严格的规范化管理和质量控制,消除数据质量问题,进而提升自然资源“一张图”数据的长期可用性。
以往常用的数据质量管理方法实质是做数据质量控制管理,思路是通过数据分析明确数据基本问题,然后通过数据改善方案来对数据进行整改,进而达到数据质量“完美化”的目的。事实上,这种数据质量控制管理适用于系统建立或刚开始进行数据质量管理的阶段,随着数据质量水平不断地提高,局限于这种数据质量控制的数据质量管理已不再满足业务系统的需求。
具体问题体现在以下几个方面:
01
数据质量管理缺乏统一数据质量标准;
02
缺乏统一、有效的数据质量管理机制;
03
偏重于数据质量的检查与整改,轻视数据全流程的质量管理;
04
缺乏统一的数据质量管理工具;
自然资源“一张图”数据质量管理路径
针对以上问题,结合城市自然资源数据实际情况,因地制宜制定符合地方特色的数据质量管理方法,大致概括为以下几点:
01
分析数据质量需求,建立以需求为中心的数据质量标准体系
数据最终是要应用于信息系统的各项业务当中,满足系统应用需求的数据就是合格的数据。围绕自然资源数据现状和业务需求,对数据进行全盘分析,结合省市数据标准规范,制定自然资源数据全类型、统一的自然资源数据质量标准体系。
02
研究质量评估指标,建立科学完善的数据质量评估指标体系
结合数据质量标准体系,建立数据质量评估规则,对数据进行评估和测量。常见的数据质量评估指标体系包括数据真实性、完整性、规范性、一致性、准确性、合理性、关联性等。
真实性
数据必须真实准确的反映客观的实体存在或真实的业务。
完整性
数据信息是否完整,是否存在缺失情况。数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。
规范性
记录是否符合规范,是否按照规定的格式存储。
一致性
数据信息是否完整,是否存在缺失情况。数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。
准确性
也叫可靠性,是用于分析和识别不准确的或无效的数据。
完整性
从业务逻辑角度判断数据是否正确。
关联性
数据关联性问题是指存在数据关联的数据关系缺失或错误。
03
明确数据管理目标,建立数据全生命周期的数据质量管理机制
数据质量管理的目标是构建一套数据质量管理机制,实现自然资源信息化可持续发展和自然资源数据的长治久安。通过前期的数据规划和数据设计,统筹规划数据质量基础,实现完善数据质量管理体系和统一数据标准;贯彻执行统一数据质量标准和数据质量控制手段,规范自然资源数据采集、录入、存储、集成等操作流程,实施数据应用监控,实现数据质量的全生命周期管理。
04
明确数据管理需求,提供统一、便捷的数据质量管理工具
提供数据质量管理工具,实现对空间数据、元数据、数据标准、数据检查规则的有效管理和参数配置,实现批量数据检查和处理等。
自然资源“一张图”数据质量管理实践
城信所结合多年的自然资源领域经验和《自然资源部信息化建设总体方案》相关要求,在中山、珠海、济宁、武汉、景德镇多个城市开展了自然资源“一张图”数据治理和数据质量管理的相关工作,成果有效地应用于各类自然资源业务管理和决策支持系统中。
以统一的自然资源数据目录和统一数据标准规范体系为基础,配套数据质量管理工具及数据质量管理相关机制,构建“数据汇集——统一数据目录——统一标准规范——数据质量分析——数据治理——数据更新维护”的自然资源“一张图”数据质量管理闭环,实现自然资源数据质量的全类型全生命周期管理。
元数据管理
数据标准管理
质检规则制定
质检成果管理
点“在看”,给我一朵小黄花