【数据治理】数据质量评估维度及方法

在当今数据密集型企业环境中，“数据=金钱”一说凸显了数据质量对于决策和业务价值的重要性。数据质量管理是提高数据在创建、加工、使用和迁移过程中的质量的一系列管理活动，包括定义、过程控制、监测、问题分析与整改、评估与考核等，以确保数据满足业务要求。

一、数据质量关注点

• 一致性：系统内外的数据是否保持一致，如命名、存储、精确度和加工逻辑。
• 完整性：数据是否完整、无遗漏，包括时效性。
• 可靠性：数据的稳定性和准确性。
• 准确性：数据源头和处理过程中的精确性。
• 可理解性：数据的可读性和可分析性。
• 有效性：数据的可用性和安全性。

二、数据质量评估维度

• 数据完整性：数据项信息的全面性和完整性。
• 监控覆盖率：数据遵循统一标准的程度。
• 任务准确性：数据是否符合质量要求。
• 告警响应度：对问题的管理和应急响应能力。
• 任务性能：任务执行效率和健康度。
• 任务稳定性：任务运行的稳定性。
• 任务时效性：数据信息获取和使用的及时性。

三、数据质量校验方法

• 完整性：通过数据量和字段空值率进行校验。
• 准确性：通过记录错误、异常值、数据类型和长度，以及分布情况进行校验。
• 一致性：通过编码规则、枚举映射和逻辑规则验证一致性。

四、常见可配置的监控规则

• 表级非空记录、表环比监控、目标表原表校验。
• 表主键唯一性、非空校验、字符长度。
• 枚举值校验、字段环比监控、数据类型校验。
• 字段数字极值监控、字段字符非法校验、字段空置占比告警。
• 产出时间监控。