数据治理第4期 | 质检监控中心

文章摘要

作者介绍

作者明明是一位来自美团的资深产品人员，也是DataFun分享嘉宾和数据人联盟的创作者。他专注于数据产品工作，并有着丰富的马拉松完赛经历和对《三体》的喜爱。

前言

本文继续探讨数据资产治理工具，重点介绍数据质量检测和监控的核心工具——DQC和SLA。

基本概念

DQC (Data Quality Control) 和 SLA (Service Level Agreement) 是数据质量管理中的重要工具，分别关注数据准确性的监测和系统服务提供的时效性及稳定性。

问题分析

数据资产常见的问题，如字段不一致性和比例失调，可以通过DQC进行监控。而SLA则用于监控上游任务节点，保证报表产出的及时性。

产品目标

数据质检监控中心集成了DQC和SLA工具，服务不同人群，从数据质量监控到ETL产出时效治理，提供数据资产质量和波动监控以及数据产出和任务调度的监控。

产品设计

• DQC包括数据质检和质量监控，支持质量评分、监控任务配置和报警处置。
• SLA监控报表和数据表产出任务的完成情况，提供监控任务配置和执行日志查询。

下期预告

下期文章将探讨数据治理的组织问题，包括治理团队的组成和职责划分，以及数据治理在团队中的定位和落地。

推荐阅读

推荐读者了解更多数据知识，可阅读《大数据实践之路：数据中台+数据分析+产品应用》一书。