🔗 数据血缘验证

05-04数据血缘溯源追踪依赖分析

📌 什么是数据血缘

数据血缘（Data Lineage）描述了数据从源头到目标的完整流转路径，记录了数据在ETL/ELT管道中的每一次转换、聚合和移动。它是数据治理的核心组件，帮助团队理解数据从何而来、经历了哪些处理、最终流向何处。

核心能力

溯源追踪：从报表指标反向追溯到原始数据源，定位数据问题的根因
影响分析：评估上游表结构变更对下游报表、模型和应用的连锁影响
合规审计：满足GDPR、CCPA等法规对数据处理透明度的要求
资产盘点：识别冗余表、废弃管道和僵尸数据，优化存储成本

💡 血缘验证的测试策略

测试维度	验证内容	方法
字段级血缘	确认目标字段正确映射到源字段	解析SQL/Schema，比对字段路径
表级血缘	验证上下游表依赖关系完整性	比对血缘图谱与实际管道DAG
转换逻辑	确保血缘记录的转换与代码一致	静态解析 dbt/Spark SQL 逻辑
时效性	血缘元数据是否及时更新	监控血缘采集任务延迟
完整性	所有管道节点是否都被血缘覆盖	自动化巡检 + 覆盖率报表

🔍 自动化血缘验证流程

元数据采集：通过DataHub/Atlas/Marquez等工具自动抓取管道元数据
血缘解析：解析SQL查询、Spark Job、dbt模型，提取字段级血缘关系
图谱构建：构建有向无环图（DAG），节点=表/字段，边=转换关系
规则校验：定义断言规则——如"reporting.orders 必须可追溯到 raw.orders"
差异报警：当血缘图谱与实际管道代码不一致时触发告警

⚠️ 常见问题与挑战

隐式血缘断裂：动态SQL、UDF函数、Python脚本中的血缘关系难以静态解析
跨平台追踪：数据流经Kafka→Flink→ClickHouse→BI，跨系统血缘难以串联
版本漂移：管道代码已更新，但血缘元数据仍是旧版本
粒度权衡：字段级血缘精度高但存储成本大，表级血缘成本低但粒度粗

📖 工具选型对比

工具	类型	特点	适用场景
Apache Atlas	开源	深度集成Hadoop生态，支持列级血缘	Hive/Spark 数据湖场景
DataHub	开源	LinkedIn开源，UI友好，插件式架构	多源异构数据平台
Marquez	开源	轻量级，与Airflow/dbt原生集成	中小规模数据管道
dbt Docs	内置	自动生成模型血缘DAG	dbt 项目内部使用
Collibra	商业	企业级数据治理平台，血缘+数据目录	金融/医疗等强合规行业

← 数据质量测试数据湖测试策略 →