数据仓库是面向分析查询(OLAP)优化的数据存储系统,采用维度建模(星型/雪花型)组织数据。数仓测试不仅要验证数据的完整性和准确性,还需关注模型设计合理性、查询性能、以及跨层数据一致性。
| 分层 | 职责 | 测试重点 |
|---|---|---|
| ODS(贴源层) | 原始数据落地,保持源系统结构 | 数据完整摄入、CDC对齐、分区正确 |
| DWD(明细层) | 数据清洗、标准化、维度退化 | 清洗规则、NULL填充、去重逻辑 |
| DWS(汇总层) | 轻度汇总,面向通用分析 | 聚合正确性、指标口径一致性 |
| ADS(应用层) | 面向具体报表/看板 | 与BI报表交叉验证、性能SLA |
is_current = false,新行 is_current = true,生效时间区间无重叠| 场景 | 验证方法 |
|---|---|
| 与源系统对账 | 每日分区行数、金额 SUM 与源系统 T+1 对账表对比 |
| 跨层一致性 | DWD→DWS→ADS 逐层聚合结果可追述,差异在容忍范围内 |
| 分区完整性 | 无分区缺失、无空分区、分区数据量在合理波动范围内 |
| 历史回溯 | 历史分区不可变——一年前的分区数据与当时完全一致 |
| 指标口径 | 同一指标(如 GMV)在所有报表中定义一致,交叉验证通过 |
| 增量与全量 | 历史全量重跑结果 = 增量每日累积的当前状态 |