⚙️ 自动化评测流水线搭建

📌 一句话概括

自动化评测流水线将模型评估从"手动跑脚本看结果"升级为"代码提交自动触发、指标自动计算、结果自动对比"的工程化流程。

💡 流水线设计

🔍 测试实战

1. 流水线搭建

操作：基于GitHub Actions搭建模型评测流水线

工具：lm-eval-harness、EleutherAI

2. 基线对比

操作：每次评测结果自动对比基线，差异超过阈值自动告警

⚠️ 常见坑点

1. 评测环境与推理环境不一致导致结果不可比
2. 测试数据泄露——评测数据被用于训练
3. 自动化流水线缺少人工审核环节