lm-eval-harness（EleutherAI）和OpenCompass（上海AI Lab）是当前最主流的两个开源LLM评测框架。
| 维度 | lm-eval-harness | OpenCompass |
|---|---|---|
| 评测集 | 100+，社区贡献 | 50+，中文优化 |
| 模型支持 | HuggingFace为主 | HuggingFace+API |
| 并行加速 | VLLM集成 | 推理加速框架 |
| 报告生成 | JSON/CSV | Web可视化 |
| 中文支持 | 一般 | 优秀 |
操作：用两个框架评测同一个模型，对比结果一致性
操作：在选定的框架上集成银行自有的评测数据集