AI测试工具已经从单一评测演变为涵盖评测、安全、监控、治理的全栈工具链——选型需考虑"功能覆盖度、社区活跃度、银行适配性"。
| 分类 | 代表工具 | 选型要点 |
|---|---|---|
| 评测框架 | lm-eval-harness, OpenCompass | 评测集丰富度、自定义能力 |
| 安全测试 | Garak, Prompt Security | 攻击库覆盖度、报告能力 |
| RAG评测 | RAGAS, TruLens | 检索评测、端到端评测 |
| Agent测试 | AgentBench, ToolBench | 工具调用、多轮交互 |
| 监控 | PromptLayer, LangSmith | 实时监控、告警、审计 |
操作：选取3个候选工具，用同一测试集对比效果
操作：评估工具是否支持私有化部署、数据安全、审计日志