Agent Evaluation
2026 年 AI Agent Evaluation 工具选型
Evaluation 工具帮助团队在 Agent 面向用户前发现工具调用、检索、推理质量、成本和延迟回归。
搜索意图: 为会改状态、调工具且行为非确定的 Agent 建立评测工作流。
最后审查
2026年5月11日
纳入比较的工具
3
开源选项
2
定义
Agent evaluation 评估的是完整运行，而不只是最终答案：输入、工具调用、检索上下文、中间决策和结果。
适用场景
- prompt 和模型变更的回归测试
- 高风险工作流的离线评测集
- 生产环境工具错误与回答质量监控
选型维度
- trace 是否能关联到 eval case？
- judge 是否能看到工具调用和检索证据？
- 是否同时支持成本、延迟和质量检查？
选型建议
不要等完美 benchmark。先用产品里的真实失败案例做小评测集。