coder_eval
面向 coding agent 与 skills 的沙箱化、可复现评测框架。
开源
coder_eval 是 UiPath 的开源框架：用 YAML 编写 coding-agent 任务，通过可选 sandbox driver 运行 Claude Code、Codex 或 Google Antigravity，并对文件、命令、工具调用、成本和 token 数据评分。
官方资源
选型建议
当评测对象是 coding agent 或可复用 Agent skill，且评分必须反映真实文件、命令和工具行为时选 coder_eval；如果主要需求是文本输出指标，选择通用 LLM 评测器。
快速对比
coder_eval 面向完整 coding-agent 运行与 skill 行为；DeepEval 围绕 Python test case 与指标组织；Promptfoo 覆盖配置驱动的 prompt 评测和 red teaming。
| coder_eval | DeepEval | Promptfoo | |
|---|---|---|---|
| 最适合 | 可复现的 coding-agent 与 skill 评测 | Python LLM 与 Agent 测试套件 | Prompt、模型和 red-team 回归测试 |
| 评测单元 | 包含文件、命令和工具调用的完整 Agent 运行 | 带指标断言的 test case | 配置化 prompt、provider 与 assertion |
| 工作流 | YAML 任务、sandbox driver、加权标准与 CI gate | pytest 风格 Python 测试与内建指标 | YAML 或 JavaScript 配置加本地 CLI |
| 主要取舍 | 需要 Python 3.13+ 和自备 Agent 凭证 | 偏 Python，未专门聚焦 coding-agent 沙箱 | 评测范围更广，对 coding-agent 沙箱侧重较少 |
适用场景
- coding-agent benchmark
- Agent skill 评测
- Agent 配置 A/B 测试
- CI 质量 gate
不适用场景
- 需要托管式评测服务的团队
- 无法使用 Python 3.13 或更高版本的运行环境
- 使用临时目录 driver 运行不受信任任务
核心概念
声明式 YAML 任务sandbox driver加权成功标准Agent pluginA/B 实验
最小实现形态
在 YAML 任务中定义 prompt、agent、sandbox 和加权成功标准；用 `coder-eval plan` 校验、`coder-eval run` 执行，再查看生成的报告。