总安装量 4
评分人数 5
核心用法
agent-evaluation 是一套面向 LLM 代理的质量工程方法论，而非可执行工具。它指导用户构建三类核心评估体系：统计测试评估（多轮运行分析结果分布）、行为契约测试（定义代理行为不变量）、对抗性测试（主动破坏代理行为）。技能强调将基准测试与生产环境评估桥接，解决"高分低能"的行业痛点。
显著优点
1. 实战导向：作者明确指出现实中顶级代理在真实基准上得分不足50%，避免用户陷入"完美基准"幻觉
2. 方法论完整：覆盖从测试设计、能力评估到生产监控的全链路，包含具体的反模式警示（单轮测试、仅测试 happy path、字符串匹配断言）
3. 风险预判：Sharp Edges 表格直接列出4类高频问题及解决方案，如数据泄露预防、指标优化陷阱等
4. 生态协同：明确标注与 multi-agent-orchestration、agent-communication 等技能的协作关系
潜在缺点与局限性
- 纯文档型：无自动化工具或代码实现，需要用户自行落地
- 学习曲线：要求使用者具备 testing-fundamentals 和 llm-fundamentals 前置知识
- 模糊性处理：LLM 输出的非确定性本质导致"正确"标准难以量化，文档未提供具体阈值建议
- 行业适配：部分方法论可能需根据金融、医疗等强监管领域调整
适合的目标群体
- AI 质量工程师：负责代理系统测试策略设计的专业人员
- MLOps 团队：需要将代理评估纳入 CI/CD 流程的工程团队
- 产品经理：评估代理能力边界、设定合理预期的决策者
- 研究人员：从事 agent benchmark 设计的学术工作者
使用风险
1. 实施成本：方法论落地需要大量标注数据和工程投入
2. 指标博弈风险：团队可能过度优化评估指标而非实际任务表现
3. 测试不稳定性：LLM 的随机性导致 flaky tests，需额外设计重试和置信区间机制
4. 数据隔离挑战：需严格防止测试数据泄露到训练或提示词中