第 17 章 Chapter Outline：Evaluation 与可验证结果

章节契约

读者完成后的能力： 能把一个 Agent 任务写成可执行的 Evaluation Spec；能区分结果、过程、安全与资源约束的证据；能选择确定性检查、人工复核或经校准的模型评判；能解释一次“通过”不能推出什么；能把拒绝、补证和复核信号交给相邻章节。

前置知识： 第 10 章的 Workflow 与状态管理；第 11 章的 Tool 结果与效果不确定性；第 14 章的人类审批边界；第 15 章的状态快照和证据等级。读者只需能读 Markdown 表格与 Node.js 对象。

章节边界： 不采集真实状态（第 15 章）、不把失败直接写入跨任务经验（第 16 章只处理候选与准入审查）、不决定重试或回滚（第 18 章）、不实现 Benchmark（第 39 章）、不做真实 CI、浏览器 E2E、模型调用、评分服务或生产质量结论。示例的 accepted 只代表注入教学记录满足本书规则。

小节蓝图

1. “任务完成”不是可接受结论：从声明转向规格

• 读者问题： 为什么 Agent 的自然语言总结不能当作成功证据？
• 叙述任务： 区分任务声明、成功标准、证据、判定和接受结论；给出最小 Evaluation Spec 的字段。
• 来源边界： C17-REF-01 用于 task、trial、grader、outcome 的限定定义；字段设计是本书模型。
• 计划工件： Evaluation Spec 模板与“声明不是证据”的反例。
• 验证： 读者可指出“已更新文档”缺少目标、检查、证据和范围。
• 过渡： 写出规格后，下一步是决定需要观察什么，而不是先挑一个万能分数。

2. 四类标准：结果、过程、安全与资源约束

• 读者问题： 为什么测试通过仍可能不足以接受一次 Agent 任务？
• 叙述任务： 分别定义结果正确性、过程约束、安全边界与资源约束；说明过程不是结果的替代品，资源节省也不是正确性。
• 来源边界： C17-REF-02、C17-REF-03 仅提供有效性、可靠性和测量记录的风险管理背景；四类标准是本书分类。
• 计划工件： 标准—证据矩阵和不可替代关系表。
• 验证： 读者能解释“格式通过但链接失效”“链接通过但来源未核验”“全部正确但越权”为什么不同。
• 过渡： 不同标准需要不同评分器；选择评分器本身是一项设计决策。

3. 评分器（Grader）：把检查能力与结论范围对齐

• 读者问题： 何时使用确定性检查、人工复核或模型评判？
• 叙述任务： 对比代码/规则、状态观察、人工复核、模型 Rubric；说明模型评判器需要校准，且不宜覆盖可确定验证的结果。
• 来源边界： C17-REF-01 提供三类评分器与模型评分需人工校准的限定经验；C17-REF-04 提供偏差风险研究背景。
• 计划工件： 评分器选择表、校准记录字段与“Unknown”出口。
• 验证： 读者能为 Markdown、链接、事实归因和读者路径分别选择合适证据。
• 过渡： 评分器产出记录后，质量门需要决定这些记录能推出什么结论。

4. 证据矩阵与质量门：把通过、拒绝、补证分开

• 读者问题： 为什么一个绿色勾选不能代表整项任务通过？
• 叙述任务： 定义 Evidence Record、必需/可选标准、证据适用性、范围、新鲜度、未知/缺失状态、显式失败与质量门出口。
• 来源边界： 证据矩阵、状态名称和判定顺序均为本书模型。
• 计划工件： Mermaid 评估管线和纯内存 assessEvaluationSpec。
• 验证： 缺一个必需证据、范围不匹配、记录不新鲜或状态未知时输出 needs_evidence；必需检查明确失败时输出 rejected；可选质量项缺证或失败时输出 needs_review。
• 过渡： 一个正确设计的门仍会误判，因此还要识别评估本身的失败方式。

5. 误判与维护：评估也需要被评估

• 读者问题： 为什么测试集全绿可能仍然误导团队？
• 叙述任务： 说明假阳性、假阴性、规格歧义、环境污染、评分器漂移、过拟合和指标替代；区分能力探索与回归保护。
• 来源边界： C17-REF-01 提供能力/回归评估与阅读轨迹的限定建议；具体本书维护流程不是来源原文。
• 计划工件： 误判排查表和评估变更记录。
• 验证： 读者面对“测试不稳定”“模型分数上涨、人工投诉增加”时，能先审查规格、证据和评分器而不是直接宣布模型退化。
• 过渡： 被拒绝或证据不足的结果会成为第 18 章决定重试、恢复、停止或升级的输入。

6. 完整工程案例：文档更新任务的联合质量门

• 读者问题： 如何评估“更新文档”这种既有确定检查又有开放式质量要求的任务？
• 叙述任务： 构造教学任务：更新一篇 Markdown 文档，检查格式、链接、来源登记和读者路径。写清每项标准、证据、评分器、接受条件和未知项。
• 来源边界： 案例、文件名、命令、规则与结论均为本书教学设计，不代表此仓库或真实项目已执行。
• 计划工件： Evaluation Spec、证据矩阵、质量门示例和 Node 测试。
• 验证： 纯内存测试覆盖规格缺失、必需/可选证据缺失、自我报告、未知或缺失状态、范围与新鲜度守卫、必需失败、未校准模型评判、校准后的模型评判和可选项待复核。
• 过渡： 第 18 章会把 rejected、needs_evidence 和 needs_review 转成受控恢复策略；本章不替它做动作。

计划图示与示例

• 图示： 目标与成功标准进入 Evaluation Spec，经可执行检查形成 Evidence Record，再由质量门输出接受、拒绝或补证/复核；两种最终结论都把反馈交给下一章。
• 示例： assessEvaluationSpec 对注入的任务、证据和策略做纯内存判定，不调用 markdownlint、链接检查、模型、文件、网络或真实 CI。

Outline 完成检查

• [x] 覆盖 Evaluation Spec、四类标准、评分器、证据矩阵、质量门、误判和完整案例。
• [x] 已将第 15、16、18、39 章责任分开。
• [x] 来源级陈述、本书模型和教学案例均有明确边界。
• [x] 已定义可观察的示例测试路径与图示读法。