Skip to content

第 16 章事实核验:Reflection 与经验提炼

核验范围

本次核验覆盖正文、Research Brief、详细 Outline、局部候选资料、纯内存示例和 Mermaid 图示的陈述边界。它不验证真实链接、网络、根因、记忆系统、Agent SDK、模型反馈质量、共享规则修改或任何外部系统。

来源级核验

本地键2026-07-16 实际读取的来源正文允许陈述复核结论与外推禁区
C16-REF-01Reflexion,arXiv v4论文提出以语言反馈而非权重更新来强化语言 Agent,并以反思文本和情景记忆影响后续尝试。正文只把它作为“反馈可参与后续尝试”的背景;没有使用 HumanEval、pass@1 或其他性能数字,也未把 Reflection Record 归因给论文。
C16-REF-02Self-Refine,arXiv v2论文研究初始输出、反馈和精炼的迭代过程,并描述单 LLM 可承担生成、反馈和精炼角色。正文没有使用偏好、平均改善或任务覆盖数字;明确模型反馈不能替代外部验证。
C16-REF-03Google SRE Book:Postmortem Culture页面将 postmortem 描述为事件、影响、处置、根因与预防行动的书面记录,并强调无责和建设性的学习过程。本章仅借此说明工程复盘需要记录和跟进行动;不声明 Agent 能自动定位根因,也不照搬组织触发条件。
C16-REF-04Anthropic:Building Effective AI Agents页面描述 evaluator-optimizer 的生成/反馈循环,并将其适用条件限定为评估标准清晰、迭代精炼有可测价值。本章没有把该文章写成跨产品规范,没有主张模型自评可靠,也没有采用其示例或产品能力。页面会变化,后续正式发布前须重读。

本书模型与事实的分界

内容分类处理结果
Reflection Record、Lesson Admission 与状态名本书工程模型未归因给论文、SRE 或厂商。
症状 / 假设 / 候选经验 / 已采纳经验四层表本书工程模型用来防止概念混用,不是通用标准。
链接检查失败、URL 格式、网络暂态和预检查教学场景全部是注入文本,不对应真实 URL、网络输出或仓库事件。
candidate_for_validationeligible_for_reviewrejected纯内存教学状态不表示真实根因、经验已写入、规则已改或外部效果已发生。

可运行示例复核

2026-07-16 已实际运行:

bash
node --test examples/agent/reflection-record-assessment.test.mjs
node examples/agent/reflection-record-assessment.mjs

前者退出码 0,共 8 项 Node 内置测试通过、0 项失败;后者退出码 0,输出 candidate_for_validation / reflection_candidate_ready / run_falsifiable_check。这些结果只证明输入对象的确定性分流;它们不检查真实 URL、日志、根因、网络、经验存储、审批、权限或 Harness 改进。

待核验与动态边界

  • TODO(verify): 接入真实 Agent SDK、评估框架、记忆存储、事故管理、遥测或链接检查器前,需在写作当日核验其接口、权限、隐私和保留行为。
  • TODO(verify): 若正文使用基准成绩、失败率、改进幅度、记忆容量、重试次数或成本数字,必须新增可追溯来源和适用条件;本章当前没有这些断言。
  • TODO(verify): 若候选经验影响共享规则、外部写入、安全策略或生产环境,必须按第 12、14、17、41、42 章的相关边界重新审查;本章没有给出自动放行规则。

Fact Check 完成检查

  • [x] 四项一手来源均已在写作日实际读取,并记录允许陈述与外推禁区。
  • [x] 论文、工程实践、教学案例与本书模型已分层。
  • [x] 示例与图示未被描述为真实反思、根因、经验写入或系统自改进。
  • [x] 动态工程文章和未来产品接口保留写作日重核要求。

从同一套 Markdown 书稿生成。