外观
第 16 章事实核验:Reflection 与经验提炼
核验范围
本次核验覆盖正文、Research Brief、详细 Outline、局部候选资料、纯内存示例和 Mermaid 图示的陈述边界。它不验证真实链接、网络、根因、记忆系统、Agent SDK、模型反馈质量、共享规则修改或任何外部系统。
来源级核验
| 本地键 | 2026-07-16 实际读取的来源 | 正文允许陈述 | 复核结论与外推禁区 |
|---|---|---|---|
| C16-REF-01 | Reflexion,arXiv v4 | 论文提出以语言反馈而非权重更新来强化语言 Agent,并以反思文本和情景记忆影响后续尝试。 | 正文只把它作为“反馈可参与后续尝试”的背景;没有使用 HumanEval、pass@1 或其他性能数字,也未把 Reflection Record 归因给论文。 |
| C16-REF-02 | Self-Refine,arXiv v2 | 论文研究初始输出、反馈和精炼的迭代过程,并描述单 LLM 可承担生成、反馈和精炼角色。 | 正文没有使用偏好、平均改善或任务覆盖数字;明确模型反馈不能替代外部验证。 |
| C16-REF-03 | Google SRE Book:Postmortem Culture | 页面将 postmortem 描述为事件、影响、处置、根因与预防行动的书面记录,并强调无责和建设性的学习过程。 | 本章仅借此说明工程复盘需要记录和跟进行动;不声明 Agent 能自动定位根因,也不照搬组织触发条件。 |
| C16-REF-04 | Anthropic:Building Effective AI Agents | 页面描述 evaluator-optimizer 的生成/反馈循环,并将其适用条件限定为评估标准清晰、迭代精炼有可测价值。 | 本章没有把该文章写成跨产品规范,没有主张模型自评可靠,也没有采用其示例或产品能力。页面会变化,后续正式发布前须重读。 |
本书模型与事实的分界
| 内容 | 分类 | 处理结果 |
|---|---|---|
| Reflection Record、Lesson Admission 与状态名 | 本书工程模型 | 未归因给论文、SRE 或厂商。 |
| 症状 / 假设 / 候选经验 / 已采纳经验四层表 | 本书工程模型 | 用来防止概念混用,不是通用标准。 |
| 链接检查失败、URL 格式、网络暂态和预检查 | 教学场景 | 全部是注入文本,不对应真实 URL、网络输出或仓库事件。 |
candidate_for_validation、eligible_for_review、rejected 等 | 纯内存教学状态 | 不表示真实根因、经验已写入、规则已改或外部效果已发生。 |
可运行示例复核
2026-07-16 已实际运行:
bash
node --test examples/agent/reflection-record-assessment.test.mjs
node examples/agent/reflection-record-assessment.mjs前者退出码 0,共 8 项 Node 内置测试通过、0 项失败;后者退出码 0,输出 candidate_for_validation / reflection_candidate_ready / run_falsifiable_check。这些结果只证明输入对象的确定性分流;它们不检查真实 URL、日志、根因、网络、经验存储、审批、权限或 Harness 改进。
待核验与动态边界
TODO(verify):接入真实 Agent SDK、评估框架、记忆存储、事故管理、遥测或链接检查器前,需在写作当日核验其接口、权限、隐私和保留行为。TODO(verify):若正文使用基准成绩、失败率、改进幅度、记忆容量、重试次数或成本数字,必须新增可追溯来源和适用条件;本章当前没有这些断言。TODO(verify):若候选经验影响共享规则、外部写入、安全策略或生产环境,必须按第 12、14、17、41、42 章的相关边界重新审查;本章没有给出自动放行规则。
Fact Check 完成检查
- [x] 四项一手来源均已在写作日实际读取,并记录允许陈述与外推禁区。
- [x] 论文、工程实践、教学案例与本书模型已分层。
- [x] 示例与图示未被描述为真实反思、根因、经验写入或系统自改进。
- [x] 动态工程文章和未来产品接口保留写作日重核要求。
