Skip to content

第 16 章详细提纲:Reflection 与经验提炼

章节契约

读者完成后的能力: 能从失败轨迹中分离观察、症状、根因假设、反事实和候选经验;能写出带可证伪检查的 Reflection Record;能在证据陈旧、范围扩大和检查失败时停止或退回,而不是自动修改 Harness。

前置知识: 第 7 章的记忆候选与过期边界、第 10 章的状态/轨迹、第 15 章的观察来源与新鲜度。读者只需能阅读对象字段和简单 Node.js 测试。

章节边界: 不采集遥测、不实现事故管理、不做真实根因分析、不写长期记忆、不修改 Instructions/Skill/工具配置、不训练模型。第 17 章负责 Evaluation Spec,第 18 章负责恢复策略,第 20 章处理自改进的治理边界。

小节蓝图

1. 反思不是自我解释:先界定输入和输出

  • 读者问题: 为什么一次失败后的自然语言解释不足以成为经验?
  • 叙述任务: 定义受限轨迹、失败评估证据、Reflection Record 和候选改进的输入输出;说明候选不证明根因、不自动写入记忆。
  • 证据边界: C16-REF-01、C16-REF-02 只支持语言反馈/精炼的研究背景;字段和状态均为本书模型。
  • 计划工件: 反思记录字段表与“记录不代表什么”列。
  • 验证: 读者能指出“模型认为 URL 格式错了”属于假设而不是已确认根因。
  • 过渡: 先确定记录字段,才能判断症状和解释是否被混在一起。

2. 症状、根因假设与经验:三层分离

  • 读者问题: 怎样避免把日志、猜测和规则修改写在同一个句子里?
  • 叙述任务: 对比症状、假设、候选经验和已采纳经验的证据、允许动作与不能推出的结论;解释不确定性是合法出口。
  • 证据边界: C16-REF-03 可作为工程复盘记录和预防行动的背景;不能宣称某个 Agent 可以自动定位根因。
  • 计划工件: 四层对照表与“尚不能归因”状态。
  • 验证: 读者能把“链接失败”拆成观察、两个可竞争假设和一个待验证改变。
  • 过渡: 有多个假设时,需要允许其中一个被推翻的检查设计。

3. 可证伪检查与反事实:给候选留下失败出口

  • 读者问题: 怎样让反思不变成永远正确的叙事?
  • 叙述任务: 定义可证伪检查、对照、反事实分支和拒绝候选的价值;说明检查未运行、通过、失败和未知的区别。
  • 证据边界: C16-REF-04 仅支持清晰标准与可测价值时 evaluator-optimizer 的适用背景;本书的检查设计和状态是工程扩展。
  • 计划工件: “假设—检查—反事实—出口”表。
  • 验证: 读者能为“格式问题”与“暂态可达性”写出不同预期观察。
  • 过渡: 检查通过仍不授予跨任务复用权,需要经验准入。

4. 经验准入:从候选到受控共享

  • 读者问题: 为什么一次候选检查通过后仍不能自动更新项目规则?
  • 叙述任务: 说明范围、证据、冲突、可撤销性和责任审查;连接第 7 章记忆与第 17 章评估。
  • 证据边界: 准入表、版本化与回滚条件是本书模型,不属于论文或 SRE 的固定格式。
  • 计划工件: Lesson Admission 检查表和状态图中的 Review 节点。
  • 验证: 读者能解释“本章资料预检查”为什么不能直接改成“全仓跳过外链检查”。
  • 过渡: 抽象规则要在可控的失败案例中接受验证。

5. 完整工程案例:链接失败的有限改进任务

  • 读者问题: 如何从失败中学习,同时不伪造真实网络结论?
  • 叙述任务: 使用注入轨迹,展示缺证据、陈旧、不可证伪、范围扩大、待验证、验证失败和待审查八条路径。
  • 证据边界: 场景、字符串、对象、返回码和判断规则都是教学设计;不访问真实 URL 或检查器。
  • 计划工件: 纯内存 assessReflectionRecord、8 条测试和候选闭环 Mermaid 图。
  • 验证: 每条路径有精确断言;演示只输出 candidate_for_validation,不输出“已采纳”。
  • 过渡: 第 17 章会将这里的验证状态扩展为可复现评估规格与证据矩阵。

章节工件状态

  1. 已完成:Research Brief、局部候选资料、详细 Outline 与原创 First Draft。
  2. 已完成:纯内存示例、8 条 Node 测试、Example Plan 和 Mermaid SVG/PNG。
  3. 已完成:Technical Review、Fact Check、Diagram Review、Language Editing 与 Final Review。
  4. 待主线程整合:正式全局引用编号、术语表、package.json 入口、docs/SUMMARY.md.ai/progress.md.context/* 与全仓 npm run validate

Outline 完成检查

  • [x] 覆盖反思记录、症状/假设/经验分层、反事实、可证伪检查、经验准入与完整案例。
  • [x] 明确第 15、17、18、20 章的输入输出边界。
  • [x] 每个主要小节都有来源边界、工件、验证和过渡。
  • [x] 不把论文、工程文章或 SRE 实践写成自动学习保证。

从同一套 Markdown 书稿生成。