外观
第 47 章 Research Brief:Agent Engineering 的未来与结语
要解决的读者问题
当模型、工具、协议和产品界面持续变化时,工程团队很容易落入两个极端:一边追逐每个新能力,把演示速度当成熟度;另一边因变化太快而拒绝建立任何长期结构。本章不预测哪家模型胜出,也不为“通用 Agent 何时到来”给出时间线。它要回答更耐久的问题:哪些责任不会因为模型变强而消失,哪些假设必须保持开放,读者如何把一个一次性脚本逐步升级成可状态化、可验证、可交接、有人负责的最小 Harness。
全书的结论不是“把 Prompt 写得更长”,也不是“把所有流程交给 Agent”。Agent Engineering 关注模型周围的工程系统:任务契约、上下文、能力、状态、工具、证据、评估、安全、成本、变更和人类决定。未来的具体实现会变化,这些责任仍需要被回答。
研究范围与非范围
| 读者问题 | 本章研究的回答 | 本章不回答 |
|---|---|---|
| 哪些原则相对稳定? | 显式目标与非范围、最小能力、状态/证据分层、可停止执行、版本化评估、可交接工件和具名人类责任。 | 某个框架、模型、协议、云服务或目录结构永久正确。 |
| 哪些问题仍开放? | 模型变化、长时程状态、多 Agent 协调、评估效度、安全工具生态、供应链、互操作和组织责任。 | 为开放问题虚构统一答案、时间线或能力保证。 |
| 标准化应从哪里开始? | 先统一可观察契约、状态、证据和错误语义,再讨论传输、SDK 或平台。 | 把共享 JSON 字段、协议连接成功或生态规模当语义兼容。 |
| 怎样决定是否增加自治? | 从最小闭环开始;只有任务收益、评估、权限和恢复证据支持时才增加动态决策。 | 以模型更强、上下文更长或工具更多自动推导应采用自治 Agent。 |
| 读者下一步做什么? | 选择一个真实、可回滚任务,按契约—状态—证据—评估—责任的路线逐层增强。 | 一次搭建企业平台、自动开放生产权限或跳过组织风险决定。 |
已核验的一手资料与受限用途
| 本地键 | 来源明确表达的内容 | 允许用于本章的范围 | 不可外推 |
|---|---|---|---|
| CH47-REF-01 | OpenAI 当前 API Overview 说明模型 Prompt 行为可能在快照间变化,并建议固定版本和运行 evals。 | 支持模型行为需要版本身份和回归评估的产品特定例子。 | 任意模型、供应商或固定版本都具有相同行为;固定版本等于确定输出。 |
| CH47-REF-02 | Anthropic 建议从最简单方案开始、只在需要时增加复杂度,并区分预定义 workflow 与动态 agent。 | 支持自治复杂度应由任务收益和证据推动的工程背景。 | 行业标准、未来架构、自治优越性或性能保证。 |
| CH47-REF-03 | OpenAI 当前指南将生成式系统描述为可变,并建议任务特定、持续、含边缘/对抗样例且有人类校准的评估。 | 支持评估随系统和分布演进,而非依赖单次演示或通用分数。 | 固定阈值、评分器可靠、平台长期存在或跨供应商行为。 |
| CH47-REF-04 | NIST AI RMF 1.0 是自愿、非行业特定、跨生命周期的风险管理框架,Core 包含 GOVERN、MAP、MEASURE、MANAGE。 | 支持治理、情境、测量与管理需要贯穿生命周期。 | 法规、认证、固定门禁、组织责任或系统可信结论。 |
| CH47-REF-05 | OWASP 汇总直接/间接 Prompt Injection 及对数据、工具、记忆和行为的影响。 | 支持能力扩大时不可信内容和工具边界仍需纵深防御。 | 单一过滤、标签或模型可以消除风险,本仓已安全测试。 |
| CH47-REF-06 | SLSA v1.2 展示供应链完整性威胁可跨生产者、源码、构建、发布、分发、选择与依赖,并明确未覆盖全部威胁。 | 支持 Agent 资产也需要来源、版本、审查、构建/分发与撤销视角的受限类比。 | Agent 供应链等同软件包供应链,SLSA 覆盖所有 Prompt/Skill/模型风险。 |
访问日期均为 2026-07-17。CH47-REF-01 至 CH47-REF-06 分别映射 REF-014、REF-029、REF-117、REF-063、REF-125 与 REF-129。完整 URL 与外推禁区见本章参考资料。
七项相对稳定的工程责任
未来产品名称和 API 会变,但一个可负责系统仍要回答七类问题。
| 稳定责任 | 核心问题 | 最小工件 | 失败时的保守结论 |
|---|---|---|---|
| 任务契约 | 要完成什么,什么不做,谁验收? | Task Contract | needs_scope |
| 上下文边界 | 哪些输入可见、来自哪里、何时过期? | Context Packet / Evidence Card | needs_context_evidence |
| 能力边界 | 能调用什么、针对何目标、允许何副作用? | Capability Grant Record / Tool Contract | not_authorized |
| 状态与恢复 | 当前在哪一步,能否重试、回滚或接力? | Workflow State / Checkpoint / Handoff | state_unknown |
| 观察与证据 | 实际发生了什么,谁观察,能证明到哪? | Attempt Trace / Observation / Evidence Package | effect_unknown |
| 评估与变更 | 对哪个任务集、版本、基线和硬门判断? | Evaluation Spec / Regression Matrix | not_comparable |
| 人类责任 | 谁承担风险、批准例外和外部效果? | Decision Record / Responsibility Map | approval_required |
这些名称是本书工件,不是通用标准。稳定的是责任问题,不是固定文件格式。
哪些假设必须保持开放
模型能力与行为边界
模型可能在推理、工具使用、长上下文或多模态方面改变,但“模型名称相同”不证明行为跨快照一致。CH47-REF-01 提供一个当前产品例子:Prompt 行为可能变化,应使用版本和 evals。开放问题不是“下个模型多强”,而是哪些任务边界会变化、旧评估何时失效、回归怎样被发现。
长时程状态与记忆
长上下文、会话历史、数据库、向量检索和项目记忆解决不同问题。仍需研究如何在压缩、过期、隐私、撤销和跨工具接力之间保持可解释状态。任何“无限记忆”主张都必须回答来源、作用范围、读取授权和删除责任。
多 Agent 协调
并行可以降低等待,也会放大共享写入、输入漂移、重复工作和集成责任。开放问题包括如何证明子任务真正独立、如何比较冲突候选、如何限制递归委派,以及何时让协调成本超过并行收益。
评估效度
CH47-REF-03 支持任务特定和持续评估的当前工程背景,却不解决“什么代表真实价值”。难题包括分布漂移、模型评分器偏差、隐私受限数据、长任务结果、稀有安全失败和组织目标冲突。更多测试不自动等于更有效的评估。
安全工具与不可信内容
模型能读更多来源、调用更多工具时,攻击面也扩大。CH47-REF-05 说明直接和间接 Prompt Injection 可影响数据、工具、记忆与行为。开放问题不是寻找一个万能过滤器,而是如何组合内容隔离、能力最小化、目标约束、审批、结果验证、敏感数据处理和事件响应。
Agent 资产供应链
Prompt、Skill、Tool Schema、MCP Server、模型、依赖、评估集和策略都可能改变有效行为。CH47-REF-06 只提供软件供应链完整性威胁的受限类比;未来需要更清楚的 Agent Asset Register、来源、审查、构建、分发、版本、撤销和未覆盖风险,而不能把 provenance 写成安全保证。
组织与专业责任
风险不是只存在于模型输出。目标、数据、权限、上线范围、申诉、事件响应和停用由组织决定。NIST AI RMF 的 GOVERN、MAP、MEASURE、MANAGE 提供跨生命周期风险管理背景 [REF-063],但每个组织仍需明确自己的风险所有者、受影响者、独立审查和停止权。
标准化的五层阶梯
互操作不能只看“都能发送 JSON”。本章建议按五层区分:
- 语法层: 字段能解析,版本可识别。
- 契约层: 输入、输出、错误、副作用和幂等语义明确。
- 状态层: 计划、执行、观察、验证和停止状态不会互相冒充。
- 证据层: 来源、运行、版本、未覆盖项和责任可追溯。
- 治理层: 权限、隐私、审计、例外、撤销和人类决定可执行。
协议连接成功最多证明前两层的一部分。两个工具使用同名 success,若一个表示 API 接收、另一个表示业务效果完成,仍然不可互操作。未来标准的价值应由失败语义、可验证性和责任边界判断,而不是生态数量或宣传兼容性。
从一次性脚本到最小 Harness 的路线
贯穿案例从一个“读取输入并调用模型/工具”的一次性脚本开始。各级只在前一级的真实风险出现后增加能力。
| 阶段 | 新增责任 | 最小证据 | 不应提前增加 |
|---|---|---|---|
| 0. 一次性脚本 | 明确输入和输出。 | 可重复的固定样例。 | 自治、多 Agent、长期记忆。 |
| 1. 任务契约 | 目标、非范围、输出契约、停止条件。 | 无效输入能保守停止。 | 真实副作用权限。 |
| 2. 状态闭环 | planned/running/stopped/succeeded 等状态与原因。 | 状态迁移测试和 Attempt Trace。 | 模糊的“完成”布尔值。 |
| 3. 能力边界 | Tool Contract、目标范围、副作用和批准。 | 越权候选在调用前停止。 | 默认开放全部工具。 |
| 4. 观察验证 | Tool Result、独立 Observation、验收和效果未知。 | 结果与环境效果不互相冒充。 | 用调用成功证明业务完成。 |
| 5. 评估变更 | 任务集、基线、硬门、版本与回归。 | 候选变化可比较,缺版本时停止。 | 用单次 Demo 证明稳定。 |
| 6. 交接恢复 | Context/Handoff Package、Checkpoint、冲突记录。 | 新执行者能从工件恢复并发现漂移。 | 依赖聊天或隐式记忆。 |
| 7. 受限自治 | 只为收益可测、边界明确的部分动态决策。 | 预算、停止、权限、评估和回滚均有效。 | 因“模型更强”自动扩大权限。 |
CH47-REF-02 支持“从最简单方案开始、需要时再增加复杂度”的工程背景。具体七级路线是本书综合,不来自该文章,也不保证适合所有项目。
读者的实践路线图
第一步:选择一个低风险真实任务
任务应有可检查输入、可回滚输出和明确责任者。例如整理只读文档、生成候选报告或验证结构化配置。不要以删除、付款、发布或生产写入作为第一个案例。
第二步:先写失败出口
在正常路径前定义:缺输入、缺权限、工具失败、效果未知、评估不可比和需要人工批准时返回什么。无法解释停止原因的系统不适合扩大自治。
第三步:保留一次完整 Attempt Trace
记录任务版本、输入摘要、候选计划、能力请求、工具结果、独立观察、验收、未覆盖项和下一步。Trace 不是日志倾倒,也不能包含不必要的秘密。
第四步:建立最小回归集
至少包含正常、拒绝、边界和故障场景;每项有独立预期值和硬性门。根据实际失败扩展,不为覆盖率数字堆积重复测试。
第五步:让另一位执行者接手
把目标、规则、当前状态、证据、未知项和下一任务写入仓库工件,让另一人或另一工具在不读取原聊天的情况下恢复。接力失败会暴露隐式依赖。
第六步:只为已测收益增加复杂度
并行、长期记忆、动态路由或多 Agent 应分别有基线、风险、退出条件和回滚。不能解释收益或验证方法时,保留简单 workflow。
计划图示
Mermaid 图将“模型能力变化”置于外层输入,把一次性脚本沿任务契约、状态、能力、观察、评估、交接和受限自治演进为 Harness;组织风险、标准、安全与学习系统作为跨层约束。图必须显示:
- 模型能力提升不自动扩大权限;
- 协议连接不自动产生语义互操作;
- Eval 通过不自动批准上线;
- 自治增加后仍能停止、回滚和交给人类。
计划纯内存示例
Example Implementation 可实现 assessAgentEngineeringReadiness(input),只读取注入的:
taskContractcontextBoundarycapabilityBoundarystateModelobservationEvidenceevaluationEvidencehandoffEvidenceriskOwnershipautonomyRequest
返回 needs_contract、needs_capability_boundary、needs_effect_evidence、evaluation_not_comparable、handoff_not_ready、human_accountability_required 或 ready_for_bounded_pilot_review。函数不调用模型/工具,不读取系统,不修改权限,不部署、发布或启动 Agent,也不证明未来能力。
主要风险与后续核验
- 预测伪装成事实: 用当前产品势头写确定未来。
- 原则过度抽象: 只列口号,没有工件、失败出口和读者动作。
- 标准化幻觉: 语法兼容被写成语义、证据或治理兼容。
- 自治升级无基线: 没有测量收益就增加权限和协调层。
- 组织责任空白: 用“human-in-the-loop”代替具名决定者和停止权。
- 结语状态漂移: 前章尚未完成却把全书写成已出版或已验证。
TODO(verify):Outline 逐节回收七项责任、七类开放问题、五层标准化和实践路线。TODO(verify):First Draft 当天重读动态来源,检查全书完成状态,不声称尚未发生的最终验证。TODO(verify):Example 与 Diagram 只表达本书模型,不运行真实 Agent、权限或外部动作。TODO(verify):Final Review 在第 1 至 47 章均完成、共享状态同步、全仓校验新鲜通过后才能写最终完成结论。
下一阶段建议
Chapter Outline 应以“变化中的模型 → 稳定工程责任 → 开放问题 → 标准化阶梯 → 一次性脚本演进案例 → 实践路线 → 结语”组织。正文既要给读者可执行下一步,也要保留未知:未来实现可以变化,但任何有外部影响的系统仍需要目标、边界、状态、证据、评估和责任。
