Skip to content

第 47 章 Research Brief:Agent Engineering 的未来与结语

要解决的读者问题

当模型、工具、协议和产品界面持续变化时,工程团队很容易落入两个极端:一边追逐每个新能力,把演示速度当成熟度;另一边因变化太快而拒绝建立任何长期结构。本章不预测哪家模型胜出,也不为“通用 Agent 何时到来”给出时间线。它要回答更耐久的问题:哪些责任不会因为模型变强而消失,哪些假设必须保持开放,读者如何把一个一次性脚本逐步升级成可状态化、可验证、可交接、有人负责的最小 Harness。

全书的结论不是“把 Prompt 写得更长”,也不是“把所有流程交给 Agent”。Agent Engineering 关注模型周围的工程系统:任务契约、上下文、能力、状态、工具、证据、评估、安全、成本、变更和人类决定。未来的具体实现会变化,这些责任仍需要被回答。

研究范围与非范围

读者问题本章研究的回答本章不回答
哪些原则相对稳定?显式目标与非范围、最小能力、状态/证据分层、可停止执行、版本化评估、可交接工件和具名人类责任。某个框架、模型、协议、云服务或目录结构永久正确。
哪些问题仍开放?模型变化、长时程状态、多 Agent 协调、评估效度、安全工具生态、供应链、互操作和组织责任。为开放问题虚构统一答案、时间线或能力保证。
标准化应从哪里开始?先统一可观察契约、状态、证据和错误语义,再讨论传输、SDK 或平台。把共享 JSON 字段、协议连接成功或生态规模当语义兼容。
怎样决定是否增加自治?从最小闭环开始;只有任务收益、评估、权限和恢复证据支持时才增加动态决策。以模型更强、上下文更长或工具更多自动推导应采用自治 Agent。
读者下一步做什么?选择一个真实、可回滚任务,按契约—状态—证据—评估—责任的路线逐层增强。一次搭建企业平台、自动开放生产权限或跳过组织风险决定。

已核验的一手资料与受限用途

本地键来源明确表达的内容允许用于本章的范围不可外推
CH47-REF-01OpenAI 当前 API Overview 说明模型 Prompt 行为可能在快照间变化,并建议固定版本和运行 evals。支持模型行为需要版本身份和回归评估的产品特定例子。任意模型、供应商或固定版本都具有相同行为;固定版本等于确定输出。
CH47-REF-02Anthropic 建议从最简单方案开始、只在需要时增加复杂度,并区分预定义 workflow 与动态 agent。支持自治复杂度应由任务收益和证据推动的工程背景。行业标准、未来架构、自治优越性或性能保证。
CH47-REF-03OpenAI 当前指南将生成式系统描述为可变,并建议任务特定、持续、含边缘/对抗样例且有人类校准的评估。支持评估随系统和分布演进,而非依赖单次演示或通用分数。固定阈值、评分器可靠、平台长期存在或跨供应商行为。
CH47-REF-04NIST AI RMF 1.0 是自愿、非行业特定、跨生命周期的风险管理框架,Core 包含 GOVERN、MAP、MEASURE、MANAGE。支持治理、情境、测量与管理需要贯穿生命周期。法规、认证、固定门禁、组织责任或系统可信结论。
CH47-REF-05OWASP 汇总直接/间接 Prompt Injection 及对数据、工具、记忆和行为的影响。支持能力扩大时不可信内容和工具边界仍需纵深防御。单一过滤、标签或模型可以消除风险,本仓已安全测试。
CH47-REF-06SLSA v1.2 展示供应链完整性威胁可跨生产者、源码、构建、发布、分发、选择与依赖,并明确未覆盖全部威胁。支持 Agent 资产也需要来源、版本、审查、构建/分发与撤销视角的受限类比。Agent 供应链等同软件包供应链,SLSA 覆盖所有 Prompt/Skill/模型风险。

访问日期均为 2026-07-17。CH47-REF-01 至 CH47-REF-06 分别映射 REF-014、REF-029、REF-117、REF-063、REF-125 与 REF-129。完整 URL 与外推禁区见本章参考资料

七项相对稳定的工程责任

未来产品名称和 API 会变,但一个可负责系统仍要回答七类问题。

稳定责任核心问题最小工件失败时的保守结论
任务契约要完成什么,什么不做,谁验收?Task Contractneeds_scope
上下文边界哪些输入可见、来自哪里、何时过期?Context Packet / Evidence Cardneeds_context_evidence
能力边界能调用什么、针对何目标、允许何副作用?Capability Grant Record / Tool Contractnot_authorized
状态与恢复当前在哪一步,能否重试、回滚或接力?Workflow State / Checkpoint / Handoffstate_unknown
观察与证据实际发生了什么,谁观察,能证明到哪?Attempt Trace / Observation / Evidence Packageeffect_unknown
评估与变更对哪个任务集、版本、基线和硬门判断?Evaluation Spec / Regression Matrixnot_comparable
人类责任谁承担风险、批准例外和外部效果?Decision Record / Responsibility Mapapproval_required

这些名称是本书工件,不是通用标准。稳定的是责任问题,不是固定文件格式。

哪些假设必须保持开放

模型能力与行为边界

模型可能在推理、工具使用、长上下文或多模态方面改变,但“模型名称相同”不证明行为跨快照一致。CH47-REF-01 提供一个当前产品例子:Prompt 行为可能变化,应使用版本和 evals。开放问题不是“下个模型多强”,而是哪些任务边界会变化、旧评估何时失效、回归怎样被发现。

长时程状态与记忆

长上下文、会话历史、数据库、向量检索和项目记忆解决不同问题。仍需研究如何在压缩、过期、隐私、撤销和跨工具接力之间保持可解释状态。任何“无限记忆”主张都必须回答来源、作用范围、读取授权和删除责任。

多 Agent 协调

并行可以降低等待,也会放大共享写入、输入漂移、重复工作和集成责任。开放问题包括如何证明子任务真正独立、如何比较冲突候选、如何限制递归委派,以及何时让协调成本超过并行收益。

评估效度

CH47-REF-03 支持任务特定和持续评估的当前工程背景,却不解决“什么代表真实价值”。难题包括分布漂移、模型评分器偏差、隐私受限数据、长任务结果、稀有安全失败和组织目标冲突。更多测试不自动等于更有效的评估。

安全工具与不可信内容

模型能读更多来源、调用更多工具时,攻击面也扩大。CH47-REF-05 说明直接和间接 Prompt Injection 可影响数据、工具、记忆与行为。开放问题不是寻找一个万能过滤器,而是如何组合内容隔离、能力最小化、目标约束、审批、结果验证、敏感数据处理和事件响应。

Agent 资产供应链

Prompt、Skill、Tool Schema、MCP Server、模型、依赖、评估集和策略都可能改变有效行为。CH47-REF-06 只提供软件供应链完整性威胁的受限类比;未来需要更清楚的 Agent Asset Register、来源、审查、构建、分发、版本、撤销和未覆盖风险,而不能把 provenance 写成安全保证。

组织与专业责任

风险不是只存在于模型输出。目标、数据、权限、上线范围、申诉、事件响应和停用由组织决定。NIST AI RMF 的 GOVERN、MAP、MEASURE、MANAGE 提供跨生命周期风险管理背景 [REF-063],但每个组织仍需明确自己的风险所有者、受影响者、独立审查和停止权。

标准化的五层阶梯

互操作不能只看“都能发送 JSON”。本章建议按五层区分:

  1. 语法层: 字段能解析,版本可识别。
  2. 契约层: 输入、输出、错误、副作用和幂等语义明确。
  3. 状态层: 计划、执行、观察、验证和停止状态不会互相冒充。
  4. 证据层: 来源、运行、版本、未覆盖项和责任可追溯。
  5. 治理层: 权限、隐私、审计、例外、撤销和人类决定可执行。

协议连接成功最多证明前两层的一部分。两个工具使用同名 success,若一个表示 API 接收、另一个表示业务效果完成,仍然不可互操作。未来标准的价值应由失败语义、可验证性和责任边界判断,而不是生态数量或宣传兼容性。

从一次性脚本到最小 Harness 的路线

贯穿案例从一个“读取输入并调用模型/工具”的一次性脚本开始。各级只在前一级的真实风险出现后增加能力。

阶段新增责任最小证据不应提前增加
0. 一次性脚本明确输入和输出。可重复的固定样例。自治、多 Agent、长期记忆。
1. 任务契约目标、非范围、输出契约、停止条件。无效输入能保守停止。真实副作用权限。
2. 状态闭环planned/running/stopped/succeeded 等状态与原因。状态迁移测试和 Attempt Trace。模糊的“完成”布尔值。
3. 能力边界Tool Contract、目标范围、副作用和批准。越权候选在调用前停止。默认开放全部工具。
4. 观察验证Tool Result、独立 Observation、验收和效果未知。结果与环境效果不互相冒充。用调用成功证明业务完成。
5. 评估变更任务集、基线、硬门、版本与回归。候选变化可比较,缺版本时停止。用单次 Demo 证明稳定。
6. 交接恢复Context/Handoff Package、Checkpoint、冲突记录。新执行者能从工件恢复并发现漂移。依赖聊天或隐式记忆。
7. 受限自治只为收益可测、边界明确的部分动态决策。预算、停止、权限、评估和回滚均有效。因“模型更强”自动扩大权限。

CH47-REF-02 支持“从最简单方案开始、需要时再增加复杂度”的工程背景。具体七级路线是本书综合,不来自该文章,也不保证适合所有项目。

读者的实践路线图

第一步:选择一个低风险真实任务

任务应有可检查输入、可回滚输出和明确责任者。例如整理只读文档、生成候选报告或验证结构化配置。不要以删除、付款、发布或生产写入作为第一个案例。

第二步:先写失败出口

在正常路径前定义:缺输入、缺权限、工具失败、效果未知、评估不可比和需要人工批准时返回什么。无法解释停止原因的系统不适合扩大自治。

第三步:保留一次完整 Attempt Trace

记录任务版本、输入摘要、候选计划、能力请求、工具结果、独立观察、验收、未覆盖项和下一步。Trace 不是日志倾倒,也不能包含不必要的秘密。

第四步:建立最小回归集

至少包含正常、拒绝、边界和故障场景;每项有独立预期值和硬性门。根据实际失败扩展,不为覆盖率数字堆积重复测试。

第五步:让另一位执行者接手

把目标、规则、当前状态、证据、未知项和下一任务写入仓库工件,让另一人或另一工具在不读取原聊天的情况下恢复。接力失败会暴露隐式依赖。

第六步:只为已测收益增加复杂度

并行、长期记忆、动态路由或多 Agent 应分别有基线、风险、退出条件和回滚。不能解释收益或验证方法时,保留简单 workflow。

计划图示

Mermaid 图将“模型能力变化”置于外层输入,把一次性脚本沿任务契约、状态、能力、观察、评估、交接和受限自治演进为 Harness;组织风险、标准、安全与学习系统作为跨层约束。图必须显示:

  • 模型能力提升不自动扩大权限;
  • 协议连接不自动产生语义互操作;
  • Eval 通过不自动批准上线;
  • 自治增加后仍能停止、回滚和交给人类。

计划纯内存示例

Example Implementation 可实现 assessAgentEngineeringReadiness(input),只读取注入的:

  • taskContract
  • contextBoundary
  • capabilityBoundary
  • stateModel
  • observationEvidence
  • evaluationEvidence
  • handoffEvidence
  • riskOwnership
  • autonomyRequest

返回 needs_contractneeds_capability_boundaryneeds_effect_evidenceevaluation_not_comparablehandoff_not_readyhuman_accountability_requiredready_for_bounded_pilot_review。函数不调用模型/工具,不读取系统,不修改权限,不部署、发布或启动 Agent,也不证明未来能力。

主要风险与后续核验

  • 预测伪装成事实: 用当前产品势头写确定未来。
  • 原则过度抽象: 只列口号,没有工件、失败出口和读者动作。
  • 标准化幻觉: 语法兼容被写成语义、证据或治理兼容。
  • 自治升级无基线: 没有测量收益就增加权限和协调层。
  • 组织责任空白: 用“human-in-the-loop”代替具名决定者和停止权。
  • 结语状态漂移: 前章尚未完成却把全书写成已出版或已验证。
  • TODO(verify): Outline 逐节回收七项责任、七类开放问题、五层标准化和实践路线。
  • TODO(verify): First Draft 当天重读动态来源,检查全书完成状态,不声称尚未发生的最终验证。
  • TODO(verify): Example 与 Diagram 只表达本书模型,不运行真实 Agent、权限或外部动作。
  • TODO(verify): Final Review 在第 1 至 47 章均完成、共享状态同步、全仓校验新鲜通过后才能写最终完成结论。

下一阶段建议

Chapter Outline 应以“变化中的模型 → 稳定工程责任 → 开放问题 → 标准化阶梯 → 一次性脚本演进案例 → 实践路线 → 结语”组织。正文既要给读者可执行下一步,也要保留未知:未来实现可以变化,但任何有外部影响的系统仍需要目标、边界、状态、证据、评估和责任。

从同一套 Markdown 书稿生成。