外观
第 40 章候选参考资料:成本、延迟与 Token 管理
本文件保留
CH40-REF-*作为 Research Brief 阶段的局部追溯键;主线程已为七项来源登记正式全局引用,正文只使用对应的REF-*编号。
| 本地键 | 全局引用 | 来源 | 类型 | 访问日期 | 允许支持的限定陈述 | 不可外推 |
|---|---|---|---|---|---|---|
| CH40-REF-01 | REF-120 | OpenAI API:Latency optimization | 官方产品工程指南 | 2026-07-17 | 延迟优化可从 Token 处理/生成、输入、请求次数、依赖并行、用户感知等待和非 LLM 路径等方面分解;严格顺序与独立步骤应区别对待。 | 页面百分比、模型大小经验、特定 API 功能、跨供应商性能或任意业务 SLA。页面未见稳定发布日期,后续阶段须重读。 |
| CH40-REF-02 | REF-121 | OpenAI API:Prompt caching | 官方产品文档 | 2026-07-17 | 该产品的缓存命中依赖相同 Prompt 前缀;稳定内容前置、动态内容后置,并可观察缓存相关用量。 | 当前模型、阈值、保留期、路由、价格、命中率、安全或其他供应商缓存语义。动态文档后续阶段须重读。 |
| CH40-REF-03 | REF-122 | Anthropic:Token counting | 官方产品文档 | 2026-07-17 | 发送消息前可对结构化输入做 Token 估算;文档明确预估值与实际消息使用量可能略有差异。 | 当前模型/Tokenizer、系统附加 Token、计费、窗口、精度或跨供应商比较。动态文档后续阶段须重读。 |
| CH40-REF-04 | REF-123 | OpenAI API:Batch API | 官方产品文档 | 2026-07-17 | 不要求即时响应的工作可进入该产品的异步批处理流程,并通过状态与结果取回接口管理。 | 当前折扣、完成窗口、限额、端点、文件格式、性能或任务适用性。动态文档后续阶段须重读。 |
| CH40-REF-05 | REF-068 | Anthropic:Effective context engineering for AI agents | 官方工程文章 | 2026-07-17 | 在有限上下文中维护高信号 Token、按需检索和长任务压缩的取舍背景。 | 产品实现、自动压缩、上下文能力、成本、质量结果或所有 Agent 的共同规律。页面未见稳定发布日期,后续阶段须重读。 |
| CH40-REF-06 | REF-061 | Anthropic:Demystifying evals for AI agents | 官方工程文章 | 2026-07-17 | task、trial、grader、transcript、outcome 的限定定义,以及在固定任务上跟踪 Token、延迟、成本与错误率的评估背景。 | 客户案例、模型表现、阈值、指标优先级、跨产品标准或评估器可靠性。动态文章后续阶段须重读。 |
| CH40-REF-07 | REF-124 | OpenAI API:Pricing | 官方动态价格页 | 2026-07-17 | 只作为正式写作、事实核验和出版前按日期读取产品费率的入口;本阶段不摘录价格。 | 价格长期稳定、公开价等于合同结算、折扣、税费、汇率、其他平台或未来费率。每次使用数值前都须重读。 |
| CH40-REF-08 | REF-148 | pi 仓库 README(badlogic/pi-mono,现迁移至 earendil-works/pi) | 开源项目 README | 2026-07-26 | pi 是 Mario Zechner 开发的开源极简编码代理;其模型注册表从 OpenRouter 与 models.dev 数据生成,含价格与能力元数据。 | GitHub stars 等动态统计数字;默认值、命令名、包结构的长期稳定性——动态仓库内容以访问日为准,后续阶段须重读;不摘录任何价格或能力数值。 |
| CH40-REF-09 | REF-149 | Zechner, Mario. What I learned building an opinionated and minimal coding agent(2025-11-30) | 作者第一手构建札记 | 2026-07-26 | 作者归纳统一层之下只有四种 API(OpenAI Completions、OpenAI Responses、Anthropic Messages、Google Generative AI);其当时实测的 Completions 兼容碎片化实例(store、max_tokens/max_completion_tokens、developer 角色、reasoning_content/reasoning);跨供应商上下文交接处理(思维块降级为标签文本、签名 blob 回放、上下文可序列化);AbortSignal 与中止后部分结果最常缺失;token 与缓存计费只能 best-effort。 | 把上述作者观察外推为行业普遍事实或各供应商当前行为;Terminal-Bench 具体名次或分数;任何无主语归属的转述。 |
使用规则
- Resource Budget、Resource Record、Latency Path、Rate Snapshot、Optimization Candidate 与 Quality Non-regression Gate 都是本书工程模型,不是上述来源的接口或默认策略。
- 本阶段不登记任何价格、模型上下文窗口、缓存阈值、保留时间、完成窗口、Token 换算、延迟百分比或模型排行。
- 预估 Token、实际用量、缓存记录、费率快照、任务结果和质量结论是不同证据;不得互相替代。
- 产品资料的 URL、字段、模型范围、价格和行为都可能变化;First Draft、Technical Review、Fact Check 与出版前必须按写作日复核。
- 若正式正文需要任何数字,必须记录产品/合同范围、单位、币种、有效日期、来源位置和适用限制;缺一项则保留为
TODO(verify):或删除。 - 已于 2026-07-26 通读 REF-148 与 REF-149;新增正文保留作者主语、访问日与动态版本边界,不摘录价格或评测排名。
候选资料完成检查
- [x] 每条资料都有稳定 URL、来源类型、访问日期和局部追溯键。
- [x] 每条资料都记录了允许陈述与不可外推范围。
- [x] 动态产品资料已标记为后续阶段当日重读对象。
- [x] 未摘录价格、上下文窗口、缓存阈值、延迟数字或模型排行。
- [x] 已将产品行为、本书工程模型、教学案例与未运行事实分开。
