Skip to content

第 40 章候选参考资料:成本、延迟与 Token 管理

本文件保留 CH40-REF-* 作为 Research Brief 阶段的局部追溯键;主线程已为七项来源登记正式全局引用,正文只使用对应的 REF-* 编号。

本地键全局引用来源类型访问日期允许支持的限定陈述不可外推
CH40-REF-01REF-120OpenAI API:Latency optimization官方产品工程指南2026-07-17延迟优化可从 Token 处理/生成、输入、请求次数、依赖并行、用户感知等待和非 LLM 路径等方面分解;严格顺序与独立步骤应区别对待。页面百分比、模型大小经验、特定 API 功能、跨供应商性能或任意业务 SLA。页面未见稳定发布日期,后续阶段须重读。
CH40-REF-02REF-121OpenAI API:Prompt caching官方产品文档2026-07-17该产品的缓存命中依赖相同 Prompt 前缀;稳定内容前置、动态内容后置,并可观察缓存相关用量。当前模型、阈值、保留期、路由、价格、命中率、安全或其他供应商缓存语义。动态文档后续阶段须重读。
CH40-REF-03REF-122Anthropic:Token counting官方产品文档2026-07-17发送消息前可对结构化输入做 Token 估算;文档明确预估值与实际消息使用量可能略有差异。当前模型/Tokenizer、系统附加 Token、计费、窗口、精度或跨供应商比较。动态文档后续阶段须重读。
CH40-REF-04REF-123OpenAI API:Batch API官方产品文档2026-07-17不要求即时响应的工作可进入该产品的异步批处理流程,并通过状态与结果取回接口管理。当前折扣、完成窗口、限额、端点、文件格式、性能或任务适用性。动态文档后续阶段须重读。
CH40-REF-05REF-068Anthropic:Effective context engineering for AI agents官方工程文章2026-07-17在有限上下文中维护高信号 Token、按需检索和长任务压缩的取舍背景。产品实现、自动压缩、上下文能力、成本、质量结果或所有 Agent 的共同规律。页面未见稳定发布日期,后续阶段须重读。
CH40-REF-06REF-061Anthropic:Demystifying evals for AI agents官方工程文章2026-07-17task、trial、grader、transcript、outcome 的限定定义,以及在固定任务上跟踪 Token、延迟、成本与错误率的评估背景。客户案例、模型表现、阈值、指标优先级、跨产品标准或评估器可靠性。动态文章后续阶段须重读。
CH40-REF-07REF-124OpenAI API:Pricing官方动态价格页2026-07-17只作为正式写作、事实核验和出版前按日期读取产品费率的入口;本阶段不摘录价格。价格长期稳定、公开价等于合同结算、折扣、税费、汇率、其他平台或未来费率。每次使用数值前都须重读。
CH40-REF-08REF-148pi 仓库 README(badlogic/pi-mono,现迁移至 earendil-works/pi)开源项目 README2026-07-26pi 是 Mario Zechner 开发的开源极简编码代理;其模型注册表从 OpenRouter 与 models.dev 数据生成,含价格与能力元数据。GitHub stars 等动态统计数字;默认值、命令名、包结构的长期稳定性——动态仓库内容以访问日为准,后续阶段须重读;不摘录任何价格或能力数值。
CH40-REF-09REF-149Zechner, Mario. What I learned building an opinionated and minimal coding agent(2025-11-30)作者第一手构建札记2026-07-26作者归纳统一层之下只有四种 API(OpenAI Completions、OpenAI Responses、Anthropic Messages、Google Generative AI);其当时实测的 Completions 兼容碎片化实例(storemax_tokens/max_completion_tokensdeveloper 角色、reasoning_content/reasoning);跨供应商上下文交接处理(思维块降级为标签文本、签名 blob 回放、上下文可序列化);AbortSignal 与中止后部分结果最常缺失;token 与缓存计费只能 best-effort。把上述作者观察外推为行业普遍事实或各供应商当前行为;Terminal-Bench 具体名次或分数;任何无主语归属的转述。

使用规则

  • Resource Budget、Resource Record、Latency Path、Rate Snapshot、Optimization Candidate 与 Quality Non-regression Gate 都是本书工程模型,不是上述来源的接口或默认策略。
  • 本阶段不登记任何价格、模型上下文窗口、缓存阈值、保留时间、完成窗口、Token 换算、延迟百分比或模型排行。
  • 预估 Token、实际用量、缓存记录、费率快照、任务结果和质量结论是不同证据;不得互相替代。
  • 产品资料的 URL、字段、模型范围、价格和行为都可能变化;First Draft、Technical Review、Fact Check 与出版前必须按写作日复核。
  • 若正式正文需要任何数字,必须记录产品/合同范围、单位、币种、有效日期、来源位置和适用限制;缺一项则保留为 TODO(verify): 或删除。
  • 已于 2026-07-26 通读 REF-148 与 REF-149;新增正文保留作者主语、访问日与动态版本边界,不摘录价格或评测排名。

候选资料完成检查

  • [x] 每条资料都有稳定 URL、来源类型、访问日期和局部追溯键。
  • [x] 每条资料都记录了允许陈述与不可外推范围。
  • [x] 动态产品资料已标记为后续阶段当日重读对象。
  • [x] 未摘录价格、上下文窗口、缓存阈值、延迟数字或模型排行。
  • [x] 已将产品行为、本书工程模型、教学案例与未运行事实分开。

从同一套 Markdown 书稿生成。