Agent Token Optimization & Context Compression/ 智能体Token优化与上下文压缩

Token优化让AI智能体像精打细算的旅行者一样——只带必需品上路：自动压缩历史对话为摘要、复用缓存的系统提示词、为关键任务预留Token空间。目标是让有限上下文窗口里装的都是「有用信息」，而不是被重复的指令和过时的对话占满。这就是智能体从「能跑」到「跑得远、花得少」的关键工程优化。

上下文窗口是智能体的「工作记忆」，但即便是200K tokens的模型，塞满无关信息也会让智能体「失忆」或「跑偏」。三种主流优化手段：

① **Prompt Caching（提示词缓存）**

将不变的系统提示词、工具定义、示例等预计算为KV Cache存储在服务端。后续请求命中缓存时，这部分token不再计费，延迟也大幅降低。Anthropic Claude支持自动缓存（命中一次后持续有效5分钟），OpenAI提供手动标记缓存断点，DeepSeek也推出了类似功能。核心技巧：把静态内容放最前面、动态内容放后面。

② **Context Summarization（上下文摘要）**

超过阈值（如对话>20轮或>50K tokens）时，将早期对话压缩为结构化摘要（保留关键决策、数据、实体），替换原始消息。常见实现有LangChain ConversationSummaryMemory、LlamaIndex ChatSummaryMemoryBuffer。摘要模型可选用轻量模型（GPT-4o-mini）以节省成本。

③ **Token Budgeting（Token预算控制）**

为上下文各部分设定token上限，如系统提示词≤2K、工具结果≤8K、历史对话≤20K、本次输出≤4K。超出部分自动截断（简单截断风险大）或触发摘要压缩。需用模型对应的tokenizer（如tiktoken for OpenAI）精确计算。

• **测试一：Prompt Cache命中率测试**

• 操作：用Anthropic Python SDK发送请求，设置相同system prompt+不同user message，对比首次请求和后续请求的`usage.cache_read_input_tokens`和`usage.cache_creation_input_tokens`

• 工具：Anthropic SDK (https://github.com/anthropics/anthropic-sdk-python)

• 指标：Cache命中率 = cache_read_tokens / total_input_tokens；期望 >85%

• **测试二：上下文压缩保真度测试**

• 操作：构建10轮对话（包含数字、日期、人名、决策等信息），用LangChain ConversationSummaryMemory压缩为摘要，然后基于摘要回答8个事实性问题，人工打分

• 工具：LangChain (https://github.com/langchain-ai/langchain) + LLM as Judge

• 指标：关键信息保留率（压缩后仍能正确回答的比例）>90%；摘要长度压缩比（摘要tokens/原始tokens）<15%

• **测试三：Token精确计数与预算验证**

• 操作：用tiktoken对消息列表精确计数，设定各部分的token预算上限，验证截断/压缩触发时机是否正确

• 工具：tiktoken (https://github.com/openai/tiktoken)

• 指标：计数偏差 <1%；预算触发准确率 100%

1. **缓存「静默失效」陷阱**：Prompt Cache对内容极其敏感——system prompt中一个空格变化、工具名称重命名、甚至JSON字段顺序调整都会导致全部cache miss，且大部分API不会主动通知你缓存未命中。必须监控`cache_read_input_tokens`指标，在可视化面板设置告警。

1. **摘要失真的「关键信息蒸发」**：自动摘要容易丢失精确数字（如「预算350万」被概括为「有预算」）、日期（「6月30日前」变成「近期」）和实体名称。解决方案：在摘要指令中显式要求保留所有数字、日期、专有名词，或用结构化模板约束摘要格式。

1. **Tokenizer不匹配导致预算计算偏差**：不同模型的tokenizer不同——用GPT-4的tiktoken去算Claude的token数会有5-15%偏差。必须使用模型对应的官方tokenizer。对于不支持token计数的API，可用字符数×0.3（英文）或×0.5（中文）粗略估算。

• Anthropic Prompt Caching 官方文档: https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching

• OpenAI Prompt Caching 指南: https://platform.openai.com/docs/guides/prompt-caching

• DeepSeek Context Caching 文档: https://api-docs.deepseek.com/guides/kv_cache

• LangChain Memory 模块 (含ConversationSummaryMemory): https://python.langchain.com/docs/modules/memory/

• LlamaIndex Chat Memory 最佳实践: https://docs.llamaindex.ai/en/stable/module_guides/storing/chat_stores/