wehub-skill-sync
279 lines
8.5 KiB
Markdown
279 lines
8.5 KiB
Markdown
---
|
||
name: context-optimization-reference
|
||
description: 上下文优化技术参考文档
|
||
metadata:
|
||
type: reference
|
||
---
|
||
|
||
# 上下文优化参考
|
||
|
||
本文档提供了关于上下文优化技术与策略的详细技术参考。
|
||
|
||
## 压缩策略
|
||
|
||
### 基于摘要的压缩
|
||
|
||
基于摘要的压缩用简洁的摘要替代冗长的内容，同时保留关键信息。该方法通过识别可压缩的部分、生成捕捉要点的摘要，以及用摘要替换完整内容来实现。
|
||
|
||
压缩的有效性取决于保留哪些信息。关键决策、用户偏好以及当前任务状态绝不能压缩。中间结果和支持性证据可以更积极地摘要化。样板内容、重复信息以及探索性推理通常可以直接移除。
|
||
|
||
### Token 预算分配
|
||
|
||
有效的上下文预算管理需要了解不同上下文组件如何消耗 token，并进行策略性分配：
|
||
|
||
| 组件 | 典型范围 | 说明 |
|
||
|-----------|---------------|-------|
|
||
| 系统提示词 | 500–2000 tokens | 整个会话期间保持稳定 |
|
||
| 工具定义 | 每个工具 100–500 | 随工具数量增长 |
|
||
| 检索到的文档 | 不固定 | 通常是最大消耗者 |
|
||
| 消息历史 | 不固定 | 随对话增长 |
|
||
| 工具输出 | 不固定 | 可能占据绝大部分上下文 |
|
||
|
||
### 压缩阈值
|
||
|
||
在适当的阈值触发压缩，以维持性能：
|
||
|
||
- 达到有效上下文限制 70% 时发出警告阈值
|
||
- 达到有效上下文限制 80% 时触发压缩
|
||
- 达到有效上下文限制 90% 时进行激进压缩
|
||
|
||
具体阈值取决于模型行为与任务特征。部分模型会呈现渐进式退化，而另一些模型则表现出明显的性能悬崖。
|
||
|
||
## 观测屏蔽模式
|
||
|
||
### 选择性屏蔽
|
||
|
||
并非所有观测结果都应同等屏蔽。应考虑屏蔽那些已完成使命、不再需要用于活跃推理的观测结果。保留当前任务的核心观测结果。保留最近一轮的观测结果。保留可能被再次引用的观测结果。
|
||
|
||
### 屏蔽实现
|
||
|
||
```python
|
||
def selective_mask(observations: List[Dict], current_task: Dict) -> List[Dict]:
|
||
"""
|
||
根据相关性选择性屏蔽观测结果。
|
||
|
||
返回带有 mask 字段的观测结果，指示已屏蔽的内容。
|
||
"""
|
||
masked = []
|
||
|
||
for obs in observations:
|
||
relevance = calculate_relevance(obs, current_task)
|
||
|
||
if relevance < 0.3 and obs["age"] > 3:
|
||
# 低相关性且陈旧——屏蔽
|
||
masked.append({
|
||
**obs,
|
||
"masked": True,
|
||
"reference": store_for_reference(obs["content"]),
|
||
"summary": summarize_content(obs["content"])
|
||
})
|
||
else:
|
||
masked.append({
|
||
**obs,
|
||
"masked": False
|
||
})
|
||
|
||
return masked
|
||
```
|
||
|
||
## KV 缓存优化
|
||
|
||
### 前缀稳定性
|
||
|
||
KV 缓存的命中率取决于前缀的稳定性。稳定的前缀支持跨请求复用缓存。动态前缀会使缓存失效并强制重新计算。
|
||
|
||
应保持稳定的元素包括：系统提示词、工具定义以及常用模板。可能变化的元素包括：时间戳、会话标识符以及查询相关的内容。
|
||
|
||
### 缓存友好的设计
|
||
|
||
设计提示词以最大化缓存命中率：
|
||
|
||
1. 将稳定内容放在开头
|
||
2. 跨请求使用一致的格式
|
||
3. 尽可能避免在提示词中使用动态内容
|
||
4. 对动态内容使用占位符
|
||
|
||
```python
|
||
# 不利于缓存：提示词中包含动态时间戳
|
||
system_prompt = f"""
|
||
Current time: {datetime.now().isoformat()}
|
||
You are a helpful assistant.
|
||
"""
|
||
|
||
# 有利于缓存：提示词稳定，动态时间作为变量
|
||
system_prompt = """
|
||
You are a helpful assistant.
|
||
Current time is provided separately when relevant.
|
||
"""
|
||
```
|
||
|
||
## 上下文分区策略
|
||
|
||
### 子代理隔离
|
||
|
||
将工作分配到多个子代理中，以防止任何一个上下文增长过大。每个子代理使用干净的上下文，专注于其子任务。
|
||
|
||
### 分区规划
|
||
|
||
```python
|
||
def plan_partitioning(task: Dict, context_limit: int) -> Dict:
|
||
"""
|
||
根据上下文限制规划如何对任务进行分区。
|
||
|
||
返回分区策略与子任务定义。
|
||
"""
|
||
estimated_context = estimate_task_context(task)
|
||
|
||
if estimated_context <= context_limit:
|
||
return {
|
||
"strategy": "single_agent",
|
||
"subtasks": [task]
|
||
}
|
||
|
||
# 规划多代理方案
|
||
subtasks = decompose_task(task)
|
||
|
||
return {
|
||
"strategy": "multi_agent",
|
||
"subtasks": subtasks,
|
||
"coordination": "hierarchical"
|
||
}
|
||
```
|
||
|
||
## 优化决策框架
|
||
|
||
### 何时进行优化
|
||
|
||
在以下情况考虑上下文优化：上下文利用率超过 70%，回复质量随对话延长而下降，长上下文导致成本上升，或对话长度增加导致延迟升高。
|
||
|
||
### 应用何种优化
|
||
|
||
根据上下文构成选择优化策略：
|
||
|
||
如果工具输出占据上下文主导地位，应用观测屏蔽。如果检索到的文档占据主导地位，应用摘要化或分区。如果消息历史占据主导地位，应用带摘要的压缩。如果多个组件共同贡献，则组合多种策略。
|
||
|
||
### 优化效果评估
|
||
|
||
应用优化后，评估效果：
|
||
|
||
- 衡量 token 减少量
|
||
- 衡量质量保留程度（输出质量不应下降）
|
||
- 衡量延迟改善情况
|
||
- 衡量成本降低情况
|
||
|
||
根据评估结果迭代优化策略。
|
||
|
||
## 常见陷阱
|
||
|
||
### 过度激进的压缩
|
||
|
||
压缩过于激进可能会移除关键信息。务必保留任务目标、用户偏好以及最近的对话上下文。逐步增加压缩强度进行测试，以找到最佳平衡点。
|
||
|
||
### 屏蔽关键观测结果
|
||
|
||
屏蔽仍在使用的观测结果可能导致错误。跟踪观测结果的使用情况，仅屏蔽不再被引用的内容。考虑保留已屏蔽内容的引用，以便在需要时检索。
|
||
|
||
### 忽略注意力分布
|
||
|
||
中间丢失现象意味着信息放置位置至关重要。将关键信息放在注意力有利的位置（上下文的开头和结尾）。使用显式标记突出重要内容。
|
||
|
||
### 过早优化
|
||
|
||
并非所有上下文都需要优化。添加优化机制本身有开销。仅在上下文限制确实制约了代理性能时进行优化。
|
||
|
||
## 监控与告警
|
||
|
||
### 关键指标
|
||
|
||
跟踪以下指标以了解优化需求：
|
||
|
||
- 上下文 token 数量随时间变化
|
||
- 重复模式的缓存命中率
|
||
- 按上下文大小划分的回复质量指标
|
||
- 按上下文长度划分的每次对话成本
|
||
- 按上下文大小划分的延迟
|
||
|
||
### 告警阈值
|
||
|
||
针对以下情况设置告警：
|
||
|
||
- 上下文利用率超过 80%
|
||
- 缓存命中率低于 50%
|
||
- 质量分数下降超过 10%
|
||
- 成本超过基线上升
|
||
|
||
## 集成模式
|
||
|
||
### 与代理框架集成
|
||
|
||
将优化集成到代理工作流中：
|
||
|
||
```python
|
||
class OptimizingAgent:
|
||
def __init__(self, context_limit: int = 80000):
|
||
self.context_limit = context_limit
|
||
self.optimizer = ContextOptimizer()
|
||
|
||
def process(self, user_input: str, context: Dict) -> Dict:
|
||
# 检查是否需要优化
|
||
if self.optimizer.should_compact(context):
|
||
context = self.optimizer.compact(context)
|
||
|
||
# 使用优化后的上下文进行处理
|
||
response = self._call_model(user_input, context)
|
||
|
||
# 跟踪指标
|
||
self.optimizer.record_metrics(context, response)
|
||
|
||
return response
|
||
```
|
||
|
||
### 与记忆系统集成
|
||
|
||
将优化与记忆系统对接：
|
||
|
||
```python
|
||
class MemoryAwareOptimizer:
|
||
def __init__(self, memory_system, context_limit: int):
|
||
self.memory = memory_system
|
||
self.limit = context_limit
|
||
|
||
def optimize_context(self, current_context: Dict, task: str) -> Dict:
|
||
# 检查信息是否已在记忆中
|
||
relevant_memories = self.memory.retrieve(task)
|
||
|
||
# 将不需要留在上下文中的信息移至记忆
|
||
for mem in relevant_memories:
|
||
if mem["importance"] < threshold:
|
||
current_context = remove_from_context(current_context, mem)
|
||
# 保留引用，以便需要时从记忆检索
|
||
|
||
return current_context
|
||
```
|
||
|
||
## 性能基准
|
||
|
||
### 压缩性能
|
||
|
||
压缩应在保留质量的同时减少 token 数量。目标：
|
||
|
||
- 激进压缩实现 50–70% 的 token 减少
|
||
- 压缩带来的质量退化低于 5%
|
||
- 压缩开销导致的延迟增加低于 10%
|
||
|
||
### 屏蔽性能
|
||
|
||
观测屏蔽应显著减少 token 数量：
|
||
|
||
- 被屏蔽的观测结果减少 60–80%
|
||
- 屏蔽带来的质量影响低于 2%
|
||
- 延迟开销接近为零
|
||
|
||
### 缓存性能
|
||
|
||
KV 缓存优化应改善成本与延迟：
|
||
|
||
- 稳定工作负载下缓存命中率达 70% 以上
|
||
- 缓存命中实现 50% 以上的成本降低
|
||
- 缓存命中实现 40% 以上的延迟降低
|