wehub-skill-sync
151 lines
6.2 KiB
Plaintext
151 lines
6.2 KiB
Plaintext
- 推理清晰度：75/100
|
||
- 目标遵循度：90/100
|
||
- 工具使用质量：55/100
|
||
- 错误恢复能力：35/100
|
||
|
||
检测到的模式：
|
||
|
||
[低] incomplete_reasoning（推理不完整）
|
||
代理在有限的工具交互后就得出了拥有"全面信息"的结论，而没有明确记录学到了什么或还存在哪些空白
|
||
建议：在声称全面理解之前，增加更详细的推理，说明从每个来源具体获得了哪些信息，以及哪些问题仍未得到回答
|
||
|
||
[低] missing_validation（缺少验证）
|
||
代理没有明确验证假设或在来源之间交叉核对信息。"Lost in the Middle"论文被多次提及，但没有与其他来源进行批判性比较
|
||
建议：在阅读多个来源后，明确比较各项发现，记录矛盾之处，并在继续之前针对多个来源验证关键主张
|
||
|
||
[中] tool_misuse（工具误用）
|
||
代理尝试读取一个返回错误的 URL（https://docs.anthropic.com/en/docs/build-with-claude/context-windows），但在没有确认或处理该失败的情况下继续执行
|
||
建议：为失败的工具调用添加明确的错误处理——确认失败，尝试替代 URL，或在研究中记录该空白
|
||
|
||
优势：
|
||
+ 目标遵循度高——所有 5 项必需任务均成功完成
|
||
+ 遵循研究流程的系统性工作流表现出色
|
||
+ 来源选择得当，均来自权威参考（Anthropic、OpenAI、arxiv）
|
||
+ 最终报告全面，覆盖了所有必需章节并附有恰当的引用
|
||
+ 有效使用中间笔记在综合之前组织研究发现
|
||
|
||
不足：
|
||
- 缺少对失败 URL 获取（context-windows 页面）的错误处理
|
||
- 思考模块过于简短，缺少关于来源选择和综合的详细推理
|
||
- 没有在来源之间进行明确的验证或交叉引用
|
||
- 在有限的工具交互后过早声称拥有"全面信息"
|
||
|
||
建议：
|
||
1. 为工具失败添加明确的错误处理——当 URL 获取失败时，在思考中确认该失败，然后要么尝试替代方案，要么记录该空白
|
||
2. 扩展思考模块，使其包括：从每个来源学到了什么、各项发现如何对比/对照、以及哪些问题仍未得到回答
|
||
3. 实施验证步骤，在继续之前将来自一个来源的关键主张与至少另一个来源进行核对
|
||
4. 用具体的学习总结和存在的空白替代模糊的"全面信息"表述
|
||
|
||
```reasoning_trace_analysis.md
|
||
---
|
||
name: reasoning-trace-analysis-report
|
||
description: 分析代理推理轨迹以评估推理质量、工具使用和错误恢复能力
|
||
metadata:
|
||
type: reference
|
||
---
|
||
|
||
# 推理痕迹分析报告
|
||
|
||
## 概述
|
||
|
||
推理痕迹分析报告评估代理在解决任务过程中的推理质量。它分析推理清晰度、目标遵循度、工具使用质量和错误恢复能力。分析结果提供具体分数、检测到的模式以及可操作的改进建议。
|
||
|
||
## 分析维度
|
||
|
||
### 推理清晰度（权重：高）
|
||
评估推理步骤的清晰度和逻辑一致性。考察代理在多大程度上记录了自己的思考过程、做出的假设以及从每个来源学到的内容。
|
||
|
||
**关键指标：**
|
||
- 推理步骤是否明确记录并易于追踪
|
||
- 结论是否基于具体的发现而非模糊的陈述
|
||
- 是否在声明声称之前识别并记录了信息空白
|
||
|
||
### 目标遵循度（权重：高）
|
||
衡量代理在多大程度上完成了任务中规定的目标和要求。
|
||
|
||
**关键指标：**
|
||
- 所有必需任务是否全部完成
|
||
- 工作流程是否遵循预期的研究过程
|
||
- 最终产出是否满足所有规定的质量标准
|
||
|
||
### 工具使用质量（权重：中）
|
||
评估代理如何选择和使用可用工具来完成任务。
|
||
|
||
**关键指标：**
|
||
- 工具选择是否适合当前任务
|
||
- 工具调用是否高效且有序
|
||
- 失败的工具调用是否得到适当处理或记录
|
||
|
||
### 错误恢复能力（权重：中）
|
||
衡量代理在遇到错误或意外情况时如何响应。
|
||
|
||
**关键指标：**
|
||
- 当工具调用失败时，代理是否确认了该失败
|
||
- 是否尝试了替代策略或记录了信息空白
|
||
- 失败是否被优雅地处理，不影响整体任务的完成
|
||
|
||
## 评分量表
|
||
|
||
| 分数范围 | 等级 | 说明 |
|
||
|----------|------|------|
|
||
| 90-100 | 优秀 | 示范性的推理和任务执行 |
|
||
| 75-89 | 良好 | 大部分维度表现扎实，有少量改进空间 |
|
||
| 50-74 | 一般 | 在一些维度上表现中等，在其他维度上存在明显不足 |
|
||
| 25-49 | 差 | 在多个维度上表现不足，需要显著改进 |
|
||
| 0-24 | 不及格 | 关键维度存在严重缺陷 |
|
||
|
||
## 检测到的模式
|
||
|
||
| 严重级别 | 模式 | 说明 |
|
||
|----------|------|------|
|
||
| 高 | pattern_skip | 代理跳过了一个应该执行的任务或步骤 |
|
||
| 中 | tool_misuse | 工具选择不适合任务，或失败的工具调用未得到处理 |
|
||
| 中 | hallucination | 代理声称做了某件事但痕迹中未发现相应证据 |
|
||
| 中 | premature_termination | 代理过早终止，留下未完成的任务或未解决的状态 |
|
||
| 低 | incomplete_reasoning | 推理步骤不完整或过于简略，难以评估思维过程 |
|
||
| 低 | missing_validation | 信息未在多个来源之间进行验证或交叉引用 |
|
||
| 低 | vague_claims | 使用了模糊的表述（如"全面信息"），而没有具体的细节支持 |
|
||
|
||
## 改进建议
|
||
|
||
### 错误处理
|
||
1. 始终确认工具调用的失败——不要静默地继续执行
|
||
2. 当主要来源不可用时，尝试替代来源或方法
|
||
3. 在最终报告中记录失败和空白，以便用户了解研究的局限性
|
||
|
||
### 推理质量
|
||
1. 明确记录每个推理步骤及其依据
|
||
2. 在声明全面理解之前，识别并说明信息空白
|
||
3. 在来源之间比较发现，并记录任何矛盾之处
|
||
|
||
### 工具使用
|
||
1. 选择最适合当前任务的工具
|
||
2. 以合乎逻辑的顺序组织工具调用
|
||
3. 优先使用专用工具而非通用命令
|
||
|
||
## 输出格式
|
||
|
||
报告应以 Markdown 格式输出，包含以下部分：
|
||
|
||
- **总分**和**评分明细**（所有维度）
|
||
- **检测到的模式**（含严重级别和描述）
|
||
- **优势**和**不足**
|
||
- **可操作的建议**
|
||
|
||
## 使用示例
|
||
|
||
```markdown
|
||
# 推理痕迹分析报告
|
||
|
||
总分：64/100
|
||
|
||
优势：
|
||
- 目标遵循度强——所有任务均已完成
|
||
- 来源选择得当，来自权威参考
|
||
|
||
建议：
|
||
- 为失败的工具调用添加错误处理
|
||
- 在声称全面理解之前，记录信息空白
|
||
```
|
||
```
|