skillhub-159-test-suite-architect/SKILL.md

name, description, keywords

name	description	keywords
test-suite-architect	该技能应在为任何软件项目建立全面的 QA 测试流程时使用。适用于制定测试策略、按照 Google 测试标准编写测试用例、执行测试计划、使用 P0-P4 分类追踪缺陷、计算质量指标或生成进度报告。包含通过主提示词实现的自主执行能力，以及面向第三方 QA 团队交接的完整文档模板。实施 OWASP 安全测试，目标覆盖率达到 90%。	qa testing test-cases bug-tracking google-standards owasp security automation quality-gates metrics

QA 专家

使用来自 Google 测试标准和 OWASP 安全最佳实践的行之有效的方法，为任何软件项目建立世界级的 QA 测试流程。

何时使用该技能

在以下情况触发该技能：

• 为新项目或现有项目搭建 QA 基础设施
• 编写标准化的测试用例（AAA 模式合规）
• 执行全面的测试计划并进行进度追踪
• 实施安全测试（OWASP Top 10）
• 使用正确的严重等级分类（P0-P4）提交缺陷
• 生成 QA 报告（每日总结、每周进度）
• 计算质量指标（通过率、覆盖率、关卡）
• 为第三方团队交接准备 QA 文档
• 启用由 LLM 驱动的自主测试执行

快速开始

一键初始化：

python scripts/init_qa_project.py <项目名称> [输出目录]

创建的内容：

• 目录结构（tests/docs/、tests/e2e/、tests/fixtures/）
• 追踪 CSV 文件（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• 文档模板（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 用于自主执行的主 QA 提示词
• 包含完整快速入门指南的 README

自主执行（推荐）：参见 references/master_qa_prompt.md —— 单个复制粘贴命令即可获得 100 倍加速。

核心能力

1. QA 项目初始化

使用所有模板初始化完整的 QA 基础设施：

python scripts/init_qa_project.py <项目名称> [输出目录]

创建目录结构、追踪 CSV 文件、文档模板以及用于自主执行的主提示词。

使用场景：从零开始搭建 QA，或迁移到结构化 QA 流程。

2. 测试用例编写

按照 AAA 模式（Arrange-前置准备、Act-执行操作、Assert-断言验证）编写标准化、可复现的测试用例：

1. 阅读模板：assets/templates/TEST-CASE-TEMPLATE.md
2. 遵循结构：前置条件（Arrange）→ 测试步骤（Act）→ 预期结果（Assert）
3. 分配优先级：P0（阻塞级）→ P4（低优先级）
4. 包含边界情况和潜在缺陷

测试用例格式：TC-[类别]-[编号]（例如：TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考文档：参见 references/google_testing_standards.md，获取完整的 AAA 模式指南和覆盖率阈值。

3. 测试执行与追踪

基准真值原则（关键）：

• 测试用例文档（例如 02-CLI-TEST-CASES.md）= 测试步骤的权威来源
• 追踪 CSV = 仅记录执行状态（切勿依赖 CSV 获取测试规范）
• 参见 references/ground_truth_principle.md，了解如何防止文档/CSV 同步问题

手动执行：

1. 从分类文档（例如 02-CLI-TEST-CASES.md）读取测试用例 ← 始终从此处开始
2. 严格按照文档执行测试步骤
3. 每次测试完成后立即更新 TEST-EXECUTION-TRACKING.csv（绝不批量处理）
4. 如果测试失败，在 BUG-TRACKING-TEMPLATE.csv 中提交缺陷

自主执行（推荐）：

1. 从 references/master_qa_prompt.md 复制主提示词
2. 粘贴到 LLM 会话中
3. LLM 自动执行、自动追踪、自动提交缺陷、自动生成报告

创新点：相比手动方式快 100 倍 + 追踪过程零人为错误 + 具备自动断点续跑能力。

4. 缺陷报告

使用正确的严重等级分类提交缺陷：

必填字段：

• 缺陷 ID：顺序编号（BUG-001、BUG-002、……）
• 严重等级：P0（24 小时内修复）→ P4（可选）
• 复现步骤：编号、具体
• 环境：操作系统、版本、配置

严重等级分类：

• P0（阻塞级）：安全漏洞、核心功能损坏、数据丢失
• P1（严重级）：主要功能损坏但有临时解决方案
• P2（高级）：次要功能问题、边界情况
• P3（中级）：外观问题
• P4（低级）：文档拼写错误

参考文档：参见 BUG-TRACKING-TEMPLATE.csv，获取包含示例的完整模板。

5. 质量指标计算

计算全面的 QA 指标和质量关卡状态：

python scripts/calculate_metrics.py <path/to/TEST-EXECUTION-TRACKING.csv>

指标仪表盘包括：

• 测试执行进度（X/Y 个测试，Z% 完成）
• 通过率（通过数/执行数百分比）
• 缺陷分析（唯一缺陷数，P0/P1/P2 分布）
• 质量关卡状态（每个关卡 ✅/❌）

质量关卡（发布前必须全部通过）：

关卡	目标	阻塞发布
测试执行	100%	是
通过率	≥80%	是
P0 缺陷	0	是
P1 缺陷	≤5	是
代码覆盖率	≥80%	是
安全测试	90% OWASP	是

6. 进度报告

为利益相关者生成 QA 报告：

每日总结（当日结束时）：

• 已执行测试数、通过率、已提交缺陷数
• 阻塞项（或无）
• 明日计划

每周报告（每周五）：

• 使用模板：WEEKLY-PROGRESS-REPORT.md（由初始化脚本创建）
• 与基线对比：BASELINE-METRICS.md
• 评估质量关卡及趋势

参考文档：参见 references/llm_prompts_library.md，获取 30 多个即用型报告提示词。

7. 安全测试（OWASP）

实施 OWASP Top 10 安全测试：

覆盖目标：

1. A01：访问控制失效 —— RLS 绕过、权限提升
2. A02：加密失败 —— 令牌加密、密码哈希
3. A03：注入 —— SQL 注入、XSS、命令注入
4. A04：不安全设计 —— 速率限制、异常检测
5. A05：安全配置错误 —— 详细错误信息、默认凭据
6. A07：认证失败 —— 会话劫持、CSRF
7. 其他：数据完整性、日志记录、SSRF

目标：90% OWASP 覆盖率（缓解 9/10 的威胁）。

每个安全测试均遵循 AAA 模式，并记录特定的攻击向量。

第 1 天入职引导

针对新加入项目的 QA 工程师，完成 5 小时入职引导指南：

阅读：references/day1_onboarding.md

时间线：

• 第 1 小时：环境搭建（数据库、开发服务器、依赖项）
• 第 2 小时：文档评审（测试策略、质量关卡）
• 第 3 小时：测试数据准备（用户、CLI、DevTools）
• 第 4 小时：执行第一个测试用例
• 第 5 小时：团队入职与第 1 周规划

检查点：第 1 天结束时，环境运行正常，第一个测试已执行完毕，为第 1 周做好准备。

自主执行（⭐ 推荐）

通过单个主提示词启用由 LLM 驱动的自主 QA 测试：

阅读：references/master_qa_prompt.md

功能特性：

• 从上一次完成的测试自动断点续跑（读取追踪 CSV）
• 自动执行测试用例（第 1-5 周循序渐进）
• 自动追踪结果（每次测试后更新 CSV）
• 自动提交缺陷（为失败项创建缺陷报告）
• 自动生成报告（每日总结、每周报告）
• 自动升级 P0 缺陷（暂停测试，通知利益相关者）

优势：

• 相比手动执行快 100 倍
• 追踪过程零人为错误
• 缺陷文档一致规范
• 进度实时可见

用法：复制主提示词，粘贴到 LLM，让其自主运行 5 周。

适配你的项目

小型项目（50 个测试）

• 时间线：2 周
• 类别：2-3 个（例如前端、后端）
• 每日：5-7 个测试
• 报告：仅每日总结

中型项目（200 个测试）

• 时间线：4 周
• 类别：4-5 个（CLI、Web、API、数据库、安全）
• 每日：10-12 个测试
• 报告：每日 + 每周

大型项目（500+ 个测试）

• 时间线：8-10 周
• 类别：6-8 个（多个组件）
• 每日：10-15 个测试
• 报告：每日 + 每周 + 双周利益相关者报告

参考文档

从捆绑的参考资料中获取详细指南：

• references/day1_onboarding.md —— 面向新 QA 工程师的 5 小时入职引导指南
• references/master_qa_prompt.md —— 用于自主 LLM 执行的单条命令（100 倍加速）
• references/llm_prompts_library.md —— 30 多个即用型提示词，适用于特定 QA 任务
• references/google_testing_standards.md —— AAA 模式、覆盖率阈值、快速失败验证
• references/ground_truth_principle.md —— 防止文档/CSV 同步问题（对测试套件完整性至关重要）

资产与模板

测试用例模板与缺陷报告格式：

• assets/templates/TEST-CASE-TEMPLATE.md —— 包含 CLI 和安全示例的完整模板

脚本

用于 QA 基础设施的自动化脚本：

• scripts/init_qa_project.py —— 初始化 QA 基础设施（一条命令完成搭建）
• scripts/calculate_metrics.py —— 生成质量指标仪表盘

常见模式

模式 1：从零开始搭建 QA

1. python scripts/init_qa_project.py my-app ./
2. 填写 BASELINE-METRICS.md（记录当前状态）
3. 使用 assets/templates/TEST-CASE-TEMPLATE.md 编写测试用例
4. 从 references/master_qa_prompt.md 复制主提示词
5. 粘贴到 LLM → 自主执行开始

模式 2：LLM 驱动测试（自主执行）

1. 阅读 references/master_qa_prompt.md
2. 复制单条主提示词（一段话）
3. 粘贴到 LLM 对话中
4. LLM 在 5 周内执行全部 342 个测试用例
5. LLM 自动更新追踪 CSV
6. LLM 自动生成每周报告

模式 3：添加安全测试

1. 阅读 references/google_testing_standards.md（OWASP 部分）
2. 针对每个 OWASP 威胁编写 TC-SEC-XXX 测试用例
3. 目标覆盖率达到 90%（9/10 威胁）
4. 在测试用例中记录缓解措施

模式 4：第三方 QA 交接

1. 确保所有模板已填充完整
2. 确认 BASELINE-METRICS.md 已完成
3. 打包 tests/docs/ 文件夹
4. 包含 references/master_qa_prompt.md 用于自主执行
5. QA 团队可以立即开始工作（第 1 天入职引导 → 5 周测试）

成功标准

该技能在以下情况下视为有效：

• ✅ 测试用例可由任何工程师复现
• ✅ 质量关卡可客观度量
• ✅ 缺陷已完整记录，包含复现步骤
• ✅ 进度实时可见（CSV 追踪）
• ✅ 自主执行已启用（LLM 能够执行完整计划）
• ✅ 第三方 QA 团队可以立即开始测试