真机一次通过率
72.7%→90.5%
Featured experience · 2026.07 — 至今
把 AI 生成的测试用例送上真实设备,并让每一次失败都能反过来改善下一轮生成。
真机一次通过率
用例有效率
单月覆盖 API
传统测试用例编写依赖人工,源码、文档、用例和真机执行之间缺少稳定的反馈闭环。AI 能提高产出速度,却可能生成格式正确但实际上不可执行的用例。
围绕源码→文档校验→用例生成→真机执行→反馈校准建立工程化流程;按 v4.0 JSON Schema 规范整理测试用例,并持续根据真机结果校准生成策略。
独立设计 Skill 三维分层架构,将纵向作用域、横向流程分类和成熟度/安全级管控组合起来;同时设计三阶段人工介入框架,为后续 Agent 自主执行手动测试预留接口。
真机一次通过率从 72.7% 提升到 90.5%,用例有效率从 34.9% 提升到 78.6%。这段经历让我更确定:AI 工程的核心不是把模型接上,而是让数据、执行和反馈真正闭环。