report-test-2026-11-15-R211.md 19 KB

测试负责人工作汇报 R211(2026-11-15 · 自动化闭环)

测试负责人:陆谨(软件测试专家团 · 测试架构师)|执行档:review(离线)+ 内网浏览器 E2E + 远程节点派发|静默无人值守 基线:R210 64b099af1 → refs/remotes/origin/cfclub 64b099af1(窗口零新提交零变更,SRS/场景/用例零漂移) **本轮头条:窗口零变更快件轮,但 langgraph@251 显著改善——43 例全执行 38 过/5 红(120.06s),红 11→5(analyze 2→0、auto_tag 5→3、intent 4→2),为第 9 轮同环境根因(401 key **ab12 + 429 配额)下的最大收窄;浏览器 28/28 + Jest 双端零漂移(第 34 次存量零漂移),全站实红 47→41 本轮实跑:浏览器 28 过 + 2 跳(本机 admin 5/5 1.2m + 204 节点 frontend-mobile 6/6 43.9s + shop 4/4 + health 13/13 + dx 2 跳)· cfc-web 132/132 · cfc-frontend 635 过/4 红/12 跳/651 · langgraph@251 38/43(后端/根级承 R209/R210 证据:4316 例全量 89.81% / 7/16 黑盒)


0. 历史审查记录(对照,非本次结论依据)

项 内容
上次审查 R210(2026-11-15 07:42),结论「不通过(有条件):窗口零源码变更,无任何确定性回归;全站 5182 例 / 96.99% 剔预期红口径成立;langgraph 11 红为第 8 轮同红集」
本次 第 211 轮,非首次审查
历史遗留 → 本次状态 B-208-1 189 DNS/502 → 第 4 轮未修复(本轮探活再证:cfc.iwintrue.com 解析公网 111.228.2.33,/admin 与 /frontend 均 502),admin 5/5 由本机交叉覆盖、frontend 6/6 由 204 节点承接
B-208-2a~2e 后端 16 例非契约红 → 第 4 轮承采(窗口零变更),仍待研发
B-208-3/B-199-1 langgraph 429+401 → 第 9 轮,红 11→5 显著收窄(环境波动,非代码回归)
B-209-1 全量串扰 3 类 → 已澄清为环境交互(隔离 17/17 全绿),免疫处理待测试侧排期
B-36 根级 9082 未起 → 第 89 轮,未改善
B-DX-1 dx 2 跳(404) → 第 44 轮,未改善
B-WIP-200/B-208-5 工作区脏/资产未推送 → 第 8 轮仍在(cfc-web 本机 132 vs 远端 119)
本次新增 无新增阻塞(窗口零变更;langgraph 红 11→5 为正向收窄)

历史记忆只作对照:本轮浏览器/frontend Jest/cfc-web Jest/langgraph 均为重新取证;后端/根级因窗口零变更按快件轮纪律承采 R209 实跑证据。


1. 执行总览

套件 R211(本轮) R210(上轮) 漂移
基线 64b099af1(窗口零提交) 37ad94ba7→64b099af1 仅 R210 报告入库,零 src/SRS
后端 · 编译 ✅ 承 R209(497 类 .class 齐备,EXIT=0) ✅ EXIT=0 持平(窗口零变更)
后端 · 全量执行 承 R209:4316 例 / 3876 过 / 415F / 21E / 4S = 89.81% 4316 例 / 89.81% 持平(未重跑,采信)
后端 · 红集构成 承 R209:436 红 = 契约前瞻 412(65 类,预期红)+ 确定性非契约 16(8 类)+ 串扰 8(隔离全绿) 同 零漂移
浏览器 E2E 28 过 + 2 跳:本机 admin 5/5(1.2m)+ 204 frontend-mobile 6/6(43.9s)+ shop 4/4 + health 13/13 + dx 2 跳(404),~2.5m 28 + 2 跳 零漂移(admin 5/5 连续 4 轮本机绿、frontend 由 204 承接)
189 节点 探活仍 DNS 失效 → 公网 111.228.2.33 → 502(B-208-1 第 4 轮);不派发 502(第 3 轮) 未改善(环境)
204 节点 frontend-mobile 6/6 EXIT=0(43.9s,D:\cfc) —— 双节点指令中 frontend 由 204 正常承接 本机 fe 6/6(204 本轮接手) ✅ 节点可用(B-204-3 路径已固化)
cfc-web Jest 132/132(21 套件,23.95s,本机工作区口径=远端 119 + 13 例未入库资产) 132/132(19.16s) 零漂移(B-208-5/B-WIP-200 第 8 轮)
cfc-frontend Jest 635 过 / 4 红 / 12 跳 / 651 总(45 套件,23.19s);红 = growthHistory.dayGroupView RED-A7、recommendation.viewKeyAndDelete、signature.consignee AC-R1/AC-R2 635/4/12(45 套) 零漂移(4 红逐例一致)
根级黑盒 承 R209:7 过 / 16 红 / 23 例——9082 未起 7/16 零漂移(第 89 轮)
langgraph@251 38 过 / 5 红 / 43 例(120.06s,EXIT=124 截断 B-154-1 特征)——auto_tag 3 + intent 2,analyze 2 例转绿;401 key ****ab12 + 429 配额(本轮重新取证) 32/11/43 正向改善(红 11→5,第 9 轮)
窗口后段远程新增(R211 交付推送前发现) 2 个新 RED 契约测试类:GlobalSearchQueryScP82RestContractTest(S-cfc-299,+243 行)+ OrderReceiptTimeoutTaskContractTest(S-be-5,+321 行)+ cfc-web auto bump — src/main 业务源码零变更;新增测试资产未纳入本轮实测(基线 64b099af1 完成),下轮纳入执行(预期 RED)

全站可测合计(远端基线口径,与 R210 对齐):5182 例 / 4703 过 / 461 红 / 18 跳

  • 全量口径(剔 skip):4703 / 5164 = 91.07%(R210 为 90.96%,+0.11pp)
  • 剔除 412 例预期红契约 + 8 例串扰(隔离全绿):4703 / 4744 = 99.14%(R210 为 99.01%),实红 41(后端确定性 16 + fe 4 + 根级 16 + lg 5)——较 R210 的 47 减少 6

测试结果有变化(R210 → R211):

  • 🔄 唯一正向变化:langgraph@251 红 11→5(analyze 2 例转绿、auto_tag 5→3、intent 4→2),通过率 74.4%→88.4%。根因仍为环境(401 api key ****ab12 invalid + 429 AgnesAI rate limit),源码零变更非代码回归——本轮按「结果有变化」规则已提交推送 + 通知研发。
  • ⬜ 其余全项零漂移(第 34 次存量零漂移):浏览器 28/28、Jest 双端逐项一致、根级/后端承采。
  • 🔴 延续未修(无新增):189 DNS/502(第 4 轮)、langgraph 429+401(第 9 轮收窄)、9082 未起(第 89 轮)、cfc-web 资产未入库(第 8 轮)、dx 404(第 44 轮)。

2. 项目画像(本轮视角)

  • 业务定位:家庭教育 SaaS(五维能量 · 成长规划 · 测评订单 · 商城 · 健康报告解析 · 家庭工作台),双端(小程序 H5 cfc.iwintrue.com/frontend + Web 管理端 cfc.iwintrue.com/admin)。
  • 技术栈:Spring Boot 2.7.18 / Java 8 / MyBatis-Plus(9082)· uni-app Vue2(H5)· Vue2+Element(8082)· FastAPI+LangGraph(9000,生产 ai.etotem.com.cn)· 独立商城 8888。
  • 测试资产基线(本轮扫描):后端测试类 497(src/test/java)· Playwright live 用例 30(4 project + health 独立配置)· Jest 套件 45+21+2 · langgraph pytest 43。
  • 节点探活(08:00-08:16):本机 ✅(admin 5/5 实测 + shop 4/4 + health 13/13 + web/fe Jest 全绿)|189 ❌ DNS 失效(公网 111.228.2.33 → 502)|204 ✅(frontend-mobile 6/6 实测,D:\cfc 通道 4091)|251 ✅(pytest 38/43 实派)|9082 ❌ 拒绝连接。
  • 通道:origin SSH 仍失效(B-203-3 承袭),全程用 HTTP http://git.iwintrue.com/liaoxg/cfc.git fetch/push;注意:本地存在陈旧分支 refs/heads/origin/cfclub(efb5f2f0f)遮蔽远程跟踪分支解析,基线一律以 HTTP fetch 的 refs/remotes/origin/cfclub 为准。
  • 风险点:① 后端契约前瞻红 412 例(例数 9.5%),契约增速持续领先实现;② 189 节点 DNS 长期失修,「双节点互备」第 4 轮仍失效,本轮由 204 + 本机共同交叉覆盖;③ langgraph 11→5 红仍为配额/key 噪声(连续 9 轮),信号被淹没(建议加 LLM stub,见 §8 问题 3)。
  • 待核实:无新增(窗口零变更)。

3. 20 类测试覆盖矩阵

# 测试类型 层次 状态 证据(本轮)
1 单元测试 功能层次 已发现 497 类后端(承 R209 全量)+ cfc-web 21 套 132 例实跑 + fe 45 套 651 例实跑
2 组件测试 功能层次 已发现 cfc-web/src/__tests__/components/*(ProductPicker/ProductSkuEditor 等)
3 集成测试 功能层次 已发现 后端 integration/** 随全量执行(EnergySystemFlow 6 红、GuideModule 1 错,承 R209 逐类复现)
4 契约测试 功能层次 已发现 65 个 *Contract* 类(412 例预期红)+ fe *.contract.spec.js + shop/health/dx API 契约
5 接口 API 测试 功能层次 已发现 health 13/13(匿名 6/6=401、健康方案 3/3=401)、shop 4/4、dx 2 跳(404)
6 系统/端到端 功能保障 已发现 Playwright live 4 project + health 独立:admin 5/5(本机)、frontend 6/6(204 节点)实跑
7 验收 UAT 功能保障 部分已发现 用户场景 tests/user-scenarios/** 有资产,无 UAT 执行记录
8 BDD 规格 功能保障 未发现 无 .feature / cucumber 资产 → 缺口
9 冒烟测试 功能保障 已发现 playwright.config.smoke.js + _smoke_browser.spec.js
10 回归测试 功能保障 已发现 全量 4316 例基线 + fe/根级/lg 逐例零漂移(第 34 次)
11 探索性测试 功能保障 未发现 无 chartered 探索记录 → 缺口(无人值守窗口不适用)
12 性能测试 非功能 未发现 无 k6/JMeter 资产;压测属 execute 档需联网授权 → 未实测
13 可靠性测试 非功能 部分已发现 429/401 配额下的降级行为由 lg 红集间接反映;无故障注入
14 安全测试 非功能 部分已发现 匿名端点 6/6=401、非法排序列白名单拦截;无 SAST/依赖扫描(离线档)
15 兼容性测试 非功能 部分已发现 仅 Chromium(桌面 1440×900 / 移动 375×812);无多浏览器矩阵
16 可用性测试 非功能 未发现 无 SUS/任务完成率记录 → 缺口
17 无障碍测试 非功能 未发现 无 axe/WCAG 扫描 → 缺口
18 覆盖率(行/分支) 度量与流程 部分已发现 JaCoCo 未开(时长权衡);承袭 R197 基线,不声明达标
19 变异测试 度量与流程 未发现 无 PIT/Stryker → 缺口
20 全项目代码审查 度量与流程 已发现 本轮产出 3 条五要素(§8),覆盖环境/流程持续项

「未发现」仅为扫描未命中,不等于项目没做。


4. 测试方案(本轮执行的实际方案)

  • 目标:以「全部用例覆盖并通过」为终态,本轮聚焦 ① 窗口零变更校验(快件轮)② 浏览器核心指令域(admin/frontend)全量实跑并按双节点调度 ③ langgraph@251 节点实派并重新取证红集根因 ④ 存量零漂移第 34 次确认。
  • 范围:全 20 类。排除:性能压测(execute 档需联网授权,未授权 → 降级为测试设计)、多浏览器兼容矩阵、探索性测试(无人值守窗口不适用);后端 Maven 全量/根级黑盒因窗口零源码变更按快件轮纪律承采 R209/R210 证据(非重跑)。
  • 执行档:review(离线);网络仅用于内网站点 E2E 与节点派发(不触达第三方、不装依赖、不改生产代码)。
  • 优先级:P0 浏览器核心指令域实跑(admin 本机 + frontend 204)→ P1 节点可用性与真实站点 E2E → P2 存量红归因复核 → P3 度量缺口。
  • 验收标准:G1 通过率 ≥95%(剔 skip)、G2 红例 0(剔预期红契约)、G4 编译 0 错、G5 逐类有 XML、G13 存量零漂移。

5. 执行档与授权

项 内容
执行档 review(离线白名单)
联网范围 仅内网站点 E2E(cfc.iwintrue.com)+ 三节点派发通道(189:4090 / 204:4091 / 251:4096)
授权 方案确认(本自动化无人值守,按既定授权范围执行);未授权任何第三方/公网压测、依赖漏洞扫描、渗透测试
未实测项 性能/可靠性/DAST/依赖漏洞扫描(execute 档未授权);多浏览器兼容矩阵(无工具);探索性测试(无人值守不适用)
降级说明 上述未授权维度全部降级为「测试设计 + 缺口诊断」,报告中不写成通过

6. 覆盖缺口清单

缺口类型 现状 风险 建议测试设计 优先级 闭环方式
性能压测未实测 无 k6/JMeter 资产,execute 档未授权 高并发下商城/健康接口无容量数据 补 k6 smoke(10/50/100 并发)+ 报告基线;申请联网授权后执行 P2 运维授权 → 建 k6 资产 → 执行出报告
覆盖率不达标 JaCoCo 未开,承 R197 基线 后端 497 类无行/分支覆盖数字 mvn test 加 jacoco 插件(时长 +~5min) P2 排期开启 → 产出 XML → 纳入门禁
BDD/探索性/无障碍/可用性缺失 无 .feature/chartered/SUS/axe 资产 行为规格与可访问性无自动保障 补 cucumber 冒烟 + axe 扫描 + 用户场景 UAT P3 测试侧排期立项
后端契约前瞻 412 红 65 个契约类领先实现(预期红) 契约增速快于实现,红例虚高 契约批次 TDD(RED→GREEN)逐批闭环 P1 研发实现 → 定向复跑销号

7. 域结论表

审查维度 负责专家 结论 关键证据
单元·组件级 苏雅 ⚠️ 有条件通过(后端承采 + 前端实跑绿) cfc-web 132/132、cfc-frontend 635/651(4 预期红)、后端 4316 例承 R209
集成·接口级 柯砚 ⚠️ 有条件通过 health 13/13、shop 4/4、dx 2 跳(404);后端 integration 承 R209(能量 6F 待研发)
系统·验收级 白樾 ✅ 通过 admin 5/5(本机)、frontend 6/6(204 节点)真实站点 E2E 全绿
测试保障级 闻朔 ✅ 通过 28/28 浏览器 + 双端 Jest 零漂移(第 34 次回归)
性能·可靠性 骆骋 ⛔ 未实测(降级) 无性能资产;429/401 降级行为仅由 lg 红集间接反映
安全 关屿 ⚠️ 有条件通过 匿名端点 6/6=401、非法排序列白名单拦截;无 SAST/依赖扫描(离线档)
兼容·体验 阮清 ⚠️ 有条件通过 仅 Chromium 双视口(桌面/移动);无多浏览器矩阵
流程·度量·代码 何序 ⚠️ 有条件通过 无 CI 工作流(G11)、覆盖率未开(G9)、3 条五要素产出(§8)

8. 五要素问题清单

问题 1|189 节点 DNS/hosts 失效(B-208-1,第 4 轮)

  1. 问题描述:cfc.iwintrue.com 在 189 节点解析到公网 IP 111.228.2.33,/admin 与 /frontend 均返回 502 Bad Gateway(nginx/1.20.1);189 上 admin E2E 必然假红。
  2. 测试 bug 点:_r211_probe189.cjs(Resolve-DnsName → 111.228.2.33;Invoke-WebRequest /admin、/frontend → 502)。
  3. 最优修改方案:189 节点补 hosts 192.168.16.251 cfc.iwintrue.com(与生产 nginx 入口一致),或修复 189 的 DNS(服务器 192.168.16.251 两次 timeout);同时把 189 仓库 origin 改 HTTP URL。
  4. 修改目的:恢复「189/204 双节点互备」,使 admin/frontend 浏览器 E2E 能在节点侧真实执行,消除本机单点交叉覆盖依赖。
  5. 闭环:修复后 189 探活(curl /admin → 200)→ 在 189 实跑 admin 5/5 → 连续 2 轮绿后销号。

问题 2|langgraph 上游 LLM 配额/key(B-208-3/B-199-1,第 9 轮)

  1. 问题描述:@251 pytest 43 例 38 过 / 5 红,红 = auto_tag 3 + intent 2,日志实证 401 api key ****ab12 invalid(记忆召回) + 429 AgnesAI rate limit(free users);连续 9 轮红集为环境噪声,掩盖真回归。
  2. 测试 bug 点:tests/test_auto_tag.py(:115/:139)、tests/test_intent.py(:62 兜底);chat_graph.py:148 召回记忆 401。
  3. 最优修改方案:运维轮换有效 key + 升级配额;测试侧给 LLM 依赖用例加 respx/monkeypatch stub 脱配额,仅留 1 条 @pytest.mark.live smoke 单列。
  4. 修改目的:让契约级用例不受上游配额影响,红集回归到「仅真回归可观测」,避免信号被 9 轮环境噪声淹没。
  5. 闭环:stub 落地后全量复跑 → 预期仅 live smoke 受环境影响 → 连续 2 轮绿后销号 B-208-3。

问题 3|cfc-web 用例口径 132 vs 119(B-208-5/B-WIP-200,第 8 轮)

  1. 问题描述:本机工作区 cfc-web Jest 132/132(21 套),远端版本库仅 119/119(18 套)——3 个测试文件(FamilyWorkbench.contract.spec.js/Families.familyWorkbench.spec.js/api/familyWorkbench.api.test.js,共 13 例)仅在本机工作区未追踪。
  2. 测试 bug 点:上述 3 文件 git status 未追踪(?? cfc-web/src/__tests__/...)。
  3. 最优修改方案:资产所有者按「完成=已提交+工作目录干净」收口:git add 3 文件 + commit + push;测试侧不代提交。
  4. 修改目的:消除版本库与工作区用例口径不一致,避免远端 CI/他人读到 119 而本机 132 的覆盖歧义。
  5. 闭环:3 文件入库推送后,远端重跑 = 132/132 → 本机/远端口径一致 → 销号。

9. 门禁结论

⛔ 不通过(有条件) —— 承袭 R210 判定,langgraph 正向收窄。

门禁 R211 结果 判定
G1 全量通过率 ≥95%(剔 skip) 91.07%(4703/5164;剔 412 预期红 + 8 串扰 = 99.14%) ❌ 全量口径 / ✅ 剔预期红口径
G2 红例 0(剔预期红契约) 实红 41(后端确定性 16 + fe 4 + 根级 16 + lg 5) ❌(较 R210 的 47 -6)
G3 前端 Jest 635/651(4 预期红,逐例一致) ⚠️ 预期 RED
G4 编译 0 错 ✅ 承 R209(497 类 .class 齐备) ✅
G5 逐类有 XML ✅ 承 R209(497/497) ✅
G6 浏览器 E2E 28/28 + 2 跳(本机 admin 5/5 + 204 frontend 6/6 + shop 4/4 + health 13/13) ✅
G7 langgraph 通过率 38/43 = 88.4%(红 11→5) ⚠️ 改善未全绿(第 9 轮)
G8 鉴权契约 匿名端点 6/6=401、健康方案 3/3=401 ✅
G9 覆盖率 ~13%(JaCoCo 未开,承 R197) ❌
G10 双节点互备 189 ❌ 站点 502(B-208-1 第 4 轮);204 ✅ 6/6;本机交叉覆盖 ⚠️ 部分(189 失效)
G11 CI 无工作流(B-152-1/2) ❌
G12 SRS/场景变更 → 用例 窗口零 SRS/场景变更 → 零新增用例 ✅
G13 存量零漂移 第 34 次(fe/根级/lg 红集逐例一致,lg 除外) ✅
G14 场景映射 ~64-72% ❌

核心正向(R210 → R211):

  1. langgraph 红 11→5(唯一变化项):analyze 2 例转绿、auto_tag 5→3、intent 4→2;根因仍为环境(401 key + 429 配额),源码零变更非代码回归 → 按「结果有变化」已提交推送 + 通知研发。
  2. 双节点指令实际执行:frontend-mobile 由 204 节点(D:\cfc)真实承接 6/6(R210 为本机);admin 5/5 本机交叉覆盖(189 失效)。
  3. 零漂移第 34 次:浏览器 28/28、Jest 双端逐项一致、后端/根级承采,无任何确定性回归。

下轮前置:① 运维恢复 189 DNS/hosts(B-208-1 第 5 轮复查)→ 189 实跑 admin;② 251 轮换 key/升配额 → langgraph 连续 2 轮 51 例全绿销号;③ 研发修 B-208-2a~2e(后端 16 例非契约红);④ B-209-1 串扰免疫处理;⑤ dx 部署复跑(B-DX-1 第 45 轮);⑥ B-208-5/B-WIP-200 资产入库。