report-test-2026-11-15-R212.md 19 KB

测试负责人工作汇报 R212(2026-11-15 · 自动化闭环)

测试负责人:陆谨(软件测试专家团 · 测试架构师)|执行档:review(离线)+ 内网浏览器 E2E + 远程节点派发|静默无人值守 基线:R211 f17ff244a → refs/remotes/origin/cfclub f17ff244a(窗口零新提交零变更,SRS/场景/用例零漂移;189/251 节点均 git reset --hard origin/cfclub 至同一 HEAD) 本轮头条:窗口零变更快件轮,但 langgraph@251 出现环境波动——43 例 36 过/7 红(215.70s),较 R211 的 38/5 多 2 红(auto_tag 4 + intent 3 vs 3+2);根因仍为上游 429 AgnesAI rate limit(free users)+ 401 api key 噪声,源码零变更非代码回归;浏览器 admin 5/5(本机)+ frontend 6/6(本机 4091)+ Jest 双端零漂移;189 节点 /admin 仍 502(B-208-1 延续) 本轮实跑:浏览器 11 过(本机 admin 5/5 1.6m + 本机 4091 frontend-mobile 6/6 48.7s)· cfc-web 132/132 · cfc-frontend 635 过/4 红/12 跳/651 · langgraph@251 36/43(后端/根级/health/shop/dx 承 R211 证据:零漂移)


0. 历史审查记录(对照,非本次结论依据)

项 内容
上次审查 R211(2026-11-15 00:48 入库),结论「不通过(有条件):窗口零源码变更,langgraph 38/43(红 11→5 显著收窄),浏览器 28/28 + Jest 双端零漂移」
本次 第 212 轮,非首次审查
历史遗留 → 本次状态 B-208-1 189 DNS/502 → 第 5 轮未修复(本轮在 189 派发 admin 实测再证:/admin 返回 502 Bad Gateway),admin 5/5 仍由本机交叉覆盖(与 R211 一致)
B-208-3/B-199-1 langgraph 429+401 → 第 10 轮,红集由 5→7 反向波动(环境噪声,非代码回归)
B-208-2a~2e 后端 16 例非契约红 → 承采(窗口零变更),仍待研发
B-209-1 全量串扰 3 类 → 承采(隔离 17/17 全绿)
B-36 根级 9082 未起 → 第 90 轮,未改善
B-DX-1 dx 2 跳(404) → 第 45 轮,未改善
B-WIP-200/B-208-5 工作区脏/资产未推送 → 第 9 轮仍在(cfc-web 本机 132 vs 远端 119)
本次新增 无新增阻塞;langgraph 红 5→7 为环境反向波动(按「结果有变化」规则已提交推送 + 通知研发)

历史记忆只作对照:本轮浏览器/frontend Jest/cfc-web Jest/langgraph 均为重新取证;后端/根级/health/shop/dx 因窗口零变更按快件轮纪律承采 R211 实跑证据。


1. 执行总览

套件 R212(本轮) R211(上轮) 漂移
基线 f17ff244a(窗口零提交) 64b099af1→f17ff244a 零 src/SRS 变更
后端 · 编译/全量执行 ✅ 承 R211(497 类 .class 齐备 / 4316 例 89.81%) 同 持平(窗口零变更)
浏览器 E2E · admin 本机 5/5(1.6m,EXIT=0);189 节点派发 5/5 全 502(B-208-1) 本机 5/5 零漂移(189 502 同 R211)
浏览器 E2E · frontend 本机 4091 frontend-mobile 6/6(48.7s,EXIT=0) 204 节点 6/6 零漂移(6/6)
189 节点 探活 /admin → 502 Bad Gateway(B-208-1 第 5 轮) 502(第 4 轮) 未改善(环境)
cfc-web Jest 132/132(21 套件) 132/132 零漂移
cfc-frontend Jest 635 过 / 4 红 / 12 跳 / 651 总(45 套件);红 = growthHistory.dayGroupView RED-A7、recommendation.viewKeyAndDelete、signature.consignee AC-R1/AC-R2(均为预期 RED 契约) 635/4/12(45 套) 零漂移(4 红逐例一致)
langgraph@251 36 过 / 7 红 / 43 例(215.70s)——auto_tag 4(valid_format/content_relevance/short_content/empty_content)+ intent 3(classify_analysis/classify_recommend/classify_health);日志实证 429 AgnesAI rate limit(free users) + 401 api key invalid 38 过 / 5 红 / 43 反向波动:红 5→7(环境噪声,源码零变更)
后端 · 全量/根级 承 R211(4316 例 89.81% / 根级 7过16红) 同 持平(未重跑,采信)

本轮重跑 + 承采全站可测合计(与 R211 对齐口径):5182 例 / 4701 过 / 463 红 / 18 跳

  • 全量口径(剔 skip):4701 / 5164 = 91.04%(R211 为 91.07%,-0.03pp,因 lg 2 例由过转红)
  • 剔除 412 例预期红契约 + 8 例串扰(隔离全绿):4701 / 4744 = 99.09%(R211 为 99.14%),实红 43(后端确定性 16 + fe 4 + 根级 16 + lg 7)——较 R211 的 41 增多 2(lg 环境噪声)

测试结果有变化(R211 → R212):

  • 🔴 唯一变化项:langgraph@251 红 5→7(过 38→36):auto_tag 多 1 红(empty_content)、intent 多 1 红(classify_health 因 429 兜底为 CHAT 而非 HEALTH)。根因仍为环境(429 AgnesAI rate limit free users + 401 api key invalid),源码零变更非代码回归 —— 本轮按「结果有变化」规则已提交推送 + 通知研发(见 §通知)。
  • ⬜ 其余全项零漂移:浏览器 admin 5/5 + frontend 6/6、Jest 双端逐项一致、后端/根级承采。
  • 🔴 延续未修(无新增):189 DNS/502(第 5 轮)、langgraph 429+401(第 10 轮)、9082 未起(第 90 轮)、cfc-web 资产未入库(第 9 轮)、dx 404(第 45 轮)。

2. 项目画像(本轮视角)

  • 业务定位:家庭教育 SaaS(五维能量 · 成长规划 · 测评订单 · 商城 · 健康报告解析 · 家庭工作台),双端(小程序 H5 cfc.iwintrue.com/frontend + Web 管理端 cfc.iwintrue.com/admin)。
  • 技术栈:Spring Boot 2.7.18 / Java 8 / MyBatis-Plus(9082)· uni-app Vue2(H5)· Vue2+Element(8082)· FastAPI+LangGraph(9000,生产 ai.etotem.com.cn)· 独立商城 8888。
  • 测试资产基线(本轮扫描 / discover+inventory EXIT=0):后端测试类 497(src/test/java)· Playwright live 用例 30(4 project + health 独立配置)· Jest 套件 45+21+2 · langgraph pytest 43 · 结构化用例(md)=726|Playwright=571|Python=48|Java@Test=4326|场景文件=11|用例/方法合计=5671。
  • 节点探活(00:29-00:38):本机 ✅(admin 5/5 + frontend 6/6 + web/fe Jest 全绿)|189 ❌ /admin → 502(B-208-1 第 5 轮,不派发真实信号)|本机 4091 ✅(frontend-mobile 6/6 实测)|251 ✅(pytest 36/43 实派)|9082 ❌ 拒绝连接。
  • 通道:全程用 HTTP http://git.iwintrue.com/liaoxg/cfc.git 提交/推送(SSH 仍失效,承 B-203-3)。
  • 风险点:① 后端契约前瞻红 412 例;② 189 节点 DNS 长期失修(双节点互备第 5 轮仍失效,本轮由本机交叉覆盖);③ langgraph 红集连续 10 轮为配额/key 噪声(建议加 LLM stub,见 §8 问题 2)。
  • 待核实:无新增(窗口零变更)。

3. 20 类测试覆盖矩阵

# 测试类型 层次 状态 证据(本轮)
1 单元测试 功能层次 已发现 497 类后端(承 R211)+ cfc-web 21 套 132 例实跑 + fe 45 套 651 例实跑
2 组件测试 功能层次 已发现 cfc-web/src/__tests__/components/*
3 集成测试 功能层次 已发现 后端 integration/** 随全量执行(承 R211)
4 契约测试 功能层次 已发现 65 个 *Contract* 类(412 例预期红)+ fe *.contract.spec.js
5 接口 API 测试 功能层次 已发现 health 13/13、shop 4/4、dx 2 跳(404,承 R211)
6 系统/端到端 功能保障 已发现 Playwright live:admin 5/5(本机)、frontend 6/6(本机 4091)实跑
7 验收 UAT 功能保障 部分已发现 用户场景 tests/user-scenarios/** 有资产,无 UAT 执行记录
8 BDD 规格 功能保障 未发现 无 .feature / cucumber 资产 → 缺口
9 冒烟测试 功能保障 已发现 playwright.config.smoke.js
10 回归测试 功能保障 已发现 全量 4316 例基线 + fe/根级/lg 逐例零漂移(第 35 次)
11 探索性测试 功能保障 未发现 无 chartered 探索记录 → 缺口(无人值守窗口不适用)
12 性能测试 非功能 未发现 无 k6/JMeter 资产;压测属 execute 档需联网授权 → 未实测
13 可靠性测试 非功能 部分已发现 429/401 配额下的降级行为由 lg 红集间接反映;无故障注入
14 安全测试 非功能 部分已发现 匿名端点 6/6=401;无 SAST/依赖扫描(离线档)
15 兼容性测试 非功能 部分已发现 仅 Chromium(桌面 1440×900 / 移动 375×812);无多浏览器矩阵
16 可用性测试 非功能 未发现 无 SUS/任务完成率记录 → 缺口
17 无障碍测试 非功能 未发现 无 axe/WCAG 扫描 → 缺口
18 覆盖率(行/分支) 度量与流程 部分已发现 JaCoCo 未开;承袭 R197 基线,不声明达标
19 变异测试 度量与流程 未发现 无 PIT/Stryker → 缺口
20 全项目代码审查 度量与流程 已发现 本轮产出 3 条五要素(§8)

4. 测试方案(本轮执行的实际方案)

  • 目标:以「全部用例覆盖并通过」为终态,本轮聚焦 ① 窗口零变更校验(快件轮)② 浏览器核心指令域(admin/frontend)全量实跑并按节点调度(admin 本机 / frontend 本机 4091;189 仅探活)③ langgraph@251 节点实派并重新取证红集根因 ④ 存量零漂移第 35 次确认 ⑤ 刷新 discover+inventory 台账。
  • 范围:全 20 类。排除:性能压测(execute 档未授权 → 降级测试设计)、多浏览器兼容矩阵、探索性测试(无人值守不适用);后端 Maven 全量/根级黑盒因窗口零源码变更按快件轮纪律承采 R211 证据。
  • 执行档:review(离线白名单);网络仅用于内网站点 E2E 与节点派发(189:4090 / localhost:4091 / 251:4096)。
  • 节点分工(遵循「每节点单浏览器任务」):admin → 本机(189 探活→502 不取信号);frontend → 本机 4091;langgraph → 251。
  • 验收标准:G1 通过率 ≥95%(剔 skip)、G2 红例 0(剔预期红契约)、G4 编译 0 错、G6 浏览器 E2E、G13 存量零漂移。

5. 执行档与授权

项 内容
执行档 review(离线白名单)
联网范围 仅内网站点 E2E(cfc.iwintrue.com)+ 三节点派发通道(189:4090 / localhost:4091 / 251:4096)
授权 方案确认(本自动化无人值守,按既定授权范围执行);未授权任何第三方/公网压测、依赖漏洞扫描、渗透测试
未实测项 性能/可靠性/DAST/依赖漏洞扫描(execute 档未授权);多浏览器兼容矩阵(无工具);探索性测试(无人值守不适用)
降级说明 上述未授权维度全部降级为「测试设计 + 缺口诊断」,报告中不写成通过

6. 覆盖缺口清单

缺口类型 现状 风险 建议测试设计 优先级 闭环方式
性能压测未实测 无 k6/JMeter 资产,execute 档未授权 高并发下商城/健康接口无容量数据 补 k6 smoke + 报告基线;申请联网授权后执行 P2 运维授权 → 建 k6 资产 → 执行
覆盖率不达标 JaCoCo 未开 后端 497 类无行/分支覆盖数字 mvn test 加 jacoco 插件 P2 排期开启 → 产出 XML
BDD/探索性/无障碍/可用性缺失 无 .feature/chartered/SUS/axe 行为规格与可访问性无自动保障 补 cucumber 冒烟 + axe 扫描 + UAT P3 测试侧排期立项
后端契约前瞻 412 红 65 个契约类领先实现(预期红) 契约增速快于实现 契约批次 TDD(RED→GREEN)逐批闭环 P1 研发实现 → 定向复跑销号
189 节点 DNS/502 B-208-1 第 5 轮 admin/frontend 双节点互备失效,本机单点 189 补 hosts 192.168.16.251 cfc.iwintrue.com 或修 DNS P1 运维修复 → 189 探活 200 → 实跑销号
langgraph 上游配额/key B-208-3 第 10 轮 红集信号被环境噪声淹没 给 LLM 依赖用例加 respx/monkeypatch stub P1 stub 落地 → 仅 live smoke 受环境影响

7. 域结论表

审查维度 负责专家 结论 关键证据
单元·组件级 苏雅 ⚠️ 有条件通过 cfc-web 132/132、cfc-frontend 635/651(4 预期红)、后端 4316 例承 R211
集成·接口级 柯砚 ⚠️ 有条件通过 health 13/13、shop 4/4、dx 2 跳(404);后端 integration 承 R211
系统·验收级 白樾 ✅ 通过 admin 5/5(本机)、frontend 6/6(本机 4091)真实站点 E2E 全绿
测试保障级 闻朔 ✅ 通过 11/11 浏览器 + 双端 Jest 零漂移(第 35 次回归)
性能·可靠性 骆骋 ⛔ 未实测(降级) 无性能资产;429/401 降级行为仅由 lg 红集间接反映
安全 关屿 ⚠️ 有条件通过 匿名端点 6/6=401;无 SAST/依赖扫描(离线档)
兼容·体验 阮清 ⚠️ 有条件通过 仅 Chromium 双视口;无多浏览器矩阵
流程·度量·代码 何序 ⚠️ 有条件通过 无 CI 工作流(G11)、覆盖率未开(G9)、3 条五要素产出(§8)

8. 五要素问题清单

问题 1|189 节点 DNS/hosts 失效(B-208-1,第 5 轮)

  1. 问题描述:cfc.iwintrue.com/admin 在 189 节点返回 502 Bad Gateway;本轮在 189 派发 admin E2E 5 例全 502(TC-A-U01 收到 502),189 上 admin E2E 必然假红。
  2. 测试 bug 点:_dispatch_R212_189_admin.cjs 实测 page.goto('/admin/login') → status 502。
  3. 最优修改方案:189 节点补 hosts 192.168.16.251 cfc.iwintrue.com(与生产 nginx 入口一致),或修复 189 DNS;同时把 189 仓库 origin 改 HTTP URL。
  4. 修改目的:恢复「189/本机 双节点互备」,使 admin 浏览器 E2E 能在节点侧真实执行,消除本机单点交叉覆盖依赖。
  5. 闭环:修复后 189 探活(curl /admin → 200)→ 在 189 实跑 admin 5/5 → 连续 2 轮绿后销号。

问题 2|langgraph 上游 LLM 配额/key(B-208-3/B-199-1,第 10 轮)

  1. 问题描述:@251 pytest 43 例 36 过 / 7 红,红 = auto_tag 4 + intent 3,日志实证 429 AgnesAI rate limit(free users) + 401 api key invalid;连续 10 轮红集为环境噪声,本轮较 R211 红 5→7(过 38→36)反向波动,掩盖真回归。
  2. 测试 bug 点:tests/test_auto_tag.py(empty_content 等)、tests/test_intent.py(classify_health 因 429 兜底 CHAT);app/agents/intent_classifier.py:62 兜底。
  3. 最优修改方案:运维轮换有效 key + 升级配额;测试侧给 LLM 依赖用例加 respx/monkeypatch stub 脱配额,仅留 1 条 @pytest.mark.live smoke 单列。
  4. 修改目的:让契约级用例不受上游配额影响,红集回归到「仅真回归可观测」,避免信号被 10 轮环境噪声淹没。
  5. 闭环:stub 落地后全量复跑 → 预期仅 live smoke 受环境影响 → 连续 2 轮绿后销号 B-208-3。

问题 3|cfc-web 用例口径 132 vs 119(B-208-5/B-WIP-200,第 9 轮)

  1. 问题描述:本机工作区 cfc-web Jest 132/132(21 套),远端版本库仅 119/119(18 套)——3 个测试文件仅在本机工作区未追踪。
  2. 测试 bug 点:上述 3 文件 git status 未追踪。
  3. 最优修改方案:资产所有者按「完成=已提交+工作目录干净」收口:git add 3 文件 + commit + push;测试侧不代提交。
  4. 修改目的:消除版本库与工作区用例口径不一致,避免远端 CI/他人读到 119 而本机 132 的覆盖歧义。
  5. 闭环:3 文件入库推送后,远端重跑 = 132/132 → 本机/远端口径一致 → 销号。

9. 门禁结论

⛔ 不通过(有条件) —— 承袭 R211 判定,langgraph 仍非全绿(本轮环境反向波动)。

门禁 R212 结果 判定
G1 全量通过率 ≥95%(剔 skip) 91.04%(4701/5164;剔 412 预期红 + 8 串扰 = 99.09%) ❌ 全量口径 / ✅ 剔预期红口径
G2 红例 0(剔预期红契约) 实红 43(后端确定性 16 + fe 4 + 根级 16 + lg 7) ❌(较 R211 的 41 +2,lg 环境噪声)
G3 前端 Jest 635/651(4 预期红,逐例一致) ⚠️ 预期 RED
G4 编译 0 错 ✅ 承 R211(497 类 .class 齐备) ✅
G5 逐类有 XML ✅ 承 R211(497/497) ✅
G6 浏览器 E2E 11/11(本机 admin 5/5 + 本机 4091 frontend 6/6) ✅
G7 langgraph 通过率 36/43 = 83.7%(红 5→7 环境波动) ⚠️ 未全绿(第 10 轮)
G8 鉴权契约 匿名端点 6/6=401、健康方案 3/3=401 ✅
G9 覆盖率 ~13%(JaCoCo 未开,承 R197) ❌
G10 双节点互备 189 ❌ 站点 502(B-208-1 第 5 轮);本机 ✅ admin 5/5 + frontend 6/6 ⚠️ 部分(189 失效)
G11 CI 无工作流(B-152-1/2) ❌
G12 SRS/场景变更 → 用例 窗口零 SRS/场景变更 → 零新增用例 ✅
G13 存量零漂移 第 35 次(fe/根级/lg 红集逐例一致,lg 环境波动除外) ✅
G14 场景映射 ~64-72% ❌

核心变化(R211 → R212):

  1. langgraph 红 5→7(过 38→36,唯一变化项):auto_tag 多 1 红 + intent 多 1 红;根因仍为环境(429 AgnesAI rate limit free users + 401 api key invalid),源码零变更非代码回归 → 按「结果有变化」已提交推送 + 通知研发(见 docs/tdd/test/notice-2026-11-15-R212.md)。
  2. 浏览器零漂移第 35 次:admin 5/5(本机)+ frontend 6/6(本机 4091)+ Jest 双端逐项一致,无任何确定性回归。
  3. 189 节点 502 延续(B-208-1 第 5 轮):admin 5/5 由本机交叉覆盖,与 R211 一致。

下轮前置:① 运维恢复 189 DNS/hosts(B-208-1 第 6 轮复查);② 251 轮换 key/升配额或测试侧加 LLM stub → langgraph 连续 2 轮全绿销号;③ 研发修 B-208-2a~2e(后端 16 例非契约红);④ B-209-1 串扰免疫处理;⑤ dx 部署复跑(B-DX-1 第 46 轮);⑥ B-208-5/B-WIP-200 资产入库。


附:本轮 git 提交与推送证据(真理证据)

提交 sha 关联任务/能力键 阶段 触及文件类型 目标分支 已推送远端 备注
(本轮 commit,见 §通知) R212 闭环报告 + 台账刷新 + langgraph 变化通知 测试 docs/tdd/*.md origin/cfclub(test-lead-R209) 是 git merge-base --is-ancestor 校验