report-test-2026-11-15-R210.md 21 KB

测试负责人工作汇报 R210(2026-11-15 · 自动化闭环)

测试负责人:陆谨(软件测试专家团 · 测试架构师)|执行档:review(离线)+ 内网浏览器 E2E + 远程节点派发|静默无人值守 基线:R209 37ad94ba7 → origin/cfclub 37ad94ba7(窗口零新提交零变更,SRS/场景/用例零漂移) 本轮头条:窗口零变更快件轮——浏览器 28/28 + Jest 双端 + langgraph@251 全部实跑,与 R209 逐项零漂移(第 33 次存量零漂移);langgraph 11 红为第 8 轮同红集(429 配额 + 401 key 环境噪声),无任何确定性回归 本轮实跑:浏览器 28 过 + 2 跳(本机 admin 5/5 + fe 6/6 + shop 4/4 + health 13/13 + dx 2 跳)· cfc-web 132/132 · cfc-frontend 635 过/4 红/12 跳 · langgraph@251 32/43(后端/根级承 R209 证据:4316 例全量 / 7/16 黑盒)


0. 历史审查记录(对照,非本次结论依据)

项 内容
上次审查 R209(2026-11-15 07:20),结论「不通过(有条件):窗口零源码变更,无任何确定性回归;全站 5182 例 / 96.99% 剔预期红口径成立;3 类串扰隔离复验澄清非缺陷」
本次 第 210 轮,非首次审查
历史遗留 → 本次状态 B-208-1 189 DNS/502 → 第 3 轮未修复(本轮探活再证:公网 111.228.2.33 → 502),admin 5/5 由本机交叉覆盖
B-208-2a~2e 后端 16 例非契约红 → 第 3 轮承采(窗口零变更),仍待研发
B-208-3/B-199-1 langgraph 429+401 → 第 8 轮同红集,未改善
B-209-1 全量串扰 3 类 → 已澄清为环境交互(隔离 17/17 全绿),免疫处理待测试侧排期
B-36 根级 9082 未起 → 第 88 轮,未改善
B-DX-1 dx 2 跳(404) → 第 43 轮,未改善
B-WIP-200/B-208-5 工作区脏/资产未推送 → 第 7 轮仍在(cfc-web 本机 132 vs 远端 119)
本次新增 无新增阻塞(窗口零变更,全项持平)

历史记忆只作对照:本轮浏览器/前端 Jest/langgraph 均为重新取证;后端/根级因窗口零变更按快件轮纪律承采 R209 实跑证据。


1. 执行总览

套件 R210(本轮) R209(上轮) 漂移
基线 37ad94ba7(窗口零提交) 77fe318d0→37ad94ba7 仅 R209 报告入库,零 src/SRS
后端 · 编译 ✅ 承 R209(497 类 .class 齐备,EXIT=0) ✅ EXIT=0 持平(窗口零变更)
后端 · 全量执行 承 R209:4316 例 / 3876 过 / 415F / 21E / 4S = 89.81% 4316 例 / 89.81% 持平(未重跑,采信)
后端 · 红集构成 承 R209:436 红 = 契约前瞻 412(65 类,预期红)+ 确定性非契约 16(8 类)+ 串扰 8(隔离全绿) 同 零漂移
浏览器 E2E 28 过 + 2 跳:本机 admin 5/5 + fe 6/6 + shop 4/4 + health 13/13(匿名 6/6=401、健康方案鉴权 3/3)+ dx 2 跳(404),~150s 28 + 2 跳 零漂移(admin 5/5 连续 3 轮本机绿)
189 节点 探活仍 DNS 失效 → 公网 111.228.2.33 → 502(B-208-1 第 3 轮);不派发,本机交叉覆盖 502(第 2 轮) 未改善(环境)
cfc-web Jest 132/132(21 套件,19.16s,本机工作区口径=远端 119 + 13 例未入库资产) 132/132(33.5s) 零漂移(B-208-5/B-WIP-200 第 7 轮)
cfc-frontend Jest 635 过 / 4 红 / 12 跳 / 651 总(45 套件,16.6s);红 = growthHistory.dayGroupView RED-A7、recommendation.viewKeyAndDelete、signature.consignee AC-R1/AC-R2 635/4/12(45 套) 零漂移(4 红逐例一致)
根级黑盒 承 R209:7 过 / 16 红 / 23 例——9082 未起 7/16 零漂移(第 88 轮)
langgraph@251 32 过 / 11 红 / 43 例(115.60s)——analyze 2 + auto_tag 5 + intent 4,429 配额 + 401 key 失效(本次重新取证) 32/11/43 零漂移(第 8 轮同红集)

全站可测合计(远端基线口径,与 R209 对齐):5182 例 / 4697 过 / 467 红 / 18 跳

  • 全量口径(剔 skip):4697 / 5164 = 90.96%(与 R209 一致)
  • 剔除 412 例预期红契约 + 8 例串扰(隔离全绿):4697 / 4744 = 99.01%,实红 47(后端确定性 16 + fe 4 + 根级 16 + lg 11)——与 R209 的 47 完全一致

测试结果有变化(R209 → R210):

  • 无任何确定性变化:窗口零提交零变更,浏览器 28/28、Jest 双端、langgraph 43 例全部实跑与 R209 逐项一致 → 第 33 次存量零漂移。
  • 🔴 延续未修(无新增):189 DNS/502(第 3 轮)、langgraph 429+401(第 8 轮)、9082 未起(第 88 轮)、cfc-web 资产未入库(第 7 轮)、dx 404(第 43 轮)。

2. 项目画像(本轮视角)

  • 业务定位:家庭教育 SaaS(五维能量 · 成长规划 · 测评订单 · 商城 · 健康报告解析 · 家庭工作台),双端(小程序 H5 cfc.iwintrue.com/frontend + Web 管理端 cfc.iwintrue.com/admin)。
  • 技术栈:Spring Boot 2.7.18 / Java 8 / MyBatis-Plus(9082)· uni-app Vue2(H5)· Vue2+Element(8082)· FastAPI+LangGraph(9000,生产 ai.etotem.com.cn)· 独立商城 8888。
  • 测试资产基线(本轮扫描):后端测试类 497(src/test/java)· Playwright live 用例 30(4 project + health 独立配置)· Jest 套件 45+21+2 · langgraph pytest 43。
  • 节点探活(07:26-07:40):本机 ✅(admin 5/5 实测)|189 ❌ DNS 失效(Resolve-DnsName → 公网 111.228.2.33,curl /admin → 502)|251 ✅(pytest 实派 32/43)|9082 ❌ 拒绝连接。
  • 通道:origin SSH 仍失效(B-203-3 承袭),全程用 HTTP http://git.iwintrue.com/liaoxg/cfc.git fetch/push。
  • 风险点:① 后端契约前瞻红 412 例(例数 9.5%),契约增速持续领先实现;② 189 节点 DNS 长期失修,「双节点互备」名存实亡(第 3 轮);③ langgraph 11 红连续 8 轮为配额/key 噪声,信号被淹没(建议加 LLM stub,见 §8 问题 3)。
  • 待核实:无新增(窗口零变更)。

3. 20 类测试覆盖矩阵

# 测试类型 层次 状态 证据(本轮)
1 单元测试 功能层次 已发现 497 类后端(承 R209 全量)+ cfc-web 21 套 132 例实跑 + fe 45 套 651 例实跑
2 组件测试 功能层次 已发现 cfc-web/src/__tests__/components/*(ProductPicker/ProductSkuEditor 等)
3 集成测试 功能层次 已发现 后端 integration/** 随全量执行(EnergySystemFlow 6 红、GuideModule 1 错,承 R209 逐类复现)
4 契约测试 功能层次 已发现 65 个 *Contract* 类(412 例预期红)+ fe *.contract.spec.js + shop/health/dx API 契约
5 接口 API 测试 功能层次 已发现 health 13/13(匿名 6/6=401、健康方案 3/3=401)、shop 4/4、dx 2 跳(404)
6 系统/端到端 功能保障 已发现 Playwright live 4 project + health 独立:admin 5/5、fe 6/6(本轮实跑)
7 验收 UAT 功能保障 部分已发现 用户场景 tests/user-scenarios/** 有资产,无 UAT 执行记录
8 BDD 规格 功能保障 未发现 无 .feature / cucumber 资产 → 缺口
9 冒烟测试 功能保障 已发现 playwright.config.smoke.js + _smoke_browser.spec.js
10 回归测试 功能保障 已发现 全量 4316 例基线 + fe/根级/lg 逐例零漂移(第 33 次)
11 探索性测试 功能保障 未发现 无 chartered 探索记录 → 缺口(无人值守窗口不适用)
12 性能测试 非功能 未发现 无 k6/JMeter 资产;压测属 execute 档需联网授权 → 未实测
13 可靠性测试 非功能 部分已发现 429/401 配额下的降级行为由 lg 红集间接反映;无故障注入
14 安全测试 非功能 部分已发现 匿名端点 6/6=401、非法排序列白名单拦截;无 SAST/依赖扫描(离线档)
15 兼容性测试 非功能 部分已发现 仅 Chromium(桌面 1440×900 / 移动 375×812);无多浏览器矩阵
16 可用性测试 非功能 未发现 无 SUS/任务完成率记录 → 缺口
17 无障碍测试 非功能 未发现 无 axe/WCAG 扫描 → 缺口
18 覆盖率(行/分支) 度量与流程 部分已发现 JaCoCo 未开(时长权衡);承袭 R197 基线,不声明达标
19 变异测试 度量与流程 未发现 无 PIT/Stryker → 缺口
20 全项目代码审查 度量与流程 已发现 本轮产出 3 条五要素(§8),覆盖环境/流程持续项

「未发现」仅为扫描未命中,不等于项目没做。


4. 测试方案(本轮执行的实际方案)

  • 目标:以「全部用例覆盖并通过」为终态,本轮聚焦 ① 窗口零变更校验(快件轮)② 浏览器核心指令域(admin/frontend)全量实跑 ③ langgraph@251 节点实派并重新取证红集根因 ④ 存量零漂移第 33 次确认。
  • 范围:全 20 类。排除:性能压测(execute 档需联网授权,未授权 → 降级为测试设计)、多浏览器兼容矩阵、探索性测试(无人值守窗口不适用);后端 Maven 全量/根级黑盒因窗口零源码变更按快件轮纪律承采 R209 证据(非重跑)。
  • 执行档:review(离线);网络仅用于内网站点 E2E 与节点派发(不触达第三方、不装依赖、不改生产代码)。
  • 优先级:P0 浏览器核心指令域实跑 → P1 节点可用性与真实站点 E2E → P2 存量红归因复核 → P3 度量缺口。
  • 验收标准:G1 通过率 ≥95%(剔 skip)、G2 红例 0(剔预期红契约)、G4 编译 0 错、G5 逐类有 XML、G13 存量零漂移。

5. 执行档与授权

项 内容
档位 review(离线) + 内网浏览器 E2E + 远程节点派发
联网 仅内网 cfc.iwintrue.com 与 189/251/本机节点;未执行依赖漏洞扫描、未压测
未执行(如实标注) 性能压测(未授权联网)、SAST/依赖 CVE 扫描(离线档无工具链)、JaCoCo(时长权衡)、变异测试(无工具);后端 Maven 全量/根级黑盒(窗口零变更,快件轮承采 R209 证据)
代码改动 仅测试执行与报告:浏览器 5 套实跑 + 前端 Jest 双端实跑 + langgraph 实派 + 3 份报告文件。未改任何 src 生产代码,未改测试源码(SRS/场景零变更 → 未更新用例)

6. 覆盖缺口清单(承 R209,无新增)

缺口 类型 现状 风险 建议测试设计 优先级 闭环方式
变异测试 度量 无 PIT/Stryker 高覆盖率低断言强度(存在性断言可假绿) 引入 PIT(Java 8 兼容 1.7.x),先对 service/energy、service/order 做增量变异 P1 mvn org.pitest:pitest-maven:mutationCoverage 单包,杀伤率 ≥60%
覆盖率度量 度量 JaCoCo 未开 无法判断 90.96% 通过率的覆盖率支撑 全量跑时挂 -javaagent:jacoco,或 nightly 单独跑覆盖率 profile P1 行覆盖 ≥60% / 分支 ≥50%,产出 jacoco.xml
BDD 规格 功能保障 无 .feature 业务口径无「可执行需求」载体 把 5 条 P0 场景(家庭邀请/测评订单/能量兑换/健康报告上传/商城下单)写成 Gherkin,映射现有 E2E P2 场景 ↔ 用例双向映射表
无障碍 非功能 无扫描 管理端表格/表单无 label 关联 Playwright + @axe-core/playwright 扫 admin 5 页 + fe 6 页 P2 0 critical / 0 serious
兼容性矩阵 非功能 仅 Chromium Safari/微信内置浏览器行为差异未覆盖 加 webkit project(fe 走 iPhone 视口),单节点串行 P2 webkit 6/6 绿
探索性测试 功能保障 无 charter 脚本外缺陷漏检 每轮给 1 个 30 分钟 charter(如「能量兑换并发」)并留记录 P3 charter 记录入 docs/tdd/test/
性能基线 非功能 无 首页/登录接口无延迟基线 k6 smoke:/admin/login、/api/article/list p95 < 800ms P1(需授权) 授权后 execute 档执行
契约前瞻存量 流程 412 例红 契约增速 > 实现增速 按 *Contract* 类红例聚类到能力键,纳入研发排期看板 P0(流程) 红例数周环比递减
串扰免疫 流程 3 类并行串扰 全量红噪声混入非契约红 涉 static Mockito 初始化 + 并行类加载用例标 @RunInSeparateClassLoader,或 stubs 改实例级装配 P2 全量 EXIT 红集 == 隔离红集
UAT 记录 功能保障 有资产无执行 验收口径缺证据 复用 tests/user-scenarios/** 每轮跑 1 个场景 P2 场景执行记录 + 截图
G9 锚点率 度量 ~13% 用例无法溯源到 SRS 用例表补「关联能力键」列,脚本回填 P1 ≥60%
189 节点网络 环境 DNS 失效 双节点互备失效 见 B-208-1 P0(环境) 189 curl 站点 200 且 admin 5/5
langgraph LLM stub 环境 11 红全为配额/key 门禁信号被环境噪声淹没 契约用例改 LLM stub(respx/monkeypatch)脱配额,仅留 1 条 live smoke P1 stub 后 43/43,live smoke 单列

7. 域结论表

审查维度 负责专家 结论 关键证据
单元·组件级 苏雅 通过(持平) cfc-web 132/132、fe 635/651 实跑;后端 497 类(承 R209 全量 3876 过)
集成·接口级 柯砚 不通过(承袭) 后端非契约红 16(8 类)+ 契约前瞻 412(65 类);health 13/13 绿、shop 4/4 绿
系统·验收级 白樾 通过(站点面) admin 5/5 + fe 6/6 + shop 4/4 + health 13/13 真实站点绿;dx 2 跳(端点 404,非失败)
测试保障级 闻朔 有条件通过 冒烟/回归资产齐备且全量可跑;探索性 charter 缺位;串扰免疫待排期
性能·可靠性 骆骋 未实测(未授权) 无压测执行;记录 429/401 配额降级行为(lg 第 8 轮)
安全 关屿 部分通过 匿名端点 6/6=401;排序白名单拦截;无 SAST/CVE 扫描
兼容·体验 阮清 部分通过 仅 Chromium 双视口;无障碍零覆盖
流程·度量·代码 何序 不通过(承袭) 无 CI(G11)、锚点 ~13%(G9)、变异缺位;窗口代码级零变更

8. 五要素问题清单

问题 1(P0 · 承袭 · 第 3 轮)189 节点 DNS 失效致站点 502,双节点互备名存实亡

  1. 问题描述:189 上 Resolve-DnsName cfc.iwintrue.com 仅得公网 111.228.2.33,curl http://cfc.iwintrue.com/admin → 502 Bad Gateway;本轮 _r210_probe189.cjs 复查同证。189 的 admin E2E 必然假红——本轮不派发,本机 admin 5/5 交叉覆盖(连续 3 轮绿)。
  2. 测试 bug 点:tests/e2e-live/admin-live.spec.js:55 等用例无缺陷;执行环境不可用(本机 hosts 有 192.168.16.251 cfc.iwintrue.com)。
  3. 最优修改方案:189 补 hosts 192.168.16.251 cfc.iwintrue.com;或修 189 DNS 指向可用解析器;origin 改 HTTP。
  4. 修改目的:恢复「本机/189 双节点互备」,消除 189 假红对门禁的长期污染。
  5. 修改后能否闭环:能。判据:189 curl /admin/login = 200 且 admin-desktop 5/5 EXIT=0。

问题 2(P1 · 承袭 · 第 3 轮)后端 16 例确定性非契约红(能量 6F + schema 1E + 编排 2F + 装配 2E + 微信 3E + 其余)

  1. 问题描述:能量集成 6F(HTTP 500/5001)、platform_fee INT 溢出 1E、编排引擎状态语义 2F、WebConfigGrowthExcludeRemovedTest 2E、UserServiceWechatLoginTest 3E(NPE),R207~R209 逐类复现锁定。本轮窗口零源码变更 → 红集承采,仍待研发。
  2. 测试 bug 点:断言口径已与 R207 起逐轮核对;红因在服务端与 schema 定义(schema.sql:635/718/2882、DatabaseInitializer:5901/6115 为 INT)。
  3. 最优修改方案:platform_fee 统一 BIGINT + ensureColumn 幂等迁移;能量 6F 单类取栈(-Dsurefire.useFile=false);编排 manual_fail 落库与 AND 终止分支语义对齐;微信 NPE 单类复跑。
  4. 修改目的:守卫 P1 用户可见:能量账本、资金字段、任务流状态机、登录主链路。
  5. 修改后能否闭环:能。判据:16 例全绿 + 新增边界/回归用例绿(判据详见 R209 §8 问题 2-4/9)。

问题 3(P1 · 承袭 · 第 8 轮)langgraph 11 例红 = 429 配额 + 401 key 失效(环境噪声)

  1. 问题描述:32 passed / 11 failed(115.60s),红集 = analyze 2 + auto_tag 5 + intent 4,连续 8 轮完全一致;本轮重新取证日志:429 rate_limit_exceeded(AgnesAI 今日文本配额耗尽 → 1 请求/3 分钟) + 401 api key ****ab12 invalid(记忆召回)。
  2. 测试 bug 点:tests/test_analyze.py/test_auto_tag.py/test_intent.py 依赖真实 LLM provider;配额/key 为运维环境问题,非代码回归。
  3. 最优修改方案:① 测试侧加 LLM stub(respx/monkeypatch)使契约用例不依赖外部配额;② 仅留 1 条 @pytest.mark.live smoke 单列;③ 运维轮换 key ****ab12 + 升级 AgnesAI 配额。
  4. 修改目的:让 langgraph 门禁信号从「配额噪声」恢复为「代码质量信号」(连续 8 轮被淹没)。
  5. 修改后能否闭环:能。判据:stub 后 43/43 绿;live smoke 不参与门禁分母。

问题 4(P1 · 承袭 · 第 88 轮)后端 9082 未启动致根级黑盒 16 红

  1. 问题描述:tests/jest.config.js 23 例中 16 红,全部 ECONNREFUSED 127.0.0.1:9082(本轮 9082 仍 closed,承采 R209 7/16)。
  2. 测试 bug 点:根级黑盒以 9082 为被测对象;本机未起服务。
  3. 最优修改方案:无人值守窗口统一以「起本地后端」为前置(mvn spring-boot:run 后台 + /actuator/health 轮询 60s),或该套件在 TEST_TARGET=remote 下指向 cfc.iwintrue.com。
  4. 修改目的:23 例黑盒长期 70% 无效信号;恢复 9082 也可顺带解锁后端红集「实时取栈」。
  5. 修改后能否闭环:能。判据:9082 起后 23/23 绿或远程口径全绿。

9. 门禁(终值)

门禁 标准 R210 实测 结论
G1 通过率 ≥95%(剔 skip) 90.96%(4697/5164,承 R209 全量口径);剔 412 预期红 + 8 串扰 = 99.01%(4697/4744) ❌(全量口径)/⚠ 条件成立(剔预期红)
G2 红例数 0(剔预期红契约) 47(后端确定性 16 + fe 4 + 根级 16 + lg 11);契约前瞻另有 412 例、串扰 8 例隔离全绿 ❌
G3 浏览器 28/28 28/28 + 2 跳(本机 admin 5/5、fe 6/6、shop 4/4、health 13/13) ✅
G4 编译 0 错 0 错(承 R209:497 类) ✅
G5 XML 无沉默 497/497 类 有 XML(承 R209) ✅
G6 流水线 EXIT 符合预期 浏览器 4 套 EXIT=0;langgraph EXIT=1(预期,11 环境红) ✅
G7 langgraph 43/43 32/43(11 环境红,第 8 轮) ❌
G8 匿名端点 6/6=401 6/6=401(本轮实跑) ✅
G9 锚点率 ≥60% ~13%(承袭) ❌
G10 节点 本机+189 双绿 本机 ✅ / 251 ✅ / 189 ❌(502,第 3 轮) ❌
G11 CI 清单 全绿 无 CI(仅本地 pre-push=test-compile) ❌
G12 SRS 合规 变更→用例同步 窗口零 SRS/场景变更 → 用例零更新(已复核) ✅
G13 存量零漂移 连续零漂移 第 33 次(浏览器 28 绿、fe 4 红逐例、lg 11 红、Jest 132、后端 16 非契约、根级 7/16 承采) ✅
G14 场景映射 ≥80% ~64-72%(承袭) ❌

门禁结论:不通过(有条件) —— ✅ G3/G4/G5/G6/G8/G12/G13;❌ G1/G2/G7/G9/G10/G11/G14;⚠ G1(剔预期红口径成立)。

与 R209 对比:门禁 14 项结论逐项一致,红数 47 一致,零漂移第 33 次 → 无任何确定性变化(测试结果无变化 → 按纪律不推送研发变更通知,本报告仅入库文档链)。


10. 结论与后续

  • 本次结论:以「全部用例覆盖并通过」为终态目标,当前处于「存量零漂移但门禁未达」状态——G13 连续 33 次零漂移证明「无新回归」;G2/G7/G9/G10/G11/G14 六项未达标为长期存量项(16 后端红、4 fe 红、16 根级环境红、11 lg 环境红、189 环境、无 CI/锚点低)。
  • 给研发/运维的排期建议(按价值排序):① langgraph LLM stub + key 轮换(去环境噪声,恢复门禁信号);② 189 hosts/DNS 修复(恢复双节点互备);③ 后端 16 例非契约红修复(能量 500、platform_fee BIGINT、编排状态机);④ cfc-web 资产入库;⑤ CI 接入(G11)。
  • 给用户的说明:本轮测试结果与 R209 无变化,未触发「结果变化通知研发」流程;若需要,可在下轮将上述排期建议作为正式研发通知发出。

产出文件

  • docs/tdd/test/automation-run-2026-11-15-R210.md(自动化执行日志)
  • docs/tdd/test/blockers.md(追加 R210 段)