automation-run-2026-11-08-R88.md 17 KB
自动化运行证据（第 88 轮 · 2026-11-08 14:00 ~ 15:10）
触发：定时自动化「作为测试负责人执行自动化测试闭环（全部用例通过 + 覆盖 SRS/场景 + 浏览器走 cfc.iwintrue.com + langgraph 派 251）」。 执行档：
review（离线）——不联网装依赖、不启停服务、不改生产代码；仅改测试侧装置文件（有据可查，见 §6）。 基线：cfclub@49d7bccac（=origin/cfclub，跑前跑后一致，窗口内零提交）。 工作区：已跟踪文件 0 修改（git status --porcelain | grep -v '^??'= 0）→ 后端在本工作区直接跑全量，无需隔离树。 原始日志：_r88_backend.log（后端全量）·_r88_lg.log/_r88_lg2.log（langgraph 修前/修后）·_r88_targeted2.log（定向复跑）·_r88_agg.json（聚合）
1. 实测结果总表
| 套件 | 命令 | 结果 | 通过率 | 退出码 |
|---|---|---|---|---|
| cfc-backend（全量单元+集成） | mvn -o -B test（JDK1.8.0_25 + Maven 3.9.9） |
311 类 / 2628 例 / 40F / 34E / 4S → 2550 过 | 97.03% | 1（有红） |
| cfc-frontend（Jest） | node node_modules/jest/bin/jest.js --ci |
21 suites · 354 passed / 1 skipped / 355 | 99.72% | 0 |
| cfc-web（Jest） | 同上 | 12 suites · 90 passed / 90 | 100% | 0 |
| cfc-langgraph（pytest，本机 venv py3.12） | .venv/Scripts/python.exe -m pytest tests/ --ignore=tests/qna |
44 collected · 32 passed / 12 failed | 72.73% | 1 |
| admin-desktop（E2E 真浏览器） | npx playwright test -c playwright.config.live.js --project=admin-desktop |
5 passed（TC-A-U01~U05） | 100% | 0 |
| frontend-mobile（E2E 真浏览器） | ... --project=frontend-mobile |
6 passed（TC-F-U01~U06） | 100% | 0 |
| shop-api（E2E 契约） | ... --project=shop-api |
4 passed（TC-S-U01~U04） | 100% | 0 |
| health-contract（E2E 契约） | npx playwright test -c playwright.config.health.js |
13 passed（TC-H-U01~U10 + TC-HP-U01~U03） | 100% | 0 |
合计 3145 例 / 3054 过 = 97.11%（剔除 5 skip 后 97.26%）；红例 86（后端 74 + langgraph 12）。
1.1 后端关键度量
| 指标 | 值 | 说明 |
|---|---|---|
| 测试类 / 用例 | 311 / 2628 | surefire XML 实测，含参数化展开 |
| 失败 / 错误 / 跳过 | 40 / 34 / 4 | @Disabled 4 例 |
| 红类 / 红例 | 27 / 74 | 逐类见 §3 |
| 完整性 | 311/311 XML | 无静默丢失、无 0 字节 XML、.dump 0 |
| testCompile | 317 源 / 0 错 | 含本轮测试侧修订后重编 |
| 恒等式 | @Test 2618 + 参数化展开 26 − @Disabled 4 − 早退截断 12 = 2628（误差 0） |
早退截断 12 未逐类取证，标注为「待核实」 |
| Maven 总时长 | 46:18 | XML 耗时总和 2361.2s |
| 慢类 Top3 | GuideRolePermissionTest 274.3s / ArticleControllerTest 244.7s / ActivityControllerTest 241.5s | B-60（单类超 120s）仍成立 |
1.2 与上轮基线对比（重要：方向性改善）
| 项 | R77 基线（采信值） | 本轮 R88 实测 | Δ |
|---|---|---|---|
| 后端用例 | 2398 | 2628 | +230 |
| 后端通过率 | 95.07% | 97.03% | +1.96pp |
| 后端红例 | 115 | 74 | −41 |
| 后端红类 | 35 | 27 | −8 |
| 浏览器 E2E | 25/25 | 28/28 | +3（health 13 全绿） |
| 契约鉴权（B-61） | 3 红（P0 连续 8 轮） | 13/13 绿 | 闭环 |
说明：R78~R87 一直未跑后端全量（多轮以「指令排除编译」采信 R77 数字），本轮首次实测到研发侧修复后的真实基线。方向：红例 115→74 主要由研发修复（Article/Auth/GuideOrder/GuideTeam 等历史红类已转绿）+ 测试侧装置跟进。
2. 环境与节点分派实测
| 目标 | 结果 | 说明 |
|---|---|---|
| cfc.iwintrue.com:443 | OPEN | /admin 302 → 登录页；/frontend H5 正常 |
| 192.168.16.189:4090 | OPEN（HTTP 200，opencode Web UI） | 浏览器节点可用；本机与 189 每节点单任务约束下，本轮全部浏览器任务在本机串行执行（workers:1），未并发 |
| 192.168.16.189:22 | CLOSED（Connection refused） | 无 SSH 通道 |
| 192.168.16.251:9000 / :8000 | CLOSED | langgraph 服务未监听 → 无法按指令派发 251，降级本机 venv 直跑（标注未实测项） |
| 192.168.16.251:22 | OPEN 但 publickey,password 均被拒 |
无可用凭据，不可远程执行 |
| 192.168.16.251:8080 | Gogs Git 服务（非 langgraph） | 不可用于 langgraph 派发 |
分派结论：langgraph 派 251 未达成（B-55 延续第 N 轮）；浏览器任务按「每节点单任务」在本机单节点串行完成 4 个套件，未触发并发。
3. 后端 74 例红因三层归因
3.1 按异常类型（实测统计）
| 异常类型 | 例数 |
|---|---|
| AssertionFailedError | 24 |
| NullPointerException | 16 |
IllegalStateException（均 Failed to load ApplicationContext） |
8 |
| WantedButNotInvoked（Mockito verify） | 8 |
| AssertionError | 5 |
NoSuchElementException（No value present） |
4 |
| InvalidUseOfMatchersException | 3 |
| ArgumentsAreDifferent | 3 |
| MockitoException | 2 |
| DataIntegrityViolationException（DB 字段截断） | 1 |
3.2 归因分桶
| 归因桶 | 例数 | 判定依据 | 归属 |
|---|---|---|---|
| A-1 本轮已修（契约/装置漂移） | 8 | guide-bind 改「提交申请待审批」、getXxxByChild→getXxxByFamilyMember、checkMemberOnly 需 taskMapper.selectById 打桩 |
测试侧 |
| A-2 Mockito 误用族 | 8 | InvalidUseOfMatchersException 3 + ArgumentsAreDifferent 3 + MockitoException 2 |
测试侧 |
| A-3 verify 未触发（未打桩） | 8 | CfCommissionServiceSettleTest 8 例 WantedButNotInvoked: cfBalanceService.earnByRule(...)，档位/规则查询未 stub |
测试侧 |
| A-4 夹具 NPE | 13 | 16 例 NPE 中 16/16 堆栈首帧均在测试方法内、无生产帧（B-27 判据），扣除已修 3 例 | 测试侧 |
| A-5 Optional 空值 | 4 | DimensionScoreServiceImplTest 4 例 NoSuchElementException: No value present（repo 未 stub） |
测试侧 |
| A-6 上下文加载失败 | 8 | auditLogAspect → auditLogService 注入链失败（AdminFamilyOverviewControllerTest 3 / FamilyAdminOverviewServiceTest 3 / UserServiceFamilyNameLinkTest 2） |
测试侧（需补 @MockBean） |
| A-7 断言基线未细分 | 23 | 剩余 AssertionFailed/AssertionError，需逐例判定「装置 vs 产品」 |
待核实 |
| P-1 产品缺口 | 1 | MindFortuneControllerTest 期望 code=401 实得 400 → /api/mind/ 未入 LOGIN_REQUIRED_PATHS（详见 B-69） |
研发 |
| E-1 环境/数据 | 1 | GuideModuleIntegrationTest MySQL Data truncation: Out of range |
环境 |
量化结论：A 类合计 72 例（含已修 8）、产品 1、环境 1、待核实 23。 若 A-2~A-6 全部修完（41 例），后端通过率 → 98.59%、红例 74→33；叠加 A-7 全绿则 → 99.47%。
3.3 27 个红类清单（按红例数降序）
CfCommissionServiceSettleTest 8 · EnergySystemFlowTest 6F+1S · ProductOrderServiceFulfillmentMultiModeTest 6E · GuideFamilyTaskControllerTest 5（已修）· PlannerBindInviteFlowTest 5 · DimensionScoreServiceImplTest 4E · FamilyJoinRequestServiceReferrerBindTest 4E · AdminFamilyOverviewControllerTest 3E · FamilyAdminOverviewServiceTest 3E · GrowthRecordSyncFlowTest 3 · ArticleWorkflowTest 3 · DimensionRegistryMapContractTest 3F · ProductOrderServiceUpdateExpressFieldTest 3F · GuideRolePermissionTest 2（已修）· FortuneServiceTest 2E · UserServiceFamilyNameLinkTest 2E · OrchestrationEngineTest 1 · OrchestrationIntegrationTest 1 · MembershipPaySwitchTest 1 · PaymentServiceORDRoutingTest 1 · DailyCheckinStreakFlowTest 1E · GuideModuleIntegrationTest 1E · FamilyControllerTest 1（已修）· MindFortuneControllerTest 1（产品）
4. langgraph 12 例红因（本机 venv 兜底，251 未派发）
修前后对比：17 红 → 12 红（+6 绿，44 收集 / 32 过）。
| 类 | 例数 | 归因 | 类型 |
|---|---|---|---|
test_analyze.py |
2 | ValueError: Checkpointer requires ... thread_id → /api/v1/analyze 恒 500 |
产品缺陷（B-65） |
test_chat.py |
1 | 500，ImportError: chromadb_rust_bindings DLL 缺失 |
环境（B-54） |
test_auto_tag.py |
5 | 依赖 /api/v1/chat（RAG/chromadb）→ 同上 |
环境 |
test_intent.py |
4 | prompt_service 连 localhost:9082 失败 + 意图分类降级 chat |
环境（需本机后端 + LLM） |
本轮测试侧修复（+6 绿）：
test_memory.py3 红 → 4 绿（B-64 闭环）：对齐MemoryManager真实契约（__init__(embeddings)/save_conversation/recall），并以patch("langchain_chroma.Chroma")隔离原生 DLL 依赖 → 单测不再被宿主机环境拖红；新增守护「旧接口不回潮」。test_report_parse.py2 红 → 5 绿（B-66 闭环）：样本 PDF 路径由写死容器路径/app/cfc/...改为__file__上溯 3 级解析，附requires_sample_pdf缺样本即 skip。
5. 浏览器自动化明细（单节点串行）
| 套件 | 用例 | 结果 | 耗时 |
|---|---|---|---|
| admin-desktop | TC-A-U01 登录页渲染 / U02 滑块人机验证 / U03 未登录拦截 / U04 真实登录进主框架 / U05 核心菜单 | 5/5 | 1.7m |
| frontend-mobile | TC-F-U01 首页渲染 / U02 五维沙盘 / U03 TabBar 健康 / U04 TabBar 成长 / U05 未登录「我的」鉴权引导 / U06 关键资源无 failed | 6/6 | 1.4m |
| shop-api | TC-S-U01 price asc / U02 price desc / U03 默认排序 / U04 非法排序列白名单拦截 | 4/4 | 9.6s |
| health-contract | TC-H-U01~U10 华为/小米 10 端点 401 + TC-HP-U01~03 健康方案 3 端点 401 | 13/13 | 7.7s（第 3 次复跑） |
B-61 闭环证据：13:41（R87）TC-HP-U01~03 仍 200 直通；本轮 14:14 起转为 401
{"code":401,"message":"请先登录"}，独立 curl 7 端点全部 401 → 部署已含cfclub@de16f40b0（JwtInterceptor.java:114含/api/health/plan/）。连续 8 轮的 P0 缺口闭环。 首跑假红已排除（B-67）：14:11 首次执行 health 出现 10 红（10 例无任何 console 输出、单轮 1.1m），紧接 14:14--workers=1 --reporter=list（13.1s）与 14:38--reporter=line（7.7s）两次独立复跑均 13/13 绿 → 判定瞬时上游抖动，非产品回归、非并发（配置本就workers:1）。
6. 本轮代码改动（仅测试侧，逐条可复核）
| 文件 | 改动 | 依据 | 验证 |
|---|---|---|---|
cfc-langgraph/tests/test_memory.py |
重写对齐 MemoryManager 真实契约 + 隔离 chromadb 原生依赖 + 旧接口守护 |
B-64 | pytest tests/test_memory.py → 4 passed |
cfc-langgraph/tests/test_report_parse.py |
样本路径可移植化 + requires_sample_pdf |
B-66 | pytest tests/test_report_parse.py → 5 passed（234.5s） |
cfc-backend/.../GuideFamilyTaskControllerTest.java |
3 处服务方法更名（...ByFamilyMember）、断言键 totalChildren→totalFamilyMemberren、2 处 taskMapper.selectById 打桩 |
生产重构（孩子→成员）+ checkMemberOnly 前置校验 |
定向复跑见 §6.1 |
cfc-backend/.../GuideRolePermissionTest.java |
2 处 taskMapper.selectById 打桩 |
同上 | 同上 |
cfc-backend/.../FamilyControllerTest.java |
新增 @MockBean TeacherFamilyBindingRequestService + 断言改为「申请已提交，请等待家庭主账号审批」 |
guide-bind 契约变更（直接绑定 → 申请审批） |
同上 |
未改任何生产代码、未放宽断言强度（NPE 类改为「补齐桩」而非「删断言」；契约类改为「对齐新契约」而非「忽略差异」）。
6.1 定向复跑结果（实测，2026-11-08 15:06）
命令：mvn -o -B test "-Dtest=GuideFamilyTaskControllerTest,GuideRolePermissionTest,FamilyControllerTest" -DfailIfNoTests=false → BUILD SUCCESS
| 类 | 全量基线 | 定向复跑 | 结论 |
|---|---|---|---|
| GuideFamilyTaskControllerTest | 20 例 / 3F+2E | 20 / 0F / 0E（253.2s） | 5 红全转绿 |
| GuideRolePermissionTest | 21 例 / 1F+1E | 21 / 0F / 0E（59.5s） | 2 红转绿（耗时 274.3s→59.5s，上下文复用） |
| FamilyControllerTest | 8 例 / 1F | 8 / 0F / 0E（181.9s） | 1 红转绿 |
| 合计 | 49 例 / 8 红 | 49 / 0 / 0 | 8 例全修复，且同文件其余 41 例无回归 |
预测（未入台账，待下轮全量 clean 复跑确认）：后端红例 74→66、通过率 97.03%→97.34%；全量 3145 例 → 97.37%。
方法论纪律（承 B-57）：定向绿不写入基线，必须由下轮全量 clean 复跑升级为全量证据后才可入台账。
7. 覆盖矩阵（20 类 · 三态）
| # | 测试类型 | 状态 | 证据 |
|---|---|---|---|
| 1 | 单元测试 | 已发现 | 后端 311 类 / Jest 355+90 |
| 2 | 测试覆盖率 | 未发现 | 无 JaCoCo；N/A |
| 3 | 变异测试 | 未发现 | 无 PIT |
| 4 | 集成测试 | 已发现 | integration/ 包 + SpringBootTest |
| 5 | 契约测试 | 已发现 | tests/e2e-live/*contract*、*MapContractTest |
| 6 | 接口 API 测试 | 已发现 | shop-api / health-contract / 3194 handler |
| 7 | 系统/端到端 | 已发现 | Playwright live 4 套件 28 例 |
| 8 | 验收 UAT | 待核实 | 无显式 UAT 记录/签署 |
| 9 | BDD 规格 | 未发现 | 无 feature 文件 |
| 10 | 冒烟测试 | 已发现 | tests/e2e/ci-smoke.spec.js |
| 11 | 回归测试 | 已发现 | CI test-blocking 两级门禁 |
| 12 | 探索性测试 | 未发现 | 无 charter/记录 |
| 13 | 性能测试 | 未发现 | 无 k6/JMeter；B-60 有慢类观测 |
| 14 | 可靠性测试 | 未发现 | 无故障注入 |
| 15 | 安全测试 SAST/DAST | 未发现 | 无扫描器；仅鉴权契约 13 例 |
| 16 | 依赖漏洞扫描 | 未发现 | 无 SCA |
| 17 | 兼容性测试 | 待核实 | 仅 Chromium；无多浏览器/机型矩阵 |
| 18 | 可用性测试 | 未发现 | 无真实用户可用性证据 |
| 19 | 无障碍测试 | 未发现 | 无 axe/WCAG |
| 20 | QA 流程与度量 | 已发现 | docs/tdd、CI、台账、blockers |
「未发现」仅表示扫描未命中，不等于项目没做；扫描未覆盖处一律「待核实」。
8. SRS / 场景覆盖
| 维度 | 数值 | 说明 |
|---|---|---|
SRS 规格章节（docs/superpowers/api/API_REFERENCE.md §4.x） |
170 | — |
| 被 E2E 用例显式引用的章节 | 3（§4.43 / §4.44 / §4.49） | grep -rhoE '§4\.[0-9]+' tests/ --include=*.spec.js 去重 |
| 章节级锚点覆盖率 | 1.8% | G9 未达标 |
| 今日 SRS 变更 | 2 项（HL-03/R2+R3、HL-04/R4，87ffb4e3e / e7c379e17） |
已有 TC-HP-U01~03 覆盖，本轮 13/13 绿 → 变更已绑定用例 |
| 结构化 TC 台账 | 784（异常流 474 = 60.5%） | docs/tdd/test/doc-case-execution-report.md |
| 用例可自动化推导 | 253 | 同上 |
结论：最新 SRS 变更已覆盖且有实测证据；但全量 SRS 的章节级锚点覆盖仍极低（3/170），SRS 全覆盖目标未达成。
9. 门禁结论
| 门禁 | 判据 | 实测 | 判定 |
|---|---|---|---|
| G1 全量通过率 | ≥95% | 97.11%（后端 97.03%） | ✅ |
| G2 红例数 | ≤20 | 86（后端 74 + langgraph 12） | ❌ |
| G3 小程序 Jest | 0 失败 | 354 过 / 1 skip | ✅ |
| G4 管理端 Jest | 0 失败 | 90/90 | ✅ |
| G5 编译与完整性 | 0 错 + 无静默丢失 | 317 源 0 错；311/311 XML | ✅ |
| G6 浏览器 E2E | 全绿 | 28/28 | ✅ |
| G7 langgraph | 0 失败 | 12 失败 | ❌ |
| G8 鉴权契约 | 全绿 | 13/13（B-61 闭环） | ✅ |
| G9 SRS 锚点覆盖 | ≥60% | 1.8%（3/170） | ❌ |
| G10 节点分派 | langgraph 派 251 | 251:9000 CLOSED，本机兜底 | ❌ |
| G11 CI 硬门禁 | 流水线可绿 | CI 存在；langgraph-blocking-pytest 因 12 红会阻断 |
❌ |
| G12 未实测项标注 | 全标注 | 已标注（见 §10） | ✅ |
总判定：⛔ 不通过（有条件） — 8 项达标 / 5 项未达标（含 1 项不可自主闭环的分派环境）。
使绿优先级（按性价比）
| 序 | 动作 | 预期收益 | 归属 |
|---|---|---|---|
| P-1 | 修 auditLogAspect→auditLogService 注入链（补 @MockBean） |
8 例转绿 | 测试 |
| P-2 | CfCommissionServiceSettleTest 档位查询补桩 |
8 例 | 测试 |
| P-3 | Mockito 误用族（matcher/doNothing/verify）修订 | 8 例 | 测试 |
| P-4 | 夹具 NPE 13 例补桩 | 13 例 | 测试 |
| P-5 | MindFortune 401 口径（/api/mind/ 入清单） |
1 例 + 安全口径 | 研发 |
| P-6 | langgraph analyze thread_id（B-65） |
2 例 + 1 端点可用 | 研发 |
| P-7 | 251 放通 9000 或提供 SSH 凭据 | G10 | 运维 |
| P-8 | 剩余 23 例断言逐例定性 | 23 例 | 测试 |
10. 未实测项（如实标注）
- langgraph 远程派发（251 节点）：251:9000/8000 CLOSED、22 拒绝公钥/口令 → 本机 venv 兜底，非 251 环境结果。
- 后端全量未带
clean：复用target/，但以 311/311 新 XML + 时间戳过滤统计，无旧报告混入。 - JaCoCo 覆盖率 / PIT 变异 / 压测 / DAST / SCA：本机无工具且 review 档不装依赖 → 未实测。
- 无障碍 / 多浏览器兼容 / 真实用户可用性：无资产、无环境。
- UAT / BDD / 探索性测试：无记录，标「待核实」。
- 恒等式「早退截断 12」未逐类取证。