REVIEW_SYSTEM_ACCEPTANCE_白樾.md 16 KB

系统·验收级测试审查结论(域专家:白樾)

审查对象:CFC 全仓(d:/cfc)Phase 1 功能层次域 —— 系统/端到端(E2E)、验收 UAT、BDD 规格 三类。 约束:未修改任何代码、未提交/推送;未联网、未执行任何测试(遵守 CFC-ENV-001 与离线约束)。 所有"实测"数据均来自仓库内既有执行记录(见证据清单),非本人运行结果。


一、审查范围与抽样声明

类别 抽样对象 说明
系统/端到端 E2E tests/e2e/*.spec.js(顶层 47)、tests/e2e/roles/*(13)、tests/e2e/api/*(7)、tests/integration/*(2)、tests/unit/games/*(1)、tests/e2e/_smoke_browser.spec.js、e2e_complete_test.py、ops_interface_smoke.py 全量 70 个 Playwright spec + 2 个 Python/脚本型 E2E 已盘点到
E2E 报告 tests/E2E-TEST-GUIDE.md、E2E-TEST-REPORT.md、E2E-TEST-STATUS.md、E2E-TEST-SCENARIOS.md、E2E-RESULTS.md、playwright_smoke_report.md、playwright_smoke.log 全量已读
验收 UAT 全仓检索 uat/acceptance/验收/人工测试/手动测试(见下文) 未发现独立 UAT 套件
BDD 规格 全仓检索 *.feature、cucumber、gherkin、behave、pytest-bdd 0 命中

未读 / 待核实(标注)

  • tests/e2e/SCENARIOS.md 仅抽样了 4 个代表性的 DOM spec(admin-panel / ai-plan-task-flow / activity-registration / 及 api 目录);其余 43 个 DOM spec 与 13 个 roles spec 的逐行断言质量未逐一细读,仅通过 expect(true) 与 .catch(()->false) 全局量化判定其普遍存在"恒真断言/吞错"模式(见问题 P1/P2)。断言细节质量待核实至每个用例。
  • tests/integration/plan-chain.spec.js、tests/integration/mini-games-api.spec.js 仅读头部,判定为 API 级;完整覆盖度待核实。
  • 是否存在"人工/UAT 验收流程"(如 PM 在测试环境点检)待核实——仓内无文档化 UAT 套件,业务验收是否仅靠人工依赖访谈/外部证据,本域无法从代码侧确认。
  • e2e_complete_test.py 仅读结构,断言风格为"软断言(if code==200 记 PASS,否则记 FAIL 但继续)",非 pytest 硬 assert;完整用例数与断言深度待核实。

二、域结论(已发现 / 未发现 / 待核实)

域 结论 关键证据
系统·端到端(可运行 API 级) 已发现:存在 7 个 API 级 Playwright spec + 2 个 integration + e2e_complete_test.py + ops_interface_smoke.py,直连后端 REST,断言 code=200/结构/安全契约,可在 CFC-ENV-001 下运行。仓库记录显示 51 passed / 2 failed / 5 skipped(playwright_smoke_report.md)。 tests/e2e/api/*.spec.js、tests/e2e/helpers/api.js、tests/integration/*、e2e_complete_test.py、playwright_smoke_report.md
系统·端到端(阻塞 DOM 级) 已发现:47 个顶层 + 13 个 roles + 1 个 unit/games 为浏览器/DOM 型(page.goto('/#/pages/...') 或 /admin/* + CSS 选择器),依赖未部署的 uni-app H5 / cfc-web SPA,被 CFC-ENV-001 阻塞,线上(cfc.iwintrue.com 仅 API)无法执行。即便本地有浏览器,E2E-TEST-STATUS.md 记录仍 ERR_CONNECTION_TIMED_OUT(H5 未部署)。 tests/E2E-TEST-STATUS.md、E2E-RESULTS.md、admin-panel.spec.js、ai-plan-task-flow.spec.js
系统·端到端(断言质量) 已发现:DOM 级 spec 大量使用 expect(true).toBeTruthy()(16 个文件、70+ 处)与 .catch(()=>false) 吞掉元素缺失,导致"永远通过";部分仅断言元素"可见"而不校验数据正确性。 全局 grep 结果;ai-plan-task-flow.spec.js、dan-report-flow.spec.js、flora-microbiome-flow.spec.js、admin-panel.spec.js
验收 UAT(自动化) 未发现:全仓无任何自动化 UAT 套件(无 uat/ 目录、无 acceptance 测试、无 pytest/Playwright 的 UAT 标记分组)。 全仓检索(见第一节)
验收 UAT(人工/文档化) 待核实:仓内 tests/E2E-TEST-REPORT.md 的状态列大量为"✅ 基础功能测试通过 / ⚠️ 需验证",暗示业务验收由人工/开发判断;但无正式 UAT 计划文档。是否存外部人工 UAT 流程待核实。 tests/E2E-TEST-REPORT.md 状态列
BDD 规格 未发现:0 个 .feature 文件;无 Cucumber/Gherkin/behave/pytest-bdd 依赖与脚本。团队背景已核实"无 BDD"。 find . -iname '*.feature' = 0;依赖检索 0 命中

三、关键证据清单(文件路径 / 报告)

  1. tests/e2e/api/api-smoke.spec.js —— API 级冒烟:自注册拿 token → 调核心接口 → 断言 code=200。
  2. tests/e2e/helpers/api.js —— 注释明确写明"远程环境仅部署后端 API,未托管前端 SPA,DOM 级 e2e 在远程不可运行",并给出 registerRole(直注接口)/ apiPost 统一封装。
  3. tests/e2e/api/nonfunc-security.spec.js —— 安全契约用例(TC-G-N04/TC-P-N09/TC-A-N05/TC-C-N07/TC-P-N10/TC-A-N06/TC-P-N11),纯 API、不依赖前端,契合 CFC-ENV-001;其"失败"即暴露真实后端缺口。
  4. tests/e2e/api/energy-api.spec.js、article-api.spec.js、contact-api.spec.js、family-member-api.spec.js、nonfunc-perf-compat.spec.js —— 业务/非功能 API 级用例。
  5. tests/E2E-TEST-STATUS.md —— 实测 ERR_CONNECTION_TIMED_OUT:因 cfc.iwintrue.com 是 API 后端、uni-app H5 未部署 → DOM E2E 无法访问。
  6. tests/E2E-RESULTS.md —— 本机 Chromium 未安装(DNS 失败无法下载),E2E 未实际执行。
  7. tests/E2E-TEST-REPORT.md —— 22 个测试文件、~150+ 场景,绝大多数状态"⚠️ 需验证 / selector 待修复"。
  8. playwright_smoke_report.md + playwright_smoke.log —— API 级 E2E 既有执行:51 passed / 2 failed / 5 skipped(2 失败为已知后端缺口告警)。
  9. tests/playwright.config.api.js —— API 级配置:testMatch: /api[\\/].*\.spec\.js$/,request fixture 直连 /api/*,不依赖 SPA。
  10. ai-plan-task-flow.spec.js(行 92/137/161/193/230/266 等)、dan-report-flow.spec.js(12 处)、flora-microbiome-flow.spec.js(14 处)—— expect(true).toBeTruthy() 恒真断言样本。
  11. activity-registration.spec.js:110 —— out += '[INFO]...' 未声明变量 out 的调试残留。

四、五要素问题清单

通用前提:所有 DOM 级用例的"可执行性"根因是 CFC-ENV-001(环境阻塞,非用例缺失),须在闭环方式中区分处理。

P1 —— DOM 级 E2E 被 CFC-ENV-001 阻断,线上零可执行

  • ① 问题描述:47 个顶层 + 13 个 roles + unit/games 共 61 个浏览器型 spec 指向 /#/pages/...(uni-app H5)或 /admin/*(cfc-web),而 cfc.iwintrue.com 仅部署 Spring Boot API,返回 502/404,DOM E2E 在线上完全不可跑。
  • ② 测试 bug 点:tests/e2e/admin-panel.spec.js、ai-plan-task-flow.spec.js、activity-registration.spec.js 等全部 page.goto('/#/...') 类;报告 tests/E2E-TEST-STATUS.md 第 28–41 行。
  • ③ 最优修改方案:
    • 短期(推荐):以 tests/e2e/api/* 为蓝本,将核心业务流改写为 API 级 E2E(用 request fixture 直连 /api/*),彻底绕开前端部署依赖;这是 CFC-ENV-001 下唯一可持续的端到端验证通道。
    • 中期:在 CI 中补一个"前端构建+静态托管"步骤(部署 uni-app H5 到独立域名/路径),再用 playwright.config.func.js 跑 DOM 级 spec;或本地 npm run dev:h5 + cfc-web dev server 做回归。
    • 明确标注:在仓库 README/CI 中将 DOM 级 spec 标记为"需前端环境、线上跳过",避免误报"全红"。
  • ④ 修改目的:让端到端覆盖在现有环境约束下真实可执行、可进 CI,而非一堆永远超时/不可跑的用例。
  • ⑤ 闭环方式:新增 tests/e2e/api/ 业务流(对齐 DOM 版,如 article-api.spec.js 已做的"对应 DOM 版"注释范式)→ 接入 playwright.config.api.js → CI 跑通并产出 51+passed 趋势;DOM 级 spec 加 @smoke 跳过标签或移入 tests/e2e/blocked/ 目录并文档说明。

P2 —— DOM 级 spec 大量"恒真断言 / 吞错",即便能跑也无效

  • ① 问题描述:16 个 DOM spec 含 expect(true).toBeTruthy() 共 70+ 处;ai-plan-task-flow(14)、dan-report-flow(10)、flora-microbiome-flow(23) 用 .catch(()=>false) 吞掉元素缺失后接 expect(true),使"页面元素不存在"也判定通过——用例名声称验证行为,实则零校验。
  • ② 测试 bug 点:ai-plan-task-flow.spec.js:92,137,161,193,230,266;dan-report-flow.spec.js(12 处);flora-microbiome-flow.spec.js(14 处);consignee-management.spec.js(7 处);activity-registration.spec.js 场景 5。
  • ③ 最优修改方案:删除尾部 expect(true);将"元素是否存在"改为对业务结果的硬断言(如 AI 回复文本内容非空且非错误提示、订单状态变更、任务进度写入)。对确实依赖前端渲染的步骤,用 test.skip 显式跳过并注释原因,不要用 expect(true) 伪装通过。
  • ④ 修改目的:消除"假绿",使 E2E 真正具备回归防护价值;避免把未验证行为误报为已覆盖。
  • ⑤ 闭环方式:全局 grep -n "expect(true)" tests/e2e 批量清单 → 逐文件改写 → 配合 P1 的 API 级重写逐步退役脆弱 DOM 断言;CI 增加"断言有效性检查"(禁止 expect(true)/expect(false))。

P3 —— 断言停留在"元素可见",未校验数据正确性

  • ① 问题描述:admin-panel.spec.js 场景 1–4 仅断言 .el-table/.el-card 可见(行 130/140/150/160),注释写"期望返回分页列表"却从不校验列表数据;activity-registration.spec.js 场景 1–3 同样仅断言 .el-table 可见。
  • ② 测试 bug 点:admin-panel.spec.js:130,140,150,160;activity-registration.spec.js:51,58,65。
  • ③ 最优修改方案:在 API 级重写(P1)中改为校验 r.data.records.length>0、关键字段存在、状态枚举合法;DOM 版若保留,则断言表格行数 > 0 且首行字段匹配。
  • ④ 修改目的:从"页面渲染了"升级到"业务数据正确",提升验收置信度。
  • ⑤ 闭环方式:随 P1 API 级重写一并落地;以 energy-api.spec.js 的 Array.isArray(r.data.records) 为范式。

P4 —— ensureLoggedIn 多选择器回退会误填字段,登录断言脆弱

  • ① 问题描述:admin-panel.spec.js:24-119 的 ensureLoggedIn 用 allInputs.first().fill('admin') / nth(1).fill('admin123') 按位置兜底填账号密码,若实际表单字段顺序/数量变化会填错;且 page.screenshot 作为副作用耦合调试。
  • ② 测试 bug 点:admin-panel.spec.js:68-89(兜底填值)、35(networkidle 等待)。
  • ③ 最优修改方案:优先用稳定语义选择器(如 input[name="username"] / placeholder 匹配,文件已有列表但兜底逻辑危险);移除位置兜底或仅在"恰好 2 个 input"时启用;登录成功以"出现可识别的后台元素 + 持有有效 cookie/token"为硬断言。
  • ④ 修改目的:降低因 DOM 微调导致的误登/误过,提升登录步骤稳定性。
  • ⑤ 闭环方式:改写 ensureLoggedIn → 在本地 cfc-web dev 环境验证一次通过 → 固化。

P5 —— 调试残留:out += 未声明变量

  • ① 问题描述:activity-registration.spec.js:110 出现 out += '[INFO] Activity approve button visible\n';,out 全程未声明(sloppy 模式变为全局赋值),属废弃调试代码,易误导阅读、且在严格模式/打包下抛错。
  • ② 测试 bug 点:activity-registration.spec.js:110。
  • ③ 最优修改方案:删除该行;若需日志用 console.log 或测试框架的 test.info()。
  • ④ 修改目的:清理死代码,避免歧义与潜在运行时错误。
  • ⑤ 闭环方式:直接删除该行(属测试 bug 修复,无行为影响)。

P6 —— 验收 UAT 缺失(自动化 + 文档化均缺)

  • ① 问题描述:全仓无自动化 UAT 套件,也无文档化 UAT 计划;业务验收当前仅靠开发自测/人工点检(从 E2E-TEST-REPORT.md 的"需验证"状态推断),无正式验收闸门。
  • ② 测试 bug 点:无文件(缺口本身即问题);检索 uat/acceptance/验收 0 有效命中。
  • ③ 最优修改方案(补齐优先级,高):
    1. P0(最高):把 tests/e2e/api/* 扩展为"业务验收级"API 套件,覆盖每个核心域的 happy-path + 关键异常(已具雏形,投入小、收益大、可进 CI)。
    2. P1:编写《UAT 验收清单》(Markdown),按角色/里程碑列出人工验收步骤与通过标准,作为发版闸门。
    3. P2:引入轻量 BDD?——不建议强行引入 Cucumber;当前 API 级 spec 的"场景注释"已接近可执行规格,优先把 API 级用例写清楚即可,BDD 工具链收益低于迁移成本。
  • ④ 修改目的:建立"发版前可量化验收"的机制,弥补纯开发自测的盲区。
  • ⑤ 闭环方式:API 级验收套件进 CI 红线 → UAT 清单纳入发布流程 → 每次发版 checklist 勾选。

P7 —— BDD 规格缺失(已知、可接受)

  • ① 问题描述:0 个 .feature,无 Cucumber/Gherkin/behave。属团队既定事实(背景已核实"无 BDD")。
  • ② 测试 bug 点:无(结构性缺口)。
  • ③ 最优修改方案:不补齐 BDD 工具链;以 API 级 spec 的可读"场景注释"(如 ai-plan-task-flow.spec.js 头部 Milestone 注释、article-api.spec.js 的契约来源注释)作为"可执行规格"替代。
  • ④ 修改目的:避免无收益的工具迁移,聚焦真正缺的验收覆盖。
  • ⑤ 闭环方式:在测试文档中声明"以 API 级 spec + 场景注释作为事实规格",关闭 BDD 议题。

五、执行实测结果(含 CFC-ENV-001 影响面)

本人未执行任何测试(离线 + 禁止联网,且 CFC-ENV-001 下 DOM 型不可跑)。以下为仓库既有记录:

套件 状态 来源
API 级 E2E(tests/e2e/api/* via playwright.config.api.js) 51 passed / 2 failed / 5 skipped(既有执行) playwright_smoke_report.md、playwright_smoke.log
DOM 级 E2E(47 顶层 + 13 roles + unit/games) 未实测:CFC-ENV-001 阻断(线上无 SPA),本机 Chromium 亦未安装 E2E-RESULTS.md、E2E-TEST-STATUS.md
Python e2e_complete_test.py 未实测(需联网 cfc.iwintrue.com:80,离线未跑);结构为 API 级软断言 本域只读审查
ops_interface_smoke.py 既有记录称 api 层 51/2/5(与上方 API 级同源/同口径) 团队背景说明

CFC-ENV-001 影响面(明确为"环境阻塞而非用例缺失")

  • 受影响的:全部 DOM/浏览器型 E2E(61 个 spec)→ 线上零可执行,本地需自建前端。
  • 不受影响的:全部 API 级用例(tests/e2e/api/* 7 + tests/integration/* 2 + e2e_complete_test.py + ops_interface_smoke.py)→ 直连后端 REST,与前端部署解耦,是 CFC-ENV-001 下唯一健康通道。
  • 结论:不要将"DOM E2E 全红/超时"误判为测试缺失或后端故障,根因是前端未部署这一环境约束。

六、E2E 受 CFC-ENV-001 阻塞的应对策略(汇总)

  1. 把端到端验证重心从 DOM 转到 API 级:以 tests/e2e/api/* 为范式,业务流全部用 request fixture 重写,进 CI 红线。
  2. DOM 级 spec 显式降级:加 @smoke/跳过标签或归入 blocked/ 目录并文档说明"需前端环境",避免 CI 误报。
  3. 若要恢复 DOM 级价值:CI 增加"前端构建+静态托管"步骤,或用本地 dev server 做预发回归,而非依赖线上域名。
  4. 清理假绿:P2/P3/P4/P5 必须先行,否则即便前端就绪,现有断言也无法提供真实防护。

七、UAT / BDD 缺失补齐优先级(汇总)

  • P0(最高,立即做):扩 tests/e2e/api/* 为业务验收级 API 套件(happy-path + 关键异常),进 CI。
  • P1(发版闸门):编写《UAT 人工验收清单》Markdown,纳入每次发版 checklist。
  • P2(可选/不建议):BDD 工具链——不引入,以 API 级 spec 的场景注释作为可执行规格替代。

本结论仅覆盖"系统·端到端 / 验收 UAT / BDD 规格"三域;后端单元测试、覆盖率/变异测试、前端组件测试等由其他域专家负责,本域不越界。