软件质量保障(1)

Software quality, part one

第 11 讲约 5 分钟阅读官方讲义 ↗

让输入可控、结果可见、对错可判定,再寻找有价值的反例。

阅读目标与前置知识3 项目标
  • 为不同测试层次选择验证对象
  • 解释覆盖率无法排除的缺陷
  • 用边界和差分方法构造失败输入

建议先读 第 5 讲第 8 讲

差分测试Fuzzing覆盖率边界测试
本章关联演示全部覆盖,仍然可能出错。

代码可能成功运行却仍违背规格,有些缺陷也只在特定环境和输入下触发。本讲把质量保障当成实验设计。测试质量取决于能否控制触发条件、观察正确的状态,并在发现异常后重复得到它。

一、从缺陷到用户看见的问题

概念 含义 对应选课例子
缺陷(fault) 规格或代码中潜伏的问题 以两个独立步骤完成查容量和占位
错误状态(error) 执行到某个条件后,内部状态偏离要求 两个请求同时读到最后一个可用名额
失效(failure) 系统对外表现出不符合要求的行为 两位学生都收到选课成功的确认

一次成功运行只表明这次没有观察到失效。两次执行即使用相同命令,也可能受配置、文件、服务、时区、随机性和并发顺序影响。要复现问题,需要记录输入和运行条件。断言可以放在约束刚失效的位置,让程序尽早暴露内部错误。

人和模型都会引入小缺陷。把经常遗漏、且可诊断的条件写进检查,比从通过一次的结果推断实现可靠更有效。本讲关注规格与实现之间的差距,用户验收还负责核对规格是否覆盖真实目标。

二、用多层测试回答不同问题

层次 问题 教务系统例子 主要反馈
单元测试 局部函数或模块是否遵循规则? 给定已修课程,资格规则判断是否正确 快,故障范围较窄
集成测试 模块和真实依赖协作时是否正确? 保存选课后,数据库约束能否保证最后名额不重复分配 能触及接口、事务和配置差异
端到端测试 实际入口和整个系统能否共同完成任务? 学生登录、选择课程、提交并在课表看到结果 证据贴近真实使用,运行和定位成本较高
验收测试 结果是否达到使用者和业务方的要求? 确认资格、错误反馈和异常处理符合教学规则 连接规格与真实意图

测试金字塔表达测试分工。可快速控制的规则适合用较多局部测试,真正依赖运行环境和组件组合的问题要保留集成与端到端验证。测试比例由系统而定。只测底层规则可能错过完整流程,只走完整流程又难定位失败。

黑盒测试从规格选输入,例如等价类、零值、上限前后和权限差异。白盒测试从实现寻找路径,例如异常处理是否被触发、条件分支是否执行。覆盖率反映经过了哪些路径,断言负责判断结果是否正确。可以结合两种视角给路径设计真正有意义的观察。

三、让程序能控制、能看到、能判定

一条测试至少要说明输入、环境、观察点与期望结果。讲义的游戏案例展示架构怎样改变测试成本。把游戏逻辑组织成「旧状态和动作 → 新状态」,测试射击后弹药减少时,可以直接输入可预期的状态和动作。图形渲染和输入设备另设较少的集成场景。

难控制的因素 可设计的边界 验收时看什么
真实时间 传入可控制的时钟 冷却恰好到期前后结果是否不同
随机性 明确随机数来源和种子 给定同一输入和序列能否重放
网络重试 使用可模拟的服务与稳定操作标识 请求已生效但响应丢失后是否重复写入
用户操作顺序 以状态转换或操作序列表示 空弹匣、连按、失效后的重试在哪里被处理
组件间契约 接口与错误语义可单独观察 失败是调用方式、契约理解还是组件内部问题

局部函数的确定性来自显式输入和可控依赖。真实环境仍需要端到端测试。合理结构能用较低成本构造多数失败条件,再把高成本验证留给必须穿过真实环境的路径。

四、差分测试提供另一个观察办法

NEMU 模拟处理器时,等整个程序的最终画面异常才开始排查,错误可能已发生很久。差分测试让待测实现和参考实现从相同初态处理共同输入,在可比较的执行边界核对寄存器或其他体系结构状态,尽量在第一次出现分歧时停止。

  1. 保存共同初始状态、输入和比较范围。
  2. 按统一边界推进待测与参考实现。
  3. 找到第一次分歧,记录前序状态、触发动作和两侧结果。
  4. 回到规格确定哪边的行为有问题,保留最小复现。

讲义将它联系到香山的处理器验证。长时间才出现的差异可以由持续比较捕获。参考实现也可能有缺陷,两份实现一致是有用证据,是否正确还受共享假设和所比状态影响。差分结果最适合定位可疑边界,再用原始规格解释。

五、模糊测试负责寻找有价值的输入

输入空间可能包括文件内容、参数和很长的操作序列。全随机生成容易在浅层格式检查就被拒绝。覆盖引导的模糊测试从能够进入程序的种子开始,变异字段或组合操作。若输入触及新的路径,把它保留下来继续探索。

以文件解析器为例,先选一份结构有效的短文件。保持文件头有效,分别扰动长度、类型和数据区,再观察覆盖、崩溃、超时、断言或结果分歧。覆盖涨了说明探索推进。崩溃或分歧仍需分析是否违反规格。可以把模糊测试与差分测试组合,用前者找输入,用后者给出异常信号。

收到失败样本以后的工程工作包括保存种子、环境和执行日志,尽量减少无关字段,重复运行确认稳定性,再补充回归测试。偶发异常只有能被追踪,才会成为以后可用的证据。

六、把物理故障也做成反复可触发的实验

讲义最后的 SD 卡装置把手工动作交给软件控制。测试可以反复插拔并观察系统响应,也能安排不同时间点,例如读卡中途拔出、失败后重新插入。系统日志、状态和数据完整性需要与装置实际操作时间关联。这个思路可以迁移到电源切换、USB 断连和网络故障注入。

综合练习

为一个简单文件导入器做测试方案。先写正常格式、边界和重复输入的规格,再设立解析单元测试、实际文件集成测试和一次完整导入验收。找一个可独立比较的实现或属性,设计变异输入与失败日志。写出一个测试可能看到的内部异常,以及一个用户会实际遇到的失效。

第 11 讲官方讲义

停一下,解释给自己听。

两个分支都测试过,为什么金额 10000 仍然会出错?

展开答案要点

0 与 20000 能覆盖两个分支,却没有区分 > 和 >= 的边界语义。10000 是针对这一规格差异构造的反例。

为这次阅读留下一个标记。

已读由你决定,不代表自动评估掌握程度。

学习记录,留在这里。

阅读位置、已读章节和实验清单保存在当前浏览器。更换浏览器或清理站点数据后,这些记录不会同步。

0 / 12 讲已标记为已读

Search the course
输入关键词,或从下方开始。
试试 暂存区、CQRS、不变量Esc 关闭 · Tab 选择结果