软件质量保障(1)
Software quality, part one
让输入可控、结果可见、对错可判定,再寻找有价值的反例。
代码可能成功运行却仍违背规格,有些缺陷也只在特定环境和输入下触发。本讲把质量保障当成实验设计。测试质量取决于能否控制触发条件、观察正确的状态,并在发现异常后重复得到它。
一、从缺陷到用户看见的问题
| 概念 | 含义 | 对应选课例子 |
|---|---|---|
| 缺陷(fault) | 规格或代码中潜伏的问题 | 以两个独立步骤完成查容量和占位 |
| 错误状态(error) | 执行到某个条件后,内部状态偏离要求 | 两个请求同时读到最后一个可用名额 |
| 失效(failure) | 系统对外表现出不符合要求的行为 | 两位学生都收到选课成功的确认 |
一次成功运行只表明这次没有观察到失效。两次执行即使用相同命令,也可能受配置、文件、服务、时区、随机性和并发顺序影响。要复现问题,需要记录输入和运行条件。断言可以放在约束刚失效的位置,让程序尽早暴露内部错误。
人和模型都会引入小缺陷。把经常遗漏、且可诊断的条件写进检查,比从通过一次的结果推断实现可靠更有效。本讲关注规格与实现之间的差距,用户验收还负责核对规格是否覆盖真实目标。
二、用多层测试回答不同问题
| 层次 | 问题 | 教务系统例子 | 主要反馈 |
|---|---|---|---|
| 单元测试 | 局部函数或模块是否遵循规则? | 给定已修课程,资格规则判断是否正确 | 快,故障范围较窄 |
| 集成测试 | 模块和真实依赖协作时是否正确? | 保存选课后,数据库约束能否保证最后名额不重复分配 | 能触及接口、事务和配置差异 |
| 端到端测试 | 实际入口和整个系统能否共同完成任务? | 学生登录、选择课程、提交并在课表看到结果 | 证据贴近真实使用,运行和定位成本较高 |
| 验收测试 | 结果是否达到使用者和业务方的要求? | 确认资格、错误反馈和异常处理符合教学规则 | 连接规格与真实意图 |
测试金字塔表达测试分工。可快速控制的规则适合用较多局部测试,真正依赖运行环境和组件组合的问题要保留集成与端到端验证。测试比例由系统而定。只测底层规则可能错过完整流程,只走完整流程又难定位失败。
黑盒测试从规格选输入,例如等价类、零值、上限前后和权限差异。白盒测试从实现寻找路径,例如异常处理是否被触发、条件分支是否执行。覆盖率反映经过了哪些路径,断言负责判断结果是否正确。可以结合两种视角给路径设计真正有意义的观察。
三、让程序能控制、能看到、能判定
一条测试至少要说明输入、环境、观察点与期望结果。讲义的游戏案例展示架构怎样改变测试成本。把游戏逻辑组织成「旧状态和动作 → 新状态」,测试射击后弹药减少时,可以直接输入可预期的状态和动作。图形渲染和输入设备另设较少的集成场景。
| 难控制的因素 | 可设计的边界 | 验收时看什么 |
|---|---|---|
| 真实时间 | 传入可控制的时钟 | 冷却恰好到期前后结果是否不同 |
| 随机性 | 明确随机数来源和种子 | 给定同一输入和序列能否重放 |
| 网络重试 | 使用可模拟的服务与稳定操作标识 | 请求已生效但响应丢失后是否重复写入 |
| 用户操作顺序 | 以状态转换或操作序列表示 | 空弹匣、连按、失效后的重试在哪里被处理 |
| 组件间契约 | 接口与错误语义可单独观察 | 失败是调用方式、契约理解还是组件内部问题 |
局部函数的确定性来自显式输入和可控依赖。真实环境仍需要端到端测试。合理结构能用较低成本构造多数失败条件,再把高成本验证留给必须穿过真实环境的路径。
四、差分测试提供另一个观察办法
NEMU 模拟处理器时,等整个程序的最终画面异常才开始排查,错误可能已发生很久。差分测试让待测实现和参考实现从相同初态处理共同输入,在可比较的执行边界核对寄存器或其他体系结构状态,尽量在第一次出现分歧时停止。
- 保存共同初始状态、输入和比较范围。
- 按统一边界推进待测与参考实现。
- 找到第一次分歧,记录前序状态、触发动作和两侧结果。
- 回到规格确定哪边的行为有问题,保留最小复现。
讲义将它联系到香山的处理器验证。长时间才出现的差异可以由持续比较捕获。参考实现也可能有缺陷,两份实现一致是有用证据,是否正确还受共享假设和所比状态影响。差分结果最适合定位可疑边界,再用原始规格解释。
五、模糊测试负责寻找有价值的输入
输入空间可能包括文件内容、参数和很长的操作序列。全随机生成容易在浅层格式检查就被拒绝。覆盖引导的模糊测试从能够进入程序的种子开始,变异字段或组合操作。若输入触及新的路径,把它保留下来继续探索。
以文件解析器为例,先选一份结构有效的短文件。保持文件头有效,分别扰动长度、类型和数据区,再观察覆盖、崩溃、超时、断言或结果分歧。覆盖涨了说明探索推进。崩溃或分歧仍需分析是否违反规格。可以把模糊测试与差分测试组合,用前者找输入,用后者给出异常信号。
收到失败样本以后的工程工作包括保存种子、环境和执行日志,尽量减少无关字段,重复运行确认稳定性,再补充回归测试。偶发异常只有能被追踪,才会成为以后可用的证据。
六、把物理故障也做成反复可触发的实验
讲义最后的 SD 卡装置把手工动作交给软件控制。测试可以反复插拔并观察系统响应,也能安排不同时间点,例如读卡中途拔出、失败后重新插入。系统日志、状态和数据完整性需要与装置实际操作时间关联。这个思路可以迁移到电源切换、USB 断连和网络故障注入。
综合练习
为一个简单文件导入器做测试方案。先写正常格式、边界和重复输入的规格,再设立解析单元测试、实际文件集成测试和一次完整导入验收。找一个可独立比较的实现或属性,设计变异输入与失败日志。写出一个测试可能看到的内部异常,以及一个用户会实际遇到的失效。
停一下,解释给自己听。
两个分支都测试过,为什么金额 10000 仍然会出错?
展开答案要点
0 与 20000 能覆盖两个分支,却没有区分 > 和 >= 的边界语义。10000 是针对这一规格差异构造的反例。
已读由你决定,不代表自动评估掌握程度。