深度指南
生产缺陷成本倍增模拟器：为什么越晚发现的缺陷代价越高
行业管理层分析
每个团队都知道，晚发现的缺陷代价高昂。不那么显而易见的是，到底高多少，钱花到了哪里。在写代码时发现的缺陷，对一个人来说只是几分钟的工作。同一个缺陷在测试中发现，则需要复现、建工单、重新构建，以及第二轮检查。在生产环境中，它需要一次事故、一次紧急修复、一次打破常规节奏的发布、一条给客户的通知，往往还有赔偿。成本在每个阶段都会增长一个数量级，而这个倍增系数就是预防划算的原因。
这个问题的结构，是一个有漏洞的漏斗。缺陷每个月都会进入。大部分在设计、开发或测试阶段被发现，每个阶段的成本都在上升。其中一部分逃逸了。逃逸率是关键变量，因为它决定有多少缺陷要付出生产环境的代价，而这个代价不止工程工时：还包括客户退款、支持时间、专注力的损失和客户流失。一个测试很强但缺陷数量很高的团队，损失仍可能超过缺陷更少但测试薄弱的团队。
多米诺模型分五步展开。缺陷数和逃逸率给出到达客户的缺陷数量。每个缺陷都有一份全部成本，其中包括紧急修复的工时、被打断的工作、值班、赔偿和客户流失。除以开发阶段修复的成本，就成为倍增系数。放到整个月来看，它构成了对收入的缺陷负担，扣除其他业务成本后剩下的就是利润。逃逸率或受影响客户数的小幅上升，即使工程投入看起来没有变化，也可能让第二个和第三个方框变红。
冰山把人们追踪的工程工时与没有追踪的成本区分开来。水面之上是发布前修复缺陷所花的工时，以及在生产环境中紧急修复所花的工时。水面之下是所有被从计划工作中拉走的人所承担的上下文切换代价、事故响应和值班补贴、受影响客户的退款、赔偿和支持，以及这些客户的预期流失。合在一起，它们往往超过看得见的工时。请用模拟器找出让您的月份转负的逃逸率或缺陷数量。
公式与方法论蓝图
该模型按月计算。缺陷分为逃逸的和被发现的两类。被发现的缺陷在设计、开发或测试阶段修复，其相对成本分别为开发阶段修复成本的 0.2 倍、1 倍和 4 倍，占比分别为 15%、50% 和 35%。逃逸的缺陷按工时计相当于开发阶段修复的十五倍，另加中断代价、事故响应，以及按每位客户计的赔偿和流失成本。净结果是扣除其他业务成本后剩余的收入份额，再减去缺陷的成本。
- 逃逸与被发现
- E = 缺陷数 × 逃逸率；C = 缺陷数 − E
- 到达客户的缺陷数量，以及更早被发现的缺陷数量。
- 发布前成本
- Pre = C × (0.15×0.2 + 0.5×1 + 0.35×4) × 修复工时 × 时薪
- 在设计、开发和测试阶段按各自相对成本系数修复的缺陷。
- 生产环境修复
- Prod = E × 15 × 修复工时 × 时薪 × (1 + 0.3 中断)
- 紧急修复的工时，加上被拉离计划工作的人员损失的专注力。
- 客户影响
- Cust = E × 受影响客户数 × (8 美元赔偿 + 4 美元预期流失) + 值班
- 退款、支持、预期损失的客户以及非工作时间的响应。
- 净利润
- 净额 = MRR × (1 − 80%) − Pre − Prod − Cust
- 每月的结果。临界点就是它降到零的位置。
层层传导的弹性
逃逸率和修复工时是弹性最大的输入项，因为生产环境的倍增系数很大，逃逸缺陷数量的小幅变化会被放大。每月缺陷数决定每个阶段的规模。受影响客户数在危机中非常陡峭，因为其成本按每个逃逸缺陷计入。时薪是线性的，而收入决定了您所保护的利润空间。
三个真实案例研究
白手起家的初创者
发布谨慎的小团队
一款经常性收入为六万的小产品，一个月有十二个缺陷。少数缺陷逃逸，每个只有十五位客户注意到，修复只需两小时。加载这个案例，可以看到即使没有大量测试投入，适度的缺陷数量也是可以管理的。
处于扩张期的中型市场企业
测试扎实的大型产品
一款经常性收入为一百五十万的产品，每月出现三百个缺陷，但借助分阶段发布将逃逸率控制在百分之八。工程师成本高昂，每个逃逸缺陷有一百五十位客户注意到。加载这个案例，可以看到测试纪律如何在规模化时保护利润率。
黑天鹅危机
测试薄弱、快速发布的团队
一个团队凭着单薄的测试快速交付：每月一百个缺陷，百分之三十逃逸，修复需四小时，每个缺陷有二百五十位客户注意到。紧急修复和赔偿不断堆积。加载这个案例，可以看到生产环境倍增系数和客户成本抹掉了整个月的收益。
行业基准矩阵
| 指标 | 危险区 | 行业平均 | 前 10% 的佼佼者 |
|---|---|---|---|
| 逃逸到生产环境的比例 | 高于 25% | 8–15% | 低于 5% |
| 生产环境修复成本相对开发阶段修复成本 | 高于 40 倍 | 10–25 倍 | 低于 10 倍 |
| 收入中用于缺陷的比例 | 高于 15% | 5–10% | 低于 4% |
| 生产缺陷之后的恢复时间 | 超过 1 天 | 2–6 小时 | 不到 1 小时 |
| 每次事故影响的客户数 | 高于客户群的 25% | 5–10% | 借助金丝雀发布低于 2% |
变量与杠杆
每月发现或产生的缺陷数
一个月内进入您流程的缺陷总数，无论是否被发现，从需求阶段一直到生产环境。
杠杆: 通过评审、清晰的需求和类型化接口来预防缺陷，因为最便宜的缺陷就是从未写出来的缺陷。
逃逸到生产环境的比例
通过所有检查并到达客户手中的缺陷占比。
杠杆: 提高自动化测试覆盖率并采用分阶段发布，因为每一个逃逸的缺陷，代价都高出许多倍。
开发阶段修复一个缺陷所需工时
在编码时发现缺陷的情况下，诊断并修复它的平均工程工时。其他阶段都是它的倍数。
杠杆: 改进日志、测试数据和代码归属，让缺陷在每个阶段都能更快地被诊断。
每工程工时的综合成本
修复缺陷的人员每小时的薪资加上间接费用。
杠杆: 在争取测试和工具投入时，请核算工程师的真实综合成本；这会让预防显得很便宜。
每个逃逸缺陷影响的客户数
在缺陷被修复之前注意到它的客户平均数量。
杠杆: 使用金丝雀发布和功能开关，让有问题的变更先到达一小部分用户，然后再推给所有人。
月度经常性收入
产品的经常性收入。其他业务成本假定为其 80%。
杠杆: 通过留存工作和事故沟通来保护收入；可靠性是客户所付费用的一部分。
如何使用本模拟器
- 1根据缺陷跟踪系统，统计每月缺陷数以及到达客户手中的比例。
- 2估算开发阶段的平均修复工时以及工程师的综合时薪。
- 3输入一个典型的逃逸缺陷影响的客户数和您的经常性收入。
- 4点击“找出我的临界点”，查看哪个输入项最先把利润推到零。
- 5在 24 个月内，比较当前流程与测试左移计划。
应避免的错误
- 只算工程工时。退款、支持负担、专注力损失和客户流失，往往超过修复缺陷所花的时间。
- 用发现的缺陷数来衡量质量。发现的缺陷多可能是健康的；重要的是有多少缺陷逃逸。
- 把每个缺陷同等看待。界面瑕疵与支付失败处于两个极端，所以请按严重程度分类。
- 为了更快发布而削减测试时间。节省是即时且可见的，而更大的成本则来得更晚，并分散在其他团队身上。
常见问题
成本倍增系数是怎么来的？
来自后续每个阶段所需的额外步骤：复现、协调、发布工作、沟通和对客户的影响。本模型中的系数是偏保守的通用假设，您可以通过输入项进行修改。
这些倍增系数是精确的吗？
不是。不同的研究依据团队和产品的不同，给出的比例差异很大。请用模型来比较您自己的情景，而不是用它来声称一个精确的数字。
测试越多就一定越值得吗？
只有在节省下来的生产环境成本超过测试成本的范围内才是如此。替代情景展示了测试左移计划的效果，包括其部署成本。
为什么受影响的客户数如此重要？
因为赔偿、支持和流失会随着注意到缺陷的人数而增长。分阶段发布和功能开关可以缩小这个数字。
如何找到临界点？
点击“找出我的临界点”。工具会把每个输入项推向更差的一端，并报告月利润降到零时的数值。
这个结果有多准确？
这是带有明确假设的教学模型，不构成工程或财务建议。请用您自己的事故和工单数据替换输入项。
这是一个带有明确假设的教育性规划模型，不构成财务、税务或法律建议。请将输入替换为您自己的数据，并就重要决策咨询合格的专业人士。