Tame Flaky Tests in CI
Tame Flaky Tests in CI — Chinese original prompt
CI 里有 [数量] 个用例偶发失败,重跑就过。请给治理方案:1)如何判定是 flaky 而不是真 bug(重跑统计、失败模式分类);2)常见成因(时间、随机数、共享状态、网络、并发、时区)各自的识别信号;3)修复优先级怎么排;4)暂时修不了时的隔离方式,如何防止被遗忘;5)自动识别 flaky 用例的机制设计。不要用加重试当最终方案。
Site original
Chinese original
How to use
全局重试会掩盖真 bug,重试次数要计入指标并定期看。