AI / Analysis & Decision Making
Peeking at Experiment Data
Peeking at Experiment Data — Chinese original prompt
实验跑到第 [天数] 天,我看了一次数据就决定继续或停止。请解释这种中途查看会怎样抬高假阳性率,说明我现在的结论有多大可信度;给出一个仍能补救的方案,例如固定样本量、序贯检验或延长观察,并写清以后实验开始前必须先定好的三件事。
Site original
Chinese original
How to use
看一两次问题不大,反复看到显著就停才是灾难。