ノイズか、シグナルか
まず変動幅を見て、それから傾向を語る
私は [指標] が最近 [変化] したのを見て、[傾向] だと判断しています。答えてほしいのは 1 つだけ：これはノイズかシグナルかです。1）この指標の平常時の変動幅はどれくらいで、今回の変化は標準偏差いくつ分か；2）データは何期分あり、傾向を判断するのに足りるか；3）一時的な出来事、集計口径の変更、季節性が効いていないか；4）ノイズだとしたら、通常どれくらいで自然に戻るか；5）シグナルと確認するには、最低あと何の証拠がいつ必要か。最後に「今の時点で言えること」を 1 文で示してください。
使い方
直近 12 期の生の数字を一緒に貼ってください。「20% 上がった」だけでは、平常の変動かどうか判断できません。
向いている場面
- 週次会議で上向きの KPI グラフを出して増額を求める人がいて、その線が単なる揺れかどうかを先に確かめたいとき。
- 担当指標が 2 週間続けて落ち、チームがもう戦略を変え始めている。今変えるのが過剰反応かどうかを見極めたいとき。
向いていない場面
- 変化幅が過去の変動幅を大きく超え、仕組みの説明もついているとき。ここは要因分析の出番で、データを疑い続ける場面ではありません。
- 1 期分しかデータがなく、基準線もないとき。どんな判定も推測にすぎないので、まずデータを集めてください。
例
入力
翌日リテンションが 31% から 28.4% に落ち、2 週間そのままです。同じ時期に新しいオンボーディングを出しました。DAU は 4.2 万で、サンプルは小さくありません。
得られるもの
まず変動幅を見ると、この製品の過去 12 週間の翌日リテンションの標準偏差は約 0.8 ポイントで、2.6 ポイントの下落は 3 シグマを超えており、ノイズでは説明できません。ただしオンボーディングのせいだと決めるには、同じ 2 週間にストアの特集枠が終了したという一時的な出来事を除く必要があり、新規獲得の構成変化が主因かもしれません。現時点で言えるのは「変化は本物」までで、「オンボーディングが原因」とまでは言えません。あと 1 週間、新旧フローで分けてリテンションを見れば決着します。
よくある誤用
- 先送りの道具にすること。数字が悪くなるたびに「ノイズかどうかもう少し見よう」と言い、シグナルと確認したころには調整の好機を 2 か月逃しています。
- 数字が悪いときだけ使い、良いときは自分の変更の手柄にする。同じ基準を両方向に適用する必要があります。
こう変えると効く
- 「ノイズか」を「ノイズなら遅くともいつ自然に戻るか」に変え、観察の締め切り日を決めます。
- 「この変化を説明できる仕組みを 3 つ挙げ、それぞれを切り分ける観察を 1 つずつ」を足す。判定から要因分析に上がります。