集計定義の落とし穴
同じ数字も、定義が変われば別の話になる
私が見た主張はこれです：[結論＋データ]。やることは 1 つだけ：その集計の定義を分解してください。1）指標の分子と分母はそれぞれ何か、本来含めるべきでないものが混ざっていないか；2）時間軸はどう選ばれたか、別の時間軸でも結論は成り立つか；3）サンプルは誰か、誰が除外されているか；4）平均値・中央値・百分率のどれか、別の指標にするとどうなるか；5）生存者バイアス、または分母が縮んだことによる見かけの成長はないか。最後に一文：この数字が最も誤読されやすいのはどの点か。結論の正誤は評価しないこと。
使い方
元データと指標の定義を一緒に貼る。でないと定義を推測するしかない。
向いている場面
- 出来すぎた数字を見たとき（成長 300%、効率 40% 向上）。しかも、もともと傾いている判断をちょうど後押ししてくれる数字である場面。
- ある KPI をチームの評価や対外広報に使う前。集計定義を一度間違えると、以後は全員がその間違った定義に合わせて最適化します。
向いていない場面
- 数字が自分の生データ由来で、分子も分母も自分で計算したとき。もう一度分解しても儀式になるだけです。
- 議論したいのが価値判断（この機能を作るべきか）で、数字はそのうちの 1 行の根拠にすぎないとき。定義を分解すると厳密に見えますが、本当の問いには答えません。
例
入力
登録フローを変えたことで、留存率が 32% から 51% に上がりました。
得られるもの
まず分母が入れ替わっていないかを問うてほしいのです。メール認証を完了した人だけを数える形に変わっていて、認証率が 70% から 45% に落ちていれば、留存は自然に良く見えます。次に、期間の窓を変えても（7 日と 30 日）結論が成り立つか。最後に、最も誤読されやすい読み方——「登録フローが良くなった」が「プロダクトが良くなった」と受け取られる——を一言。
よくある誤用
- 定義の確認を「この数字は偽物だと証明する」に変えてしまうこと。データ改ざんを疑い始めますが、本当の問題は定義は正常で、結論のほうが過剰に読まれている点です。
- 1 つの指標だけ調べて終わること。分子分母は細かく見るのに、その指標と欲しい結果が同じものかは問わない。
こう変えると効く
- 「集計定義を分解して」を「この数字が正しいとして、それが支えられる最大の結論は何か」に変える。上限を先に引き、そこから定義に戻るので、良いデータまで捨てにくくなります。
- 「同じ出所でより保守的な定義を出し、両者の差を説明して」を足す。確認作業が、比較できる 2 つの算出方法になります。