最高の実験は予想外の結果をもたらします。

事前の推定結果と実際の結果の差が大きいと、驚くべき実験だと言えます。つまり、両者の差の絶対値が大きいことが重要です。

悲観的過ぎると、実験の意外な結果に気づけないかもしれません。嫌々ながらも実験を行うと、有望な発見も見逃してしまうでしょう。

実験やユーザー調査の結果を想像してみましょう。その結果を予想できる PM は、より効率的に意思決定できます。予想通りの結果なら、あえて実験する必要はありません。

Twyman の法則によると、興味深い数値や異常値は通常間違っています。通常の変動幅を大幅に超える結果は、信用するのは危険です。

統計的有意性を示すP値を1から引くと、その治療が対照群よりも良い確率が得られます。

多くの人は、P値を1から引いた値を、自分の施策が対照群より良いという確率だと考えていますが、それは間違いです。

Airbnbでは成功率が8%しかない中で、P値0.05未満の統計的有意性が得られれば、非常に意味のある結果と言えます。

Airbnb では成功率が8%しかありませんが、P値が0.05以下の統計的有意差がある場合でも、26%もの確率で偽陽性の結果になる可能性があります。