短期的な勝ちは長期的に消えていく

皆さん、できればご自身の最も大きな成果だと思っていた実験を見直してみてください。1年、2年先のダウンストリームのメトリクスを見てみると、思っていたものとは違う結果が出ていることが多いのではないでしょうか。

よくあるのは、短期的なメトリクスで効果があると思われることが多いのですが、1年後を見ると、GMVの増加につながっていないということです。

パーセンテージは、短期的には成果を上げるものの、1年経つと長期的な影響がないと判明する成長実験の割合を指しています。

30から40%くらいのケースでそのような傾向がみられます。

成長ループの大半は、5年から7年以内に意味のある結果を生み出す能力を失っていきます。

OECは「Overall Evaluation Criterion」の略で、A/Bテストで最適化すべき指標を定義するKohavlのフレームワークを指しています。

キーワードは顧客生涯価値です。OECはユーザーの顧客生涯価値を因果的に予測できるように定義する必要があります。