正しいバージョンをテストすることが重要

私は、行うすべてのコードの変更や導入する機能は実験の対象にすべきだと考えている。なぜなら、小さな修正でさえ予想外の影響を及ぼすことがあることを観察してきたからだ。

実験や検証から抜け出す際に、「実行が悪かったのかもしれない」と思いたくない。チームを動員してテストするのは大変なエネルギーを必要とするので、確実に有意義な結果が得られるようにしたい。

過去4年間で600以上の実験を行っており、ほぼ毎日のように実験を行っている。

頻繁にリリースするチームで実験を行うのが良い。3年に1度リリースするようなチームでは実験は難しい。

6か月もの間実験を行わせるのは賢明ではない。簡単に成果が上がりそうなところから始めるべきだ。サインアップしただけでバッジがもらえるという単純な実験でも、結局成果につながらなかった。