勝つことよりも学ぶことが重要

実験は歴史的にも科学においても勝者と敗者を決めるものではありません。実験は常に仮説駆動型です。重要なのは、何を学んだかということです。

インパクトそのものに焦点を当てようとすると、うまくいかないでしょう。必要な学習要素に集中すれば、着実にインパクトを生み出す道筋が見えてきます。

うまくいったかどうかにこだわらず、「おおよそ80%ぐらいかな」といった感じで進めましょう。大切なのは、なぜ80%なのか、その学びに注目することです。

適切なテストを設計し、明確に失敗したからこそ学べるのです。そうでなければ、直感的に試したものの機能しなかったにもかかわらず、何年も同じことを繰り返してしまうかもしれません。

学習には代価がかかります。分からないことがある時こそ、すべてのオプションに等しくサンプルを割り振るのが当然です。事後的に見れば、ある処理が優れていたということがわかりますが、当時は何を考えていたのか分かりません。なぜ大半のサンプルをコントロール群に割り当てたのでしょうか。