Teste tudo, mas teste a versão certa

Eu sou muito claro que sou um grande fã de testar tudo, o que significa que qualquer mudança de código que você faça, qualquer recurso que você introduza, tem que estar em algum experimento. Porque de novo, eu observei esse tipo de resultado surpreendente de que mesmo pequenos ajustes de bug, mesmo pequenas mudanças, às vezes podem ter um impacto surpreendente e inesperado.

Você nunca quer se afastar de um experimento ou teste e dizer: 'Bem, talvez a execução tenha sido ruim porque leva muita energia para mobilizar uma equipe para testar algo', e você realmente quer se certificar de que seus testes realmente forneçam um sinal.

Eu diria, teste tudo, nós executamos nos últimos quatro anos mais de 600 experimentos nos streaks, então a cada outro dia.

Encontre um lugar, encontre uma equipe onde a experimentação seja fácil de executar. Não vá com a equipe que lança a cada seis meses, ou o Office costumava lançar a cada três anos. Vá com a equipe que lança com frequência.

Eu não deixei a equipe executar esse experimento por seis meses para que nos concentrássemos em frutas de baixa pendência. Nós executamos este experimento muito simples que era tipo: 'Você se inscreve e então você ganha um emblema'. E, claro, com o retrospecto, não levou a nenhum resultado, porque ninguém se orgulha de se inscrever.