Lenny DistilledArte → Senso de Produto
"Avaliações" (evals) se referem aos sistemas de avaliação usados para testar e medir o desempenho dos modelos de IA em aplicativos de produto.
Para construir ótimos produtos de IA, você precisa ser realmente bom em construir avaliações. É a atividade com maior retorno sobre o investimento em que você pode se envolver.
"Isso" se refere à construção de avaliações (evals) - testes sistemáticos para medir o desempenho e a qualidade do aplicativo de IA.
Todos que fazem isso ficam viciados imediatamente. Quando você está construindo uma aplicação de IA, você simplesmente aprende muito.
"O mesmo processo exato" se refere à análise de erros - revisando sistematicamente as saídas do aplicativo de IA para identificar problemas. "Anotar as coisas" significa rotular exemplos de dados como corretos ou incorretos.
Vista seu chapéu de produto e entre nisso, isso realmente é bom? É aí que está a parte divertida. Você está olhando para os dados. É tipo, ok, você está anotando as coisas. Na verdade, eu acabei de dar uma olhada nos dados de um cliente ontem, o mesmo processo exato. É muito divertido, na verdade.
Vista seu chapéu de produto e entre nisso, isso realmente é bom? É aí que está a parte divertida.