Lenny DistilledExecução → Compensações Técnicas
Há algo intrinsecamente interessante que torna a vida aqui divertida. Se o modelo acertar 60% das vezes, você constrói um produto muito diferente do que se o modelo acertar 95% das vezes ou 99,5% das vezes.
A qualidade do seu machine learning, se você vai ter um único botão de reprodução, precisa ser literalmente 100% ou zero erro de previsão, e esse nunca é o caso. Então, digamos que você tenha um em cada cinco acertos, quatro em cada cinco coisas feitas, então você precisa de uma interface do usuário que provavelmente mostre pelo menos cinco coisas ao mesmo tempo na tela. Assim, você tem um em cada cinco de algo relevante na tela.
Você está pedindo ao juiz para fazer uma coisa, avaliar um modo de falha, então o escopo do problema é muito pequeno e a saída deste juiz de LLM é aprovado ou reprovado. Então, é uma coisa muito, muito estreitamente delimitada que os juízes de LLM são muito capazes de fazer de forma muito confiável.