Lenny DistilledExécution → Compromis techniques
Il y a quelque chose de fondamentalement intéressant ici qui rend la vie amusante. Si le modèle a raison 60% du temps, vous construisez un produit très différent que si le modèle a raison 95% du temps ou 99,5% du temps.
La qualité de votre apprentissage automatique, si vous allez avoir un seul bouton de lecture, doit être littéralement de 100% ou zéro erreur de prédiction, et ce n'est jamais le cas. Donc disons que vous avez un coup sur cinq, quatre sur cinq sont faits, alors vous avez besoin d'une interface utilisateur qui montre probablement au moins cinq choses en même temps à l'écran. Donc vous avez un sur cinq de quelque chose de pertinent à l'écran.
Vous demandez au juge de faire une seule chose, d'évaluer un seul mode d'échec, donc la portée du problème est très limitée et la sortie de ce juge LLM est réussite ou échec. C'est donc une chose très étroitement délimitée que les juges LLM sont très capables de faire de manière très fiable.