Lenny DistilledUmsetzung → Technische Abwägungen
Es gibt etwas fundamental Interessantes daran, was das Leben hier so interessant macht. Wenn das Modell zu 60% richtig liegt, bauen Sie ein ganz anderes Produkt als wenn das Modell zu 95% oder gar 99,5% richtig liegt.
Die Qualität Ihres maschinellen Lernens, wenn Sie nur eine einzige Wiedergabetaste haben, muss buchstäblich 100% oder null Vorhersagefehler betragen, und das ist nie der Fall. Sagen wir also, Sie haben einen Treffer von einem zu fünf, vier von fünf Dingen sind erledigt, dann brauchen Sie wahrscheinlich eine Benutzeroberfläche, die mindestens fünf Dinge gleichzeitig auf dem Bildschirm anzeigt. Dann haben Sie einen von fünf relevanten Elementen auf dem Bildschirm.
Sie bitten den Richter, eine Sache zu tun, einen Fehler zu bewerten, so dass der Problembereich sehr klein ist und die Ausgabe dieses LLM-Richters Bestehen oder Durchfallen ist. Es ist also eine sehr, sehr eng begrenzte Sache, die LLM-Richter sehr zuverlässig tun können.