Grundlegendes Zählen ist die mächtigste analytische Technik in der Datenwissenschaft, da sie so einfach ist und in vielen Fällen unterschätzt wird.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Handwerk → Analytisches Verständnis
Grundlegendes Zählen ist die mächtigste analytische Technik in der Datenwissenschaft, da sie so einfach ist und in vielen Fällen unterschätzt wird.
Signal, nicht Rauschen. Wenn ich also Leute einstelle, will ich kluge Leute einstellen und ihnen quasi freie Hand lassen. Aber worauf ich mich am meisten konzentrieren will, ist Ihr Denkprozess, wenn es um Daten geht?
"Vorher" bezieht sich auf traditionelle Data-Science-Ansätze, und "die Verwirrung" bezieht sich auf die Debatte darüber, ob KI-Produkte spezialisierte Bewertungsmethoden oder Standard-Datenanalyse benötigen.
Das ist dieselbe Datenwissenschaft wie zuvor, und ich denke, das ist es, was die Verwirrung verursacht: 'Hey, wir brauchen Datenwissenschafts-Denken', und meiner Meinung nach ist es hilfreich, dieses Denken in KI-Produkten zu haben, wie es in jedem Produkt der Fall ist.
"Diese Vereinbarung" bezieht sich darauf, wie oft ein KI-Richtersystem mit menschlichen Bewertern übereinstimmt, wenn sie KI-Modellausgaben beurteilen.
Viele Leute gehen direkt zu dieser Vereinbarung über. Sie sagen: 'Okay, mein Richter stimmt mit dem Menschen in einem bestimmten Prozentsatz überein.' Das klingt verlockend, aber es ist eine sehr gefährliche Metrik, die man verwenden kann, denn oft passieren Fehler nur im langen Schwanz und treten nicht so häufig auf.