Lenny Distilled

Zähle zuerst, verkompliziere später

Handwerk → Analytisches Verständnis

Definierend
Grundlegendes Zählen ist die mächtigste analytische Technik in der Datenwissenschaft, da sie so einfach ist und in vielen Fällen unterschätzt wird.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Unterstützend
Signal, nicht Rauschen. Wenn ich also Leute einstelle, will ich kluge Leute einstellen und ihnen quasi freie Hand lassen. Aber worauf ich mich am meisten konzentrieren will, ist Ihr Denkprozess, wenn es um Daten geht?
Timothy DavisThe ultimate guide to paid growth
Unterstützend

"Vorher" bezieht sich auf traditionelle Data-Science-Ansätze, und "die Verwirrung" bezieht sich auf die Debatte darüber, ob KI-Produkte spezialisierte Bewertungsmethoden oder Standard-Datenanalyse benötigen.

Das ist dieselbe Datenwissenschaft wie zuvor, und ich denke, das ist es, was die Verwirrung verursacht: 'Hey, wir brauchen Datenwissenschafts-Denken', und meiner Meinung nach ist es hilfreich, dieses Denken in KI-Produkten zu haben, wie es in jedem Produkt der Fall ist.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Differenziert

"Diese Vereinbarung" bezieht sich darauf, wie oft ein KI-Richtersystem mit menschlichen Bewertern übereinstimmt, wenn sie KI-Modellausgaben beurteilen.

Viele Leute gehen direkt zu dieser Vereinbarung über. Sie sagen: 'Okay, mein Richter stimmt mit dem Menschen in einem bestimmten Prozentsatz überein.' Das klingt verlockend, aber es ist eine sehr gefährliche Metrik, die man verwenden kann, denn oft passieren Fehler nur im langen Schwanz und treten nicht so häufig auf.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders

The Missing Stamp

Every episode of Lenny's Podcast, distilled into the insights that matter and the quotes that make them stick.

LENNY WAS HERE__STAMP_DATE__

Lenny, if you're reading this, the stamp's ready when you are. 🧡🔥