Lenny Distilled

Comptez d'abord, complexifiez plus tard

Pratique → Sens analytique

Définissant
Le comptage de base est la technique d'analyse la plus puissante en science des données car elle est si simple et souvent sous-estimée.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
En faveur
Privilégier le signal plutôt que le bruit. Donc, quand j'engage des gens, je veux engager des personnes intelligentes et les laisser faire. Mais la chose la plus importante sur laquelle je veux me concentrer, c'est leur façon de réfléchir aux données.
Timothy DavisThe ultimate guide to paid growth
En faveur

« Avant » fait référence aux approches traditionnelles de la science des données, et « la confusion » fait référence au débat sur la question de savoir si les produits IA nécessitent des méthodes d'évaluation spécialisées ou des analyses de données standard.

C'est la même science des données qu'avant, et je pense que c'est ce qui crée la confusion, 'Ah, on a besoin de la réflexion en science des données', et les produits d'IA bénéficient d'avoir cette réflexion, comme n'importe quel produit, selon moi.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Nuancé

«Cet accord» fait référence à la mesure de la fréquence à laquelle un système de juge IA est d'accord avec les évaluateurs humains lors de l'évaluation des résultats du modèle IA.

Beaucoup de gens vont directement à cet accord. Ils disent, 'D'accord, mon juge est d'accord avec l'humain à un certain pourcentage du temps.' Cela semble attrayant, mais c'est une métrique très dangereuse à utiliser, car bien souvent, les erreurs ne se produisent que sur la longue traîne et pas aussi fréquemment.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders

The Missing Stamp

Every episode of Lenny's Podcast, distilled into the insights that matter and the quotes that make them stick.

LENNY WAS HERE__STAMP_DATE__

Lenny, if you're reading this, the stamp's ready when you are. 🧡🔥