Le comptage de base est la technique d'analyse la plus puissante en science des données car elle est si simple et souvent sous-estimée.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Pratique → Sens analytique
Le comptage de base est la technique d'analyse la plus puissante en science des données car elle est si simple et souvent sous-estimée.
Privilégier le signal plutôt que le bruit. Donc, quand j'engage des gens, je veux engager des personnes intelligentes et les laisser faire. Mais la chose la plus importante sur laquelle je veux me concentrer, c'est leur façon de réfléchir aux données.
« Avant » fait référence aux approches traditionnelles de la science des données, et « la confusion » fait référence au débat sur la question de savoir si les produits IA nécessitent des méthodes d'évaluation spécialisées ou des analyses de données standard.
C'est la même science des données qu'avant, et je pense que c'est ce qui crée la confusion, 'Ah, on a besoin de la réflexion en science des données', et les produits d'IA bénéficient d'avoir cette réflexion, comme n'importe quel produit, selon moi.
«Cet accord» fait référence à la mesure de la fréquence à laquelle un système de juge IA est d'accord avec les évaluateurs humains lors de l'évaluation des résultats du modèle IA.
Beaucoup de gens vont directement à cet accord. Ils disent, 'D'accord, mon juge est d'accord avec l'humain à un certain pourcentage du temps.' Cela semble attrayant, mais c'est une métrique très dangereuse à utiliser, car bien souvent, les erreurs ne se produisent que sur la longue traîne et pas aussi fréquemment.