Contagem básica é a técnica analítica mais poderosa em ciência de dados porque é tão simples e é um pouco subestimada em muitos casos.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
Arte → Senso Analítico
Contagem básica é a técnica analítica mais poderosa em ciência de dados porque é tão simples e é um pouco subestimada em muitos casos.
Sinal, não ruído. Então, tipicamente, sempre que contrato pessoas, quero contratar pessoas inteligentes e meio que deixá-las fazer o trabalho. Mas a coisa mais importante em que quero me concentrar é qual é o seu processo de pensamento quando se trata de dados?
"Antes" se refere a abordagens tradicionais de ciência de dados, e "a confusão" se refere ao debate sobre se os produtos de IA precisam de métodos de avaliação especializados versus análise de dados padrão.
Esta é a mesma ciência de dados de antes, e acho que é isso que está causando a confusão, 'Ei, precisamos do pensamento da ciência de dados' e o produto de IA é útil ter esse pensamento em produtos de IA, como é em qualquer produto, essa é a minha visão sobre isso.
"Este acordo" se refere a medir com que frequência um sistema de juiz de IA concorda com avaliadores humanos ao avaliar as saídas do modelo de IA.
Muitas pessoas vão direto para esse acordo. Eles dizem: 'Ok, meu juiz concorda com o humano em algum percentual do tempo.' Isso parece atraente, mas é uma métrica muito perigosa a ser usada, porque muitas vezes os erros acontecem apenas na cauda longa e não acontecem com tanta frequência.