基本的な数えるということが、データサイエンスでは最も強力な分析手法です。なぜなら、それは非常に単純で、多くの場合過小評価されているからです。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
クラフト → 分析力
基本的な数えるということが、データサイエンスでは最も強力な分析手法です。なぜなら、それは非常に単純で、多くの場合過小評価されているからです。
大切なのはノイズではなく信号です。私は人を雇うときは、頭の良い人を雇い、彼らの邪魔をしないようにします。でも私が最も注目したいのは、データに対してどのような思考プロセスを持っているかです。
「前」は従来のデータサイエンスアプローチを、「混乱」はAIプロダクトの評価方法をめぐる議論を指しています。
これは以前のデータサイエンスと同じものです。そしてそこが混同を引き起こしているのは、'データサイエンスの思考が必要だ'と言われ、AIプロダクトにも役立つと考えられているからだと思います。
「この合意」は、AIジャッジシステムがヒトの評価者と一致する頻度を測ることを指しています。
多くの人が単純に一致率を見がちですが、それは非常に危険な指標です。エラーは長尾に集中することが多く、頻繁に発生しないからです。