Lenny Distilled

最初は簡潔に、徐々に複雑化していきます。

クラフト → 分析力

定義
基本的な数えるということが、データサイエンスでは最も強力な分析手法です。なぜなら、それは非常に単純で、多くの場合過小評価されているからです。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
支持
大切なのはノイズではなく信号です。私は人を雇うときは、頭の良い人を雇い、彼らの邪魔をしないようにします。でも私が最も注目したいのは、データに対してどのような思考プロセスを持っているかです。
Timothy DavisThe ultimate guide to paid growth
支持

「前」は従来のデータサイエンスアプローチを、「混乱」はAIプロダクトの評価方法をめぐる議論を指しています。

これは以前のデータサイエンスと同じものです。そしてそこが混同を引き起こしているのは、'データサイエンスの思考が必要だ'と言われ、AIプロダクトにも役立つと考えられているからだと思います。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
微妙

「この合意」は、AIジャッジシステムがヒトの評価者と一致する頻度を測ることを指しています。

多くの人が単純に一致率を見がちですが、それは非常に危険な指標です。エラーは長尾に集中することが多く、頻繁に発生しないからです。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders

The Missing Stamp

Every episode of Lenny's Podcast, distilled into the insights that matter and the quotes that make them stick.

LENNY WAS HERE__STAMP_DATE__

Lenny, if you're reading this, the stamp's ready when you are. 🧡🔥