Lenny Distilled

エラー分析こそが魔法の始まり

クラフト → プロダクトセンス

定義

「evals」は人工知能製品の性能を テストし評価するシステムを指しています。

優れたAIプロダクトを構築するには、評価の構築に長けている必要があります。これは最高のROIをもたらす活動といえます。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
支持

「これ」は evals を構築することを指しており、人工知能アプリケーションを開発する際に欠かせない作業です。

この作業にはまってしまう人がみな多いです。AIアプリケーションを構築する際、多くを学ぶことができます。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
支持

「同じプロセス」とは、エラー分析 - 人工知能アプリケーションの出力を系統的に確認し、問題点を特定する作業のことです。「アノテーション」は、データの例を正解/不正解としてラベル付けすることを意味します。

プロダクト視点で取り組み、本当に良いものかを見極めることが楽しい部分です。データを見て、アノテーションを行う – まさにそのプロセスを昨日クライアントのデータで行っていました。非常に楽しい作業です。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
支持
プロダクト視点で取り組み、本当に良いものかを見極めることが楽しい部分です。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders

The Missing Stamp

Every episode of Lenny's Podcast, distilled into the insights that matter and the quotes that make them stick.

LENNY WAS HERE__STAMP_DATE__

Lenny, if you're reading this, the stamp's ready when you are. 🧡🔥