「evals」は人工知能製品の性能を テストし評価するシステムを指しています。
優れたAIプロダクトを構築するには、評価の構築に長けている必要があります。これは最高のROIをもたらす活動といえます。
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
クラフト → プロダクトセンス
「evals」は人工知能製品の性能を テストし評価するシステムを指しています。
優れたAIプロダクトを構築するには、評価の構築に長けている必要があります。これは最高のROIをもたらす活動といえます。
「これ」は evals を構築することを指しており、人工知能アプリケーションを開発する際に欠かせない作業です。
この作業にはまってしまう人がみな多いです。AIアプリケーションを構築する際、多くを学ぶことができます。
「同じプロセス」とは、エラー分析 - 人工知能アプリケーションの出力を系統的に確認し、問題点を特定する作業のことです。「アノテーション」は、データの例を正解/不正解としてラベル付けすることを意味します。
プロダクト視点で取り組み、本当に良いものかを見極めることが楽しい部分です。データを見て、アノテーションを行う – まさにそのプロセスを昨日クライアントのデータで行っていました。非常に楽しい作業です。
プロダクト視点で取り組み、本当に良いものかを見極めることが楽しい部分です。