データは問題を明らかにし、デザインが解決策を生み出す

データでは問題を特定し、デザインで解決策を生み出すことが大切です。データだけでは何を構築すべきかは教えてくれません。

まず何らかのデータ分析から始めて、何をテストすべきかを明確にする必要があります。LLMでは予想外の事態が起こりやすいので、ソフトウェアエンジニアリングとは少し違った感触があります。

まずは最も上流の問題箇所を1つ書き出してください。全ての問題を解決しようとせず、一つずつ対応していきましょう。

「トレース」はAIアシスタントとユーザーの会話ログを指し、エラーや改善の機会を分析するために使用されています。

トレースを見ていて、もう新しいことが学べなくなったら止めましょう。データ分析やクオリタティブ分析では、これを理論的飽和と呼んでいます。