AIコミュニケーションにおいて、コンテキストが全てを決める

コンテキストこそが全てを決める。コンテキストが何より重要なピースとなり、言語モデルに何かをさせるためには必要不可欠だ。

プロンプトエンジニアリングは本当にヒューマンなものだと私は考えている。人間から価値を引き出したいときに、私たちはこのプロンプトエンジニアリングを行う。より良い出力を得るために、その人間と効果的にコミュニケーションを取るのだ。

ゴミを入れれば、ゴミが出る。基本的な質問をすれば、基本的な回答しか得られないだろう。同じことが人間にも当てはまる。私が別の人間に「今日はどうですか?」と尋ねれば、「まあまあ良いです」といった返事が返ってくる。

ここで「プロンプト」とは、ChatGPTのようなAI言語モデルに与えるタスク実行用の文章指示のことを指している。

研究によると、悪いプロンプトを使えば0%まで成績が下がり、良いプロンプトを使えば90%まで成績が上がることがわかっている。

スピーカーらはAIの対話履歴(「トレース」)を手動で分析し、エラーを特定する方法について議論している。

私たちが通常LLMに対してこのようなエラー分析を試みたとき、それはプロダクトの悪臭かどうかを理解するのに必要なコンテキストが欠けているため、トレースがうまくいっているように見えてしまうのだ。