在 AI 沟通中,环境是一切

环境就是一切。环境是唯一重要的东西。在让语言模型为你做任何事情的过程中,这个环节都非常关键。

我的观点是,提示工程是一件非常人性化的事情。当我们想从人类那里获取某种价值时,我们就需要做这种提示工程。我们试图以最有效的方式与人沟通,以获得最佳输出。

垃圾进,垃圾出。如果你问一个很基本的问题,你就会得到一个很基本的回答。实际上,对人类来说也是如此。比如,当我去找另一个人,问他'你今天过得怎么样',他就会说'过得还不错'。

在这个上下文中,'提示'指的是给予 AI 语言模型(如 ChatGPT)的文本指令,用于完成任务。

研究表明,使用糟糕的提示可能会使问题正确率降到0%,而使用好的提示可以把正确率提高到90%。

发言人在讨论手动分析 AI 对话记录('跟踪')以识别错误,而不是让 LLM 自动检测问题。

我们通常发现,当我们试图让一个大型语言模型进行这种错误分析时,它只是说跟踪看起来不错,因为它缺乏必要的上下文来理解某些东西是否可能是产品问题。