Le contexte est tout dans la communication IA

Le contexte est tout ce dont on a besoin. Le contexte est la seule chose qui compte. C'est une pièce tellement importante pour faire faire quelque chose à un modèle de langage.

Ma position sur ce sujet est que l'élaboration de requêtes est une chose très humaine. Quand on veut tirer quelque valeur d'un humain, on fait cette élaboration de requêtes. On essaye de communiquer efficacement avec cet humain pour obtenir la meilleure sortie.

Entrée de merde, sortie de merde. Si on pose une question assez basique, on va obtenir une réponse assez basique. Et en fait, la même chose est vraie pour les humains, et on peut penser à un très bon exemple de ça. Quand je vais voir un autre humain et que je lui demande 'Comment ça va ta journée', il me dit 'Ça va plutôt bien.'

Dans ce contexte, les « invites » font référence aux instructions textuelles données aux modèles de langue IA comme ChatGPT pour accomplir des tâches.

Des études ont montré que l'utilisation de mauvaises requêtes peut vous faire tomber à 0% sur un problème, et que de bonnes requêtes peuvent vous faire grimper jusqu'à 90%.

Les intervenants discutent de l'analyse manuelle des journaux de conversations IA (« traces ») pour identifier les erreurs, plutôt que de demander à un LLM de détecter automatiquement les problèmes.

Ce qu'on trouve habituellement quand on essaye de demander à un LLM de faire cette analyse d'erreurs, c'est qu'il dit que la trace a l'air bonne parce qu'il n'a pas le contexte nécessaire pour comprendre si quelque chose pourrait être une mauvaise odeur de produit ou non.