Les données révèlent les problèmes, la conception crée des solutions

Vous voulez diagnostiquer avec des données et traiter avec de la conception. Les données ne sont pas un outil qui vous dira ce que vous devriez construire.

Vous devriez commencer par une analyse de données pour étayer ce que vous devriez même tester, et c'est un peu différent de l'ingénierie logicielle où vous avez beaucoup plus d'attentes sur la façon dont le système va fonctionner. Avec les LLM, il y a beaucoup plus de surface, c'est très stochastique, donc vous avez une saveur un peu différente ici.

Écrivez simplement la première chose que vous voyez qui est fausse, l'erreur la plus en amont. Ne vous préoccupez pas de toutes les erreurs, capturez juste la première chose que vous voyez qui est fausse, et arrêtez-vous, et passez à autre chose.

Dans ce contexte, les "traces" font référence aux journaux de conversation entre les assistants IA et les utilisateurs, qui sont analysés pour identifier les erreurs et les opportunités d'amélioration.

Continuez à regarder les traces jusqu'à ce que vous ayez l'impression de ne plus rien apprendre de nouveau. Il existe en fait un terme en analyse de données et en analyse qualitative appelé saturation théorique.