Los datos revelan problemas, el diseño crea soluciones

Quieres diagnosticar con datos y tratar con diseño. Los datos no son una herramienta que te va a decir qué debes construir.

Debes comenzar con algún tipo de análisis de datos para fundamentar lo que incluso deberías probar, y eso es un poco diferente a la ingeniería de software donde tienes muchas más expectativas de cómo va a funcionar el sistema. Con los LLM, hay mucha más superficie. Es muy estocástico, así que tienes que...

Simplemente anota lo primero que veas que está mal, el error más aguas arriba. No te preocupes por todos los errores, solo captura lo primero que veas que está mal y detente y sigue adelante.

En este contexto, 'rastros' se refiere a los registros de conversaciones entre asistentes de IA y usuarios que se analizan en busca de errores y oportunidades de mejora.

Sigue mirando los rastros hasta que sientas que no estás aprendiendo nada nuevo. Hay un término en el análisis de datos y el análisis cualitativo llamado saturación teórica.