Os dados revelam problemas, o design cria soluções

Você quer diagnosticar com dados e tratar com design. Dados não são uma ferramenta que vai te dizer o que você deve construir.

Você deve começar com algum tipo de análise de dados para fundamentar o que você deve testar, e isso é um pouco diferente da engenharia de software onde você tem muito mais expectativas de como o sistema vai funcionar. Com LLMs, há uma área muito maior. É muito estocástico, então você tem um sabor diferente aqui.

Apenas anote a primeira coisa que você vê que está errada, o erro mais a montante. Não se preocupe com todos os erros, apenas capture a primeira coisa que você vê que está errada e pare, e siga em frente.

Neste contexto, "vestígios" se refere aos registros de conversas entre assistentes de IA e usuários que estão sendo analisados para identificar erros e oportunidades de melhoria.

Continue olhando os rastros até sentir que não está aprendendo nada novo. Existe um termo na análise de dados e análise qualitativa chamado saturação teórica.