El diseño de producto debe coincidir con la precisión de tu modelo

Hay algo fundamentalmente interesante aquí que hace que la vida sea divertida. Si el modelo tiene razón el 60% de las veces, construyes un producto muy diferente que si el modelo tiene razón el 95% de las veces o el 99.5% de las veces.

La calidad de tu aprendizaje automático, si vas a tener un solo botón de reproducción, necesita ser literalmente del 100% o cero error de predicción, y eso nunca es el caso. Entonces, digamos que tienes un acierto de uno de cada cinco, cuatro de cada cinco cosas se hacen, entonces necesitas una IU que probablemente muestre al menos cinco cosas a la vez en la pantalla. Así que tienes un acierto de uno de cada cinco algo relevante en la pantalla.

Le estás pidiendo al juez que haga una sola cosa, evaluar un solo modo de fallo, así que el alcance del problema es muy pequeño y la salida de este juez LLM es aprobado o reprobado. Entonces, es algo muy, muy acotado que los jueces LLM son muy capaces de hacer de manera muy confiable.