Lenny DistilledEjecución → Compensaciones técnicas
No es genial simplemente darle acceso a tu unidad y decir 'Razona sobre toda esta base de conocimiento'. En realidad, hace un trabajo muy pobre entendiendo la importancia del pasado y colocando pesos en las cosas. En realidad, quieres pensar específicamente en cuál es el contexto cuando quieres dárselo y cuál es la base de conocimiento en la que quieres que se enfoque.
RAG (Recuperación-Generación Aumentada) es un enfoque de IA donde los sistemas primero recuperan información relevante de bases de datos antes de generar respuestas a las consultas de los usuarios.
En muchas de las empresas que he visto, el mayor rendimiento de sus soluciones RAG proviene de una mejor preparación de los datos, no de agonizar sobre qué bases de datos vectoriales usar.
Los LLM solo pueden ser tan buenos como los datos que se les dan y qué tan recientes son esos datos. En última instancia, son como trituradoras de información. Son comilones de información ilimitados. Nunca se puede tener suficiente información para dar a un LLM para realmente obtener su valor.
La diferencia entre el contexto adecuado y no, es totalmente la diferencia entre una respuesta buena y una respuesta mala.