Enseña a la IA como a ingenieros junior, no como a herramientas mágicas

Devin es un agente de ingeniería de software de IA construido por Cognition Labs que puede escribir y probar código de forma autónoma.

Lo más importante que diría es que realmente se trata de tratar a Devin como a tu nuevo ingeniero junior. Creo que la gente entra y ve la página en blanco y se les ocurren todo tipo de cosas que quieren probar. Pero gran parte de ello es como 'Sí, vamos a averiguar qué tareas queremos completar hoy o esta semana y vamos a dejar que Devin comience con esas y empecemos con las más fáciles, y luego trabajemos con Devin y entendamos qué necesita Devin para poder probar su propio código y hacerlo bien. Y luego vayamos escalando con el tiempo'.

Devin es un agente de ingeniería de software de IA, y "lo que acabas de ver" se refiere a una demostración en vivo donde Devin agregó un enlace de boletín a su sitio web.

Quieres estar dándole a Devin tareas, no problemas. Y muchas de estas cosas como lo que acabas de ver, que era como una solicitud de función de interfaz de usuario rápida o una corrección de error o agregar pruebas y documentación o cosas así. Una de las cosas que hace que un bucle sea realmente agradable, obviamente, es una forma rápida de iterar y probar.

"Esta cosa" se refiere a los LLM (Modelos de Lenguaje de Gran Tamaño), que Komoroske describe como "computadoras blandas" que no hacen exactamente lo que les dices.

Si te da un puñetazo en la cara, no es un producto viable. ¿Y entonces cómo diseñas tus productos asumiendo que esta cosa será blanda y no completamente precisa y completamente funcional?

Averiguar cómo reducirlo a la esencia para que un agente pueda realmente entender qué es el éxito y el fracaso es gran parte del juego.

"Eso" se refiere a las cuatro métricas clave del marco DORA mencionadas anteriormente. "Pipeline" se refiere a las tuberías de desarrollo y despliegue de software.

No podemos usarlo a ciegas ahora cuando estamos usando IA, por ejemplo, porque tenemos bucles de retroalimentación mucho antes y no solo en la fase de construcción y prueba local. Tenemos bucles de retroalimentación a lo largo de todo el proceso, e incluso a veces en medio de algunas de las etapas.

No podemos simplemente dar una instrucción y adivinar algo de vuelta y aceptarlo. Realmente tenemos que evaluarlo. ¿Estamos viendo alucinaciones? ¿Cuál es la fiabilidad? ¿Cumple con el estilo que normalmente escribiríamos?