Formez l'IA comme des jeunes ingénieurs, pas des outils magiques

Devin est un agent d'ingénierie logicielle IA créé par Cognition Labs, capable d'écrire et de tester du code de manière autonome.

La plus grande chose que je dirais, c'est qu'il s'agit vraiment de traiter Devin comme votre nouvel ingénieur junior. Je pense que les gens viennent et voient la page blanche et ils pensent à toutes sortes de choses diverses qu'ils veulent essayer. Mais beaucoup, c'est juste genre, 'Ouais, voyons quels tickets nous voulons faire aujourd'hui ou cette semaine et faisons commencer Devin sur ceux-ci et commençons par les plus faciles, puis travaillons avec Devin et comprenons ce dont Devin a besoin pour pouvoir tester son propre code et bien faire cela. Et puis montons en puissance au fil du temps.'

Devin est un agent d'ingénierie logicielle IA, et "ce que vous venez de voir" fait référence à une démonstration en direct où Devin a ajouté un lien pour une newsletter sur leur site web.

Vous voulez donner à Devin des tâches, pas des problèmes. Et beaucoup de ces choses comme ce que vous venez de voir, qui était genre une demande de fonctionnalité frontale rapide ou un correctif de bogue ou l'ajout de tests et de documentation ou des choses comme ça. L'une des choses qui rend une boucle vraiment agréable, évidemment, c'est un moyen rapide d'itérer et de tester.

"Cette chose" fait référence aux LLM (modèles de langage de grande taille), que Komoroske décrit comme des "ordinateurs mous" qui ne font pas exactement ce qu'on leur dit.

Si ça vous donne un coup de poing au visage, ce n'est pas un produit viable. Alors comment concevez-vous vos produits en supposant que cette chose sera molle et pas complètement précise et complètement fonctionnelle ?

Réussir à la réduire pour qu'un agent puisse vraiment comprendre ce que le succès et l'échec ressemblent, c'est une grande partie du jeu.

"Cela" fait référence aux quatre métriques clés du cadre DORA. "Pipeline" fait référence aux pipelines de développement et de déploiement de logiciels.

Nous ne pouvons pas l'utiliser à l'aveugle maintenant quand nous utilisons l'IA, par exemple, car nous avons des boucles de rétroaction beaucoup plus tôt et pas seulement à la phase de construction et de test locale. Nous avons des boucles de rétroaction tout au long, et parfois même au milieu de certaines des étapes.

Nous ne pouvons pas simplement entrer une commande et deviner quelque chose en retour et l'accepter. Nous devons vraiment l'évaluer. Voyons-nous des hallucinations ? Quelle est la fiabilité ? Répond-il au style que nous écririons habituellement ?