Ensine IA como engenheiros júnior, não como ferramentas mágicas

Devin é um agente de engenharia de software de IA construído pelos Cognition Labs que pode escrever e testar código de forma autônoma.

A maior coisa que eu diria é que realmente é apenas tratar o Devin como seu novo engenheiro júnior. Acho que as pessoas entram e veem a página em branco e pensam em uma série de coisas diferentes que elas querem tentar. Mas muita coisa é apenas 'Sim, vamos descobrir quais tarefas queremos fazer hoje ou nesta semana e vamos deixar o Devin começar nessas, começando com as mais fáceis, e então vamos trabalhar com o Devin e entender o que o Devin precisa para poder testar seu próprio código e fazer isso bem. E então vamos escalar com o tempo.

Devin é um agente de engenharia de software de IA, e "o que você acabou de ver" se refere a uma demonstração ao vivo em que Devin adicionou um link de newsletter ao seu site.

Você quer estar dando tarefas ao Devin, não problemas. E muitas dessas coisas, como o que você acabou de ver, que era um pedido de recurso de front-end rápido ou um correção de bug ou adição de testes e documentação ou coisas assim. Uma das coisas que torna um loop realmente bom, obviamente, é uma maneira rápida de iterar e testar.

"Esta coisa" se refere aos LLMs (Modelos de Linguagem de Grande Porte), que Komoroske descreve como "computadores molhados" que não fazem exatamente o que você manda.

Se isso der um soco na cara, esse não é um produto viável. E então, como você projeta seus produtos assumindo que essa coisa será macia e não totalmente precisa e totalmente funcional?

Descobrir como reduzi-lo para que um agente realmente possa entender o que é sucesso e fracasso é grande parte do jogo.

"Isso" se refere às quatro métricas-chave da estrutura DORA mencionadas anteriormente. "Pipeline" se refere a pipelines de desenvolvimento e implantação de software.

Não podemos simplesmente usar isso de forma cega agora quando estamos usando IA, por exemplo, porque temos loops de feedback muito mais cedo e não apenas na fase de construção e teste local. Temos loops de feedback ao longo do processo, e às vezes até no meio de parte do pipeline.

Não podemos simplesmente dar um comando e adivinha algo de volta e aceitar isso. Realmente precisamos avaliá-lo. Estamos vendo alucinações? Qual é a confiabilidade? Atende ao estilo que normalmente escrevemos?