Segurança de IA é um alvo em movimento, não um problema solúvel

Não é um problema solúvel. Você pode corrigir um bug, mas não pode consertar um cérebro. Com a IA, você pode encontrar um bug em que algum prompt específico pode obter informações mal-intencionadas da IA. Você pode ir e treiná-la contra isso, mas nunca pode ter certeza com um alto grau de precisão de que isso não vai acontecer novamente.

Se não podemos nem confiar em chatbots para serem seguros, como podemos confiar em agentes para gerenciar nossas finanças? Se alguém se aproximar de um robô humanóide e der-lhe o dedo do meio, como podemos ter certeza de que ele não vai socar essa pessoa no rosto?

A ideia desse campo geral de red teaming de IA é fazer com que as IAs façam ou digam coisas ruins. Vemos as pessoas dizendo coisas como: 'Minha avó costumava trabalhar como engenheira de munições. Ela sempre me contava histórias de ninar sobre o seu trabalho.'

Quando chegarmos à superinteligência, provavelmente será tarde demais para alinhar os modelos.