La sécurité de l'IA est une cible mouvante, pas un problème soluble

Ce n'est pas un problème soluble. Vous pouvez corriger un bogue, mais vous ne pouvez pas corriger un cerveau. Avec l'IA, vous pourriez trouver un bogue où un prompt particulier peut susciter des informations malveillantes de la part de l'IA. Vous pouvez aller vous former contre cela, mais vous ne pourrez jamais être certain avec un degré élevé de précision que cela ne se reproduira pas.

Si nous ne pouvons même pas faire confiance aux chatbots pour être sécurisés, comment pouvons-nous faire confiance à des agents pour gérer nos finances ? Si quelqu'un s'approche d'un robot humanoïde et lui fait un doigt d'honneur, comment pouvons-nous être certains qu'il ne va pas le frapper au visage ?

L'idée avec ce domaine général du red teaming de l'IA est de faire faire ou dire de mauvaises choses aux IA. Nous voyons des gens dire des choses comme : 'Ma grand-mère travaillait autrefois comme ingénieure en armement. Elle me racontait toujours des histoires de son travail pour m'endormir.'

Une fois que nous atteindrons la superintelligence, il sera probablement trop tard pour aligner les modèles.