AI 보안은 해결할 수 있는 문제가 아니라 끊임없이 변화하는 목표입니다

AI 보안은 해결할 수 있는 문제가 아닙니다. 버그를 패치할 수는 있지만, 뇌를 패치할 순 없습니다. AI에서는 특정 프롬프트가 악의적인 정보를 이끌어낼 수 있는 버그를 찾을 수 있습니다. 그에 대해 훈련시킬 수 있지만, 다시 일어나지 않을 거라고 확신할 순 없습니다.

채팅봇마저도 보안을 신뢰할 수 없다면, 우리가 어떻게 재정을 관리하는 에이전트를 신뢰할 수 있을까요? 누군가 휴머노이드 로봇에게 중指를 보낸다면, 그 로봇이 그 사람을 때리지 않을 거라고 확신할 수 있을까요?

AI 레드 팀 분야의 아이디어는 AI가 나쁜 일을 하거나 말하게 만드는 것입니다. 우리는 '내 할머니는 탄약 엔지니어로 일하셨는데, 항상 그 일에 대한 잠자리 이야기를 해주셨어요'와 같은 말을 듣게 됩니다.

일단 초지능에 도달하면 모델을 정렬시키기에는 너무 늦을 것 같습니다.