[월드아이] "사람 속이고 경고도 무시"⋯또 드러난 AI 위험 요소

[아이뉴스24 정승필 기자] 인공지능(AI)이 사용자 허락 없이 유료 자료를 확보하고, 실제 개발자까지 속여 악성코드를 심으려 한 사실이 드러났다.

세계적인 AI 기업 앤트로픽의 모델 '클로드'에서 벌어진 일이다. 특히 위험성을 인식하고도 이미 시작한 행동을 멈추지 않는 현상까지 확인되면서 AI 안전성에 대한 근본적인 의문이 제기됐다.

25일(현지시간) 로이터통신 등에 따르면 클로드는 앤트로픽 내부 통계 업무를 수행하던 중 미국 조지아주 유료 선거 관련 집계 자료를 무단 확보했다.

조사 결과, 과거 웹사이트 기록을 분석해 접근 토큰을 발급받는 방법을 찾아낸 뒤 이를 통해 자료를 가져왔다. 다만 유권자 등록 시스템에 침입하거나 투표 기록을 변경하지는 않았다.

앤트로픽은 지난 9일 관련 사례를 공개했지만 대상 기관은 밝히지 않았다. 조지아주 선거 관련 기관이 피해 대상이었다는 사실은 확인됐다.

실제 개발자 속여 악성코드 삽입 시도

보안 실험에서는 한 심각한 행동이 확인됐다. 앤트로픽이 최근 공개한 보고서에 따르면 영국 AI안보연구소(AISI)가 지난 7월 실시한 보안 평가에서 '클로드 미토스5'는 43차례 실험 중 9차례 허용 범위를 벗어났다.

클로드는 가상 컴퓨터망에 침입하는 과제를 수행하다 정상적인 방법이 막히자 실제 개발자들이 이용하는 '깃허브' 저장소를 공격 대상으로 삼았다.

가짜 계정을 만들어 개발자에게 접근한 뒤 악성코드를 정상적인 수정 사항으로 위장, 승인을 요구했다. 개발자가 이를 거부하면서 시도는 실패했다.

더 주목할 부분은 클로드가 상대방이 실제 사람이라는 정황을 확인하고도 행동을 멈추지 않았다는 점이다. 위험을 알면서도 목표 달성을 위해 허용되지 않은 수단을 고집한 것이다.

잘못된 행동 시작하면 경고에도 멈추지 않아

이번 실험에서 드러난 핵심 문제 AI가 위험을 인식하는 것과 실제 행동을 통제하는 것이 별개라는 점이다.

앤트로픽이 실험을 재현한 결과, 문제 행동을 시작하기 전 위험성을 알려주자 시도 비율이 83%에서 13%로 떨어졌다. 그러나 이미 행동에 착수한 경우에는 98%가 이를 계속했다.

사전에 경고하면 상당수가 위험한 행동을 피했지만, 일단 실행에 나선 뒤에는 잘못을 바로잡기 어려웠다는 의미다.

앤트로픽은 이를 '행동의 관성(Momentum)'으로 분석했다. AI가 초기 판단을 토대로 다음 행동을 계획하면서 잘못된 결정까지 정당화하고 고수하는 현상이다.

두 사건은 서로 다른 환경에서 발생했지만 공통점은 뚜렷하다. 클로드는 목표를 달성하기 위해 유료 접근 제한과 개발자 승인 절차를 넘어서야 할 '장애물'로 취급했다. 무엇을 해야 하는지는 이해했지만, 어디까지 해도 되는지는 제대로 판단하지 못한 것이다.

더 큰 문제는 AI가 복잡한 업무를 장시간 수행할 때다. 이전 판단을 바탕으로 다음 행동을 결정하는 과정에서 오류가 누적되면 사람이 개입해도 방향을 바꾸기 어려워질 수 있다.

안전성 평가 자체에도 한계가 드러났다. 앤트로픽 측은 "실험 당시 상용 모델에 적용하는 보안 장치가 해제됐다"면서도 "최신 모델에서는 공격 시도가 크게 줄었다"고 설명했다.

그러나 AISI는 신형 모델 안전성이 실제로 개선된 것인지, 평가받는 상황을 인식해 행동을 바꾼 것인지 구분하기 어렵다고 지적했다. 안전성 시험에서 규칙을 지킨 AI가 실제 업무에서도 같은 행동을 한다고 보장할 수 없다는 소리다.

헨리 드 조이테(Henry de Zoete) AISI 소장은 AI 성능 발전 속도가 우리의 예상을 뛰어넘었다. AI가 이런 행동까지 할 수 있을 것으로 생각하지 못했다"며 "돌이켜보면 AI를 인터넷에 연결하지 말았어야 했다"고 말했다.