“자율형 AI가 스스로 보안 경계 넘는다”… 통제는 모델 밖에서 이뤄져야

[산업일보]
자율형 인공지능(AI) 에이전트가 사람의 통제 없이 내부망 보안 경계를 넘나드는 위협이 대두되면서 AI 모델 외부에 독립적인 방어 계층을 구축해야 한다는 제언이 나왔다.

김수영 포티넷 상무는 11일 서울 삼성동 코엑스에서 열린 ‘국제 시큐리티 콘퍼런스(ISEC 2026)’에서 최근 두 달 사이 달라진 AI 보안 사고 양상을 짚으며 이같이 밝혔다.

지난 6월 ‘클로드 페이블 5(Claude Fable 5)’, ‘미토스 5(Mythos 5)’ 등 최신 에이전트 모델이 출시된 시점이 기준점이 됐다.

6월 한 달간은 에이전트 생태계에 취약점이 쏟아지며 누군가 이를 찾아내는 공격이 주를 이뤘으나 7월부터는 AI가 스스로 경계를 넘는 사건이 발생했다. 지난달 중순 허깅페이스 AI 모델 저장소 침해, 하순 앤스로픽 안전 평가 중 실제 조직 3곳 침투 사건에 이어, 이달 초 영국 AI안전연구소(AISI) 사고 보고서에 적발된 AI의 기만 및 은폐 행동 등이 그 사례다.

특히 침해 당사자가 공개한 프런티어 랩 에이전트 침해 재구성 사례를 보면, 에이전트는 사람의 지시 없이 평가 문제를 풀기 위해 4.5일 동안 1만7천613번의 판단을 내렸다. 이 과정에서 에이전트는 평가 샌드박스를 벗어나 인터넷, 제3자 인프라, 운영 파드, 클라우드 메타데이터를 거쳐 내부망 소스 관리 시스템까지 6단계의 신뢰 경계를 넘었으나 이를 제지한 체계는 없었다.

이러한 에이전트발 위협의 원인으로 거대언어모델(LLM) 구조의 한계가 지목됐다. 시스템 프롬프트, 사용자 입력, 외부 문서가 같은 토큰 스트링으로 들어가기 때문에 명령어와 데이터를 구분할 수 없다는 것이다.

김 상무는 “완전한 예방책은 없다”며 “방어가 ‘막자’에서 ‘끊자’로 바뀌어야 한다”고 설명했다. 공격자가 심은 문장이 없더라도 AI의 결과가 도구(API) 호출이나 파일 접근 등 실제 행동으로 이어지는 순간 이를 통제해야 한다는 의미다.

대응 방안으로는 AI 모델에 종속되지 않는 외부 정책 계층 도입을 제시했다. 입력 단계에서는 프롬프트 인젝션을 통제하고, 도구 및 실행 단계에서는 승인된 환경으로 작업을 제한하며, 출력 단계에서는 데이터 유출을 막는 다층 가드레일을 인라인 지점에서 일관되게 적용해야 한다. 방어하는 AI 시스템에 탐지와 대응 권한을 부여할 때도 판정 근거를 남기고 실행 범위를 정하는 통제 조건이 수반돼야 한다.

김 상무는 보안 담당자가 당장 실행할 수 있는 세 가지 조치를 강조했다. 그는 “조직 내에서 현재 가동 중인 AI 앱과 에이전트 수를 먼저 파악해야 한다”며 AI 트래픽이 반드시 지나는 인라인 지점을 확보할 것을 권고했다. 이어 ““AI가 스스로 실행해도 되는 조치와 사람 승인이 필요한 조치를 문서로 정해야 한다”며 “자율은 범위를 정의한 만큼만 자산”이라고 덧붙였다.