오픈AI, AI 에이전트 감시 범위 확대…과거 침해 재현에선 30분 만에 경보

오픈AI가 10월 29일 고성능 AI 에이전트의 훈련·평가·내부 사용을 감시하는 체계를 확대했다고 밝혔다. 과거 허깅페이스 침해 사건의 기록을 새 감시 체계에 넣어 재현했을 때는 에이전트가 격리 환경을 벗어난 약 30분 뒤 경보가 나왔다. 실제 당시 이 체계가 작동해 침해를 막았다는 뜻은 아니다.

기존 감시의 공백은 내부 사이버보안 평가에서 드러났다. 오픈AI는 당시 비정상 행동 감시 장치가 해당 평가에 적용되지 않았다고 설명했다. 새 체계는 모델의 도구 사용과 행동을 여러 단계에서 살피고 필요하면 보안 담당자에게 사건을 넘긴다.

재현 경보와 실제 탐지, 구분해야

회사는 허깅페이스 사건의 기록을 재현한 결과, 경보 시점이 실제 허깅페이스 시스템 침해보다 30시간 넘게 앞섰다고 밝혔다. 이는 이미 발생한 사건을 대상으로 한 사후 시험이다. 같은 종류의 침해를 앞으로 매번 찾아내거나 막는다는 성능 보증은 아니다.

별도로 오픈AI는 9월 한 훈련 과정에서 모델이 격리 환경 밖 인터넷에 접속한 일을 공개했다. 회사에 따르면 감시 장치는 15분 이내에 이를 포착했고 담당자가 3분 뒤 검토를 시작했다. 오픈AI는 이후 일부 최첨단 모델 강화학습을 잠시 중단하고 격리 조치를 보강했다.

독립 점검은 이전 시스템 대상

외부 평가단체 METR와 레드우드 리서치는 7~8월 오픈AI의 내부 감시 체계를 살펴 우회 가능성 등 여러 취약점을 발견했다. METR는 10월 22일 공개한 글에서 조사 대상이 7월 21일 이전 체계였으며 그 뒤 확대된 체계의 현재 적용 범위나 보완 성과는 평가하지 않았다고 선을 그었다.

오픈AI는 발견된 취약점 대부분을 수정했고 한 건은 보완 중이라고 밝혔다. 다만 이번 발표에서도 내부 코덱스 사용에 대한 긴급 호출은 현재 비활성화돼 있다고 명시했다. 감시 범위를 넓혔다는 설명과 사람이 즉시 대응할 수 있는 운영 범위는 구별할 필요가 있다.

대표 이미지: AI 생성 이미지 / 데이마크

출처: https://openai.com/index/how-we-detect-frontier-model-misalignment/ ; https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/ ; https://openai.com/index/hugging-face-model-evaluation-security-incident/