나델라 “AI 모델을 내부자 위험처럼 다뤄야”…작업 중단·외부 감사 제안

마이크로소프트 최고경영자 사티아 나델라가 10일 AI 모델을 기업의 내부자 위험처럼 취급하고, 사람이 실행 중인 작업을 중단할 수 있는 통제 장치를 마련해야 한다고 제안했다. 모델의 성능을 신뢰하는 것과 모델에 어떤 권한을 줄지는 분리해야 한다는 주장이다.

나델라는 개인 블로그에 올린 글에서 기업의 민감한 정보와 업무 시스템에 접근하는 AI가 실수하거나 침해될 가능성을 설계 단계부터 고려하자고 밝혔다. 이는 마이크로소프트의 새 제품 출시나 보안 사고 발표가 아니라 경영자의 기술 거버넌스 제안이다.

실행 권한은 모델 밖에서 제한

그가 제시한 방안은 모델과 작업을 지휘하는 소프트웨어를 구분하고, 접근 가능한 자료와 실행 가능한 행동을 외부 통제 장치에서 정하는 것이다. 중요한 결정에 한 모델만 의존하거나 그 모델이 자기 결과를 스스로 검증하는 구조도 피해야 한다고 적었다.

실행 내역은 사람이 읽을 수 있고 임의 변경을 막을 수 있는 기록으로 남겨야 한다고 했다. 시스템 검증에는 정상 작동뿐 아니라 공격과 실패 상황을 포함하고, 감사를 수행하는 주체는 평가 대상인 모델과 분리해야 한다는 입장이다.

‘비상 브레이크’는 제안, 의무화 발표 아냐

나델라는 권한 있는 사람이 AI 작업을 도중에 일시 정지하거나 종료할 수 있어야 한다며 이를 비상 브레이크에 비유했다. 사고가 나면 피해 당사자에게 제때 알리고 통제 실패의 원인도 공유하자고 제안했다.

미국 국립표준기술연구소(NIST)도 AI 에이전트의 신원·권한과 보안 평가를 다루는 표준화 사업을 진행 중이다. 다만 나델라의 글은 구체적인 시행 일정이나 전 제품에 적용할 기능을 확정한 공지가 아니다. 주장한 통제 장치가 실제 업무에서 얼마나 효과적인지도 이번 글만으로 확인할 수 없다.

출처: 사티아 나델라 개인 블로그(2026-10-10) https://snscratchpad.com/posts/models-as-insider-risks/
관련 확인: The Verge(2026-10-11 KST) https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
배경: NIST AI Agent Standards Initiative(2026-02-17 게시, 2026-08-14 갱신) https://www.nist.gov/artificial-intelligence/ai-agent-standards-initiative
대표 이미지: AI 생성 이미지 / 데이마크