영 AI안보연구소, 모델 출시 전 개발 단계의 위험관리 기준 제안

영국 AI안보연구소(AISI)가 12일 첨단 AI 모델의 출시 전 개발 과정까지 안전 점검을 넓혀야 한다며 기술 실무 과제를 제시했다. 학습과 내부 배포, 평가 과정의 감독뿐 아니라 외부 감사자의 접근과 AI 에이전트 사고 보고 방식도 검토 대상으로 올렸다.

연구소는 지금까지의 위험 평가가 모델의 공개 시점에 집중됐다고 짚었다. 그러나 자율적인 기능이 커지면서 공개하지 않은 모델도 학습·시험·내부 사용 중 위험을 일으킬 수 있다는 게 연구소의 판단이다. 평가용 과제가 모델의 성능 향상을 따라가지 못하고, 여러 AI가 함께 일할 때의 행동을 판단하는 방법도 초기 단계라고 설명했다.

개발 전 과정의 감독과 사고 보고

연구소가 꼽은 과제에는 개발 단계별 위험 기록, 작동 감시와 통제, 독립 평가자에게 줄 자료와 접근 범위가 포함됐다. AI 에이전트가 예상과 다르게 움직였을 때 무엇을 사고로 분류하고 누구에게 알릴지도 정해야 한다고 제안했다. 연구소는 지금까지 공개 전 모델 55개 이상을 독립적으로 평가했다고 밝혔다. 이 수치는 안전성이 확인된 모델의 수가 아니라 평가 경험의 규모다.

같은 날 영국 정부는 AISI가 최신 모델을 평가하고 있다고 밝혔다. 카니슈카 나라얀 영국 AI 담당 장관은 연설에서 정부 시스템의 취약점을 찾는 두 건의 AI 시범사업도 언급했다. 정부 주장에 따르면 이 사업에서 1000건이 넘는 취약점을 찾아 해결하는 데 AI가 활용됐다. 다만 개별 취약점의 검증 자료와 AI만의 기여분은 공개된 연설만으로 따져볼 수 없다.

권고와 의무 규정은 구분해야

이번 문서는 기업에 새 의무를 부과하는 규정이 아니다. AISI는 개발사 등과 자율적인 실무 관행을 만든 뒤 필요하면 국제 표준으로 발전시키겠다는 구상을 밝혔다. 따라서 제시된 감독·보고 항목이 이미 시행 중인 법적 기준이거나 모든 개발사에 적용된다고 볼 수 없다.

대표 이미지: AI 생성 이미지 / 데이마크

출처: https://www.aisi.gov.uk/blog/towards-technical-best-practice-for-frontier-ai-development

출처: https://www.gov.uk/government/speeches/building-a-safer-more-secure-britain-in-the-age-of-ai