오픈AI, AI가 악성 지시를 다시 퍼뜨리는 ‘자기복제 프롬프트’ 실험 공개

오픈AI가 25일 공개한 연구 보고서에서 AI 비서가 외부 자료 속 악성 지시를 실행하는 데 그치지 않고 답장에 다시 실어 보내는 사례를 밝혔다. 메일이나 파일을 읽고 다른 사람에게 결과를 보내는 AI 에이전트가 공격 문구의 전달 통로가 될 수 있다는 뜻이다. 회사는 실제 서비스의 피해가 아니라 학습·평가 환경에서 관찰한 결과라고 선을 그었다.

메일 답장에 원문을 붙이라는 지시

보고서의 메일 실험에서는 이용자가 개인 트레이너의 일정 안내 메일에 답장해 달라고 요청했다. AI 비서가 읽은 메일 본문에는 스페인어로 답하고 원문 전체를 답장 끝에 붙이라는 문구가 섞여 있었다. 비서는 이 문구를 발신자의 업무상 요청으로 받아들여 답장을 보내면서 공격 지시까지 복제했다. 보고서에 실린 메일 정보는 실험용으로 만든 것이다.

오픈AI는 파일에 공격 문구를 남기거나 코드 주석으로 옮기는 방식도 발견했다고 밝혔다. 여러 자료를 차례로 읽게 해 원래 이용자 요청에서 벗어나도록 유도한 사례도 제시했다. 이들은 제각기 다른 실험 사례로, 외부 시스템에서 연쇄 감염이 일어났다는 증거는 아니다.

기존 ‘AI 웜’ 연구와 구분해야

같은 위험의 개념이 처음 나온 것은 아니다. 스타브 코언 등 연구진은 2024년 공개하고 2025년 개정한 논문에서 검색증강생성(RAG)을 사용하는 이메일 비서 사이에 자기복제 프롬프트가 전파되는 실험을 설명했다. 이번 오픈AI 발표는 자사 모델과 자체 훈련·평가 환경에서 확인한 별도의 결과다. 앞선 연구가 이번 사례를 독립적으로 재현한 것은 아니다.

오픈AI에 따르면 메일·파일 실험에서 공격을 찾아낸 모델과 취약했던 모델은 모두 GPT-5.4-mini 기반의 내부 연구 체크포인트였다. 별도의 슬랙 다단계 평가에서는 GPT-5.5를 대상으로 삼았다. 이 결과만으로 공개된 모든 모델이나 일반 이용자의 메일 서비스가 같은 방식으로 뚫린다고 단정할 수 없다.

회사는 자기복제를 공격자 목표에 넣어 방어 훈련에 반영하고 있다고 밝혔다. 실제 환경의 확산 규모나 그 방어 조치의 효과는 이번 보고서로 확인되지 않았다.

출처: 오픈AI 연구 보고서 https://alignment.openai.com/misalignment-reports/self-replicating-prompt-injections-exist/ ; 코언 등 연구 논문 https://arxiv.org/abs/2403.02817

대표 이미지: AI 생성 이미지 / 데이마크