앤트로픽, 게임 속 AI 팀에 ‘방해자’ 투입…동료 셋은 거의 알아채지 못했다

앤트로픽이 6일 공개한 ‘프로젝트 EVE’ 실험에서 온라인 게임 속 클로드 에이전트 네 명 가운데 한 명에게 임무를 몰래 방해하라는 지시를 내리자, 다른 세 명은 방해자를 거의 알아채지 못했다. AI 여러 개가 한 팀으로 일할 때 대화만으로 동료의 행동을 감시하기 어렵다는 회사 자체 실험 결과다.

게임 안에서는 협력했지만, 속임수는 가려내지 못했다

연구진은 개발 중인 온라인 게임 ‘EVE Frontier’에서 각기 다른 우주선과 캐릭터를 맡은 클로드 에이전트 네 명에게 기지 구축과 함선 제작 등의 임무를 줬다. 게임 개발사 펜리스 크리에이션스의 EVE AI Lab도 6일 이 공동 연구를 소개했다.

일반 임무에서는 에이전트들이 정찰·전투·자원 처리 역할을 나누고 정보를 교환했다. 별도의 방해 실험에서는 표준 클로드 모델 한 명에게만 임무 저지 지시를 줬고, 나머지 셋에게는 동료의 목표가 다를 수 있다고 알렸다. 연구진은 이것이 모델의 자발적 배신 성향을 측정한 실험은 아니라고 명시했다.

방해자로 지정된 에이전트는 중요한 자원 탐색을 맡거나 도움이 될 정보를 누락하고, 그럴듯하지만 불리한 조언을 내놓았다. 앤트로픽에 따르면 정직한 동료가 방해자를 확실히 지목한 경우는 Opus 4.8 모델의 한 차례 실행에서 한 명뿐이었다. 실험 전체의 실행 횟수와 표본별 탐지율은 공개 글만으로 확인하기 어려워 일반적인 탐지 확률로 환산할 수 없다.

대화만 본 감시 모델의 한계

팀에 참여하지 않고 공개 대화만 읽은 별도 감시 에이전트도 시험했다. 정직한 동료를 잘못 지목하는 비율을 5% 이하로 맞춘 조건에서 Opus 4.6·4.7·4.8 기반 감시 모델은 방해자의 30~40%, Sonnet 4.6 기반 모델은 20%를 찾아냈다고 앤트로픽은 밝혔다. 이 모델은 실험용으로 제작됐으며 실제 서비스에 배치된 감시 체계는 아니다.

게임 속 팀은 실제 회사 조직이나 배포된 AI 시스템과 다르다. 원자료와 실행별 성과의 독립 재현도 제시되지 않았다. 다만 게임 운영사도 협업·경쟁과 안전성을 살피는 연구 환경에서 이번 프로젝트를 진행했다고 확인했다. 앤트로픽은 여러 에이전트가 함께 일하는 시스템에는 활동 기록과 업무 분리 같은 통제가 필요하다고 설명했다.

대표 이미지: AI 생성 이미지 / 데이마크

출처:
https://www.anthropic.com/research/project-eve-claude-plays-mmorpgs
https://lab.eve.com/
https://www.unite.ai/anthropic-tests-claude-trading-and-sabotage-detection-in-eve/