웹의 이미지 편집법 156종 시험…AI 그림 탐지기 6종 모두 일부 판정 뒤집혀
공개 웹 자료를 바탕으로 만든 이미지 편집 도구를 합성 이미지 105장에 적용한 실험에서 탐지기 6종 모두 오판 사례가 나왔다. 수치는 제한된 시험 이미지와 여러 후보를 시도한 조건에서 얻은 결과다.
독일 CISPA 헬름홀츠 정보보안센터 연구진이 22일 공개한 사전공개 논문에서 웹에 있는 이미지 편집법을 합성 이미지에 적용하자 시험한 AI 이미지 탐지기 6종 모두 일부 이미지를 실제 사진으로 잘못 분류한 것으로 나타났다. 탐지 결과만으로 이미지의 출처를 단정하기 어렵다는 기존의 경고를 구체적인 시험으로 보여줬다.
공개 편집법을 도구로 만들어 시험
연구진은 공개 웹 자료 220건을 모아 실행 가능한 이미지 처리 도구 156종을 만들었다. 합성 이미지 105장은 생성기 5종에 같은 프롬프트 21개를 적용해 고른 것으로, 동물·인물·문서·풍경 등 일곱 범주를 포함했다. 논문은 아직 동료평가를 거치지 않은 사전공개본이다.
편집 도구별로 AI가 제안한 설정 후보 다섯 개를 시험하되 원본과의 구조적 유사도가 기준에 못 미치는 출력은 제외했다. 연구진이 보고한 '공격 성공률'은 탐지기가 처음에는 AI 생성물로 알아본 이미지 가운데, 편집 뒤 후보 중 하나라도 실제 이미지로 판정한 비율이다. 전체 이미지 중 가짜를 놓친 비율이나 한 번 편집했을 때의 성공 확률과는 다르다.
탐지기별로 가장 잘 통했던 단일 도구의 성공률은 25.25%에서 100%까지 벌어졌다. 그러나 이는 각 탐지기에 유리한 도구를 골라 얻은 최댓값이다. 연구진도 대부분의 도구가 모든 탐지기에 두루 통하는 것은 아니라고 밝혔다.
탐지기 한 번의 판정과 출처 확인은 달라
여러 도구를 후보로 놓고 일부 조합을 시도한 시험에서는 각 탐지기의 최악 조건에서 80%가 넘는 판정 전환이 관찰됐다. 연구진은 이를 여러 후보 중 성공한 결과를 골라 세는 '후보 포괄률'로 정의했다. 이미지마다 성공하는 조합이 달랐고, 실제 이용자가 한 번의 시도로 같은 결과를 낼 수 있다는 뜻은 아니다.
시험에는 연구진이 품질을 보고 고른 합성 이미지 105장만 쓰였다. 생성기·탐지기 종류와 이미지 범위가 제한돼 실제 온라인 사진 전체의 탐지 정확도를 나타내지 않는다. 실물 사진을 편집했을 때 잘못 AI로 지목하는 오류도 이 시험의 주된 결과가 아니다.
미국 국립표준기술연구소(NIST)는 2024년 합성 콘텐츠 투명성 보고서에서 압축·크기 조정 같은 후처리 뒤에는 이미지 탐지기의 오류가 커질 수 있다고 설명했다. NIST는 출처 기록과 자동 탐지 등 어느 한 기술만으로 콘텐츠 신뢰성을 완전히 해결할 수 없다고 지적했다. 이번 연구의 구체적 성공률을 NIST가 독립 재현한 것은 아니다.
대표 이미지: AI 생성 이미지 / 데이마크
자료: https://arxiv.org/html/2610.31152v1
