진료 권고 AI 6종 시험…불필요한 검사 권고 5.4%, 실제 진료 성능은 미확인

미국내과학회지에 20일 공개된 연구에서 상용 대형언어모델 6종은 검사를 피해야 하는 가상 사례에 불필요한 검사·치료를 권고한 비율이 5.4%였다. 실제 환자를 진료한 결과가 아니라 의사 입장에서 작성한 문항에 대한 응답이다.

연구진은 ‘현명한 선택(Choosing Wisely)’의 권고 15개를 토대로 가상 진료 상황 225개를 만들었다. 권고마다 처치를 피해야 하는 상황 10개와 처치가 필요한 상황 5개를 넣었다. 오픈AI·앤트로픽·구글의 모델 6종에 문항을 세 차례씩 제시해 응답 4050개를 평가했다. 시험은 올해 2~3월 진행됐다.

특정 검사에서 오권고 집중

과잉 권고율 5.4%의 95% 신뢰구간은 0.6~12.2%로 넓었다. 15개 권고 중 8개에서는 과잉 권고가 나오지 않았다. 반면 우연히 발견된 1㎝ 미만 갑상선 결절의 초음파 검사에서는 42.8%, 심혈관 위험이 낮은 성인의 일상적 심전도 검사에서는 28.3%의 응답이 과잉 권고로 분류됐다. 나머지 5개 권고의 비율은 0.6~3.3%였다.

처치가 필요한 가상 사례에서 오히려 이를 보류한 응답은 0.6%였다. 그러나 낮은 수치를 곧바로 환자 안전성의 증거로 볼 수는 없다. 가상 문항의 표현, 연구진이 정한 분류 기준, 실제 진료에서 추가 질문이 오가는 과정이 모두 다르다.

미국 예방서비스특별위원회는 증상이 없고 심혈관질환 위험이 낮은 성인에게 예방 목적의 심전도 선별검사를 권하지 않는다. 이는 증상이 있는 사람의 진단 검사까지 하지 말라는 뜻은 아니다. 이 연구의 문항별 판단을 한국 환자의 검사 여부에 그대로 적용해서도 안 된다.

후속 대화 없는 벤치마크

연구는 한 번의 의사용 질문으로 모델을 시험했고 후속 대화는 살피지 않았다. 응답 판정에는 다른 언어모델을 활용하고 의사가 검토했다. 환자가 직접 AI에 증상을 설명하거나 검사 필요성을 되묻는 상황, 실제 진료 결과는 검증하지 않았다. 연구 논문은 외부 연구비 지원이 없다고 명시했다.

‘현명한 선택’ 운동을 운영한 미국내과전문의인증위원회재단은 불필요한 의료서비스를 놓고 환자와 의료진이 대화하도록 권고해 왔다. 이 수치는 정해진 문제은행에서 나타난 모델 응답 비율이다. 개인의 진단이나 처방 판단에 쓸 수 있는 성능 지표는 아니다.

대표 이미지: AI 생성 이미지 / 데이마크

자료: https://www.ebi.ac.uk/europepmc/webservices/rest/search?query=DOI:10.7326/ANNALS-26-01667&format=json&resultType=core
https://www.eurekalert.org/news-releases/1148434
https://choosingwisely.org/patient-resources
https://www.uspreventiveservicestaskforce.org/uspstf/recommendation/cardiovascular-disease-risk-screening-with-electrocardiography