KAIST, AI 미세조정 자료 31%만 써 학습시간 단축…의료 문답 정확도는 소폭 하락

KAIST는 2일 이재길 전산학부 교수 연구팀이 대규모 언어모델의 추가 학습에 쓰는 자료를 선별하고 여러 GPU에 배분하는 기법 ‘CluSTER’를 개발했다고 밝혔다. 연구 논문의 의료 문답 실험에서는 전체 학습 자료의 31%를 쓰자 학습시간이 0.99시간에서 0.30시간으로 줄었고 평가 평균 점수는 48.5점에서 48.0점으로 낮아졌다.

학습 영향으로 묶고 GPU별 자료를 나눠

미세조정은 이미 학습한 언어모델에 특정 분야의 자료를 더 학습시키는 과정이다. CluSTER는 문장의 겉모습보다 모델의 학습 방향에 미치는 영향을 기준으로 자료를 묶는다. 각 묶음에서 다양한 사례를 골라 여러 GPU가 비슷한 자료를 중복 처리하는 일을 줄이고, 원래 자료 분포를 반영하도록 학습 단계의 가중치도 조정한다.

연구진은 코딩 자료 두 종류와 의료 문답 자료 한 종류를 사용했다. 코딩에는 CodeLlama 70억·130억 매개변수 모델을, 의료 문답에는 Llama 2 70억 매개변수 모델을 썼다. 주된 시험에는 H100 GPU 4개를 사용했고 일부 코딩 시험은 8개로 늘렸다.

‘최대 69.6%’는 특정 실험 결과

논문에 제시된 의료 문답 시험에서 전체 자료를 무작위로 학습한 모델의 네 가지 평가 평균은 48.5점, 학습시간은 0.99시간이었다. CluSTER로 자료를 31%까지 줄인 시험에서는 평균 48.0점과 0.30시간을 기록했다. 69.6% 단축은 이 비교의 학습시간 수치로, 모든 모델과 작업에서 같은 폭으로 줄었다는 뜻은 아니다.

코딩 시험에서도 자료 사용량과 평가 결과는 조건에 따라 달랐다. 연구팀이 공개한 깃허브 설명에는 학습시간 최대 감소율이 64.6%로 적혀 있어 논문 초록의 69.6%와 다르다. 이 수치들이 같은 실험을 가리키는지 저장소 설명만으로는 확인되지 않아, 원논문의 의료 문답 시험 수치를 기준으로 보도한다.

의료 활용 효과와는 별개

이번 연구의 의료 평가는 질문·답변 데이터로 추가 학습한 모델이 시험 문제를 얼마나 맞혔는지 측정한 것이다. 실제 진료 현장에서 답변이 안전한지, 환자에게 도움이 되는지는 시험하지 않았다. 결과는 연구진의 제한된 모델·자료·GPU 구성에서 나온 것으로 다른 환경의 비용이나 정확도는 별도로 검증해야 한다.

KAIST 발표는 연구 결과가 10월 EMNLP 2026 학술대회에서 발표됐다고 밝혔다. 논문 사전공개본은 9월 11일 제출됐다. 연구팀은 구현 코드를 공개했지만 공개 코드가 실험 결과의 독립 재현을 뜻하지는 않는다.

대표 이미지: AI 생성 이미지 / 데이마크

자료 출처

KAIST 홍보실 (2026-11-02): https://www.kaist.ac.kr/researchnews/html/news/?mode=V&mng_no=68950&GotoPage=1

Hyunjin Kim 외, arXiv (2026-09-11): https://arxiv.org/html/2609.12584

KAIST DMLab (2026-09 (최신 커밋 페이지 상대시각만 확인)): https://github.com/kaist-dmlab/CluSTER

Aju Press / 김성현 (2026-11-02 09:00): https://www.ajupress.com/view/20261102090070512