엔비디아, 문서·영상 읽는 네모트론 3.5 모델 공개…가중치 배포

엔비디아가 15일 문서와 영상을 읽고 도구를 사용할 수 있는 공개 가중치 AI 모델 ‘네모트론 3.5 슈퍼 VL’을 내놨다. 노트북·소형 기기용으로 설계한 ‘볼트’ 모델도 함께 발표했지만 제품마다 구동에 필요한 하드웨어와 배포 시점은 다르다.

슈퍼 VL은 전체 매개변수 1200억 개 가운데 입력 토큰을 처리할 때 120억 개를 활성화하는 혼합 전문가 구조다. 엔비디아가 허깅페이스에 올린 모델 카드에 따르면 텍스트·이미지·영상을 입력받아 텍스트를 출력하고, 최대 문맥 길이는 100만 토큰이다. 실제 설정에서는 GPU 메모리와 동시 처리량에 따라 더 짧은 문맥을 쓸 수 있다.

내려받는 가중치와 실제 구동 환경

고정밀 BF16 가중치는 공개돼 있다. 모델 카드가 제시한 예시 구동 환경은 H100 GPU 4대 또는 GB200 GPU 2대다. ‘공개 모델’이라는 말이 일반 노트북 한 대에서 고정밀 모델을 바로 돌릴 수 있다는 뜻은 아니다. 사용 조건은 OpenMDW 1.1 라이선스를 따라야 한다.

엔비디아는 별도로 ‘볼트 74B-A9B 24GB’를 로컬 작업용으로 내놓았다. 회사는 2비트 양자화로 메모리 사용량을 24GB에 맞췄다고 설명한다. 더 작은 ‘볼트 E4B 4GB’는 23일 공개할 예정이므로 현재 배포된 모델로 묶어서는 안 된다.

성능 수치는 회사 발표와 구분

엔비디아는 슈퍼 VL의 처리 속도가 동급 모델보다 최대 5배 높다고 홍보했다. 이는 회사가 제시한 비교 조건에 따른 주장으로, 모든 업무나 하드웨어에서 같은 차이가 난다는 독립 검증 결과는 아니다. 허깅페이스의 델 엔터프라이즈 허브는 BF16 모델의 배포 가능 상태와 매개변수 구성을 별도로 안내하지만 속도 주장을 확인해 주지는 않는다.

모델 카드도 실제 업무에 넣기 전 사용 사례별 시험과 안전성 검증이 필요하다고 적었다. 문서 이해나 코딩 업무에 쓸 수 있다는 제품 설명과 특정 조직에서 정확하게 작동한다는 입증은 구별해야 한다.

대표 이미지: AI 생성 이미지 / 데이마크

자료: https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/

모델 카드: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16

배포 안내: https://dell.huggingface.co/updates/muse-spark-open-nvidia-nemotron-3-5-super-vl