심층 해설 · 약 3분 읽기
Nemotron 3.5, 멀티모달 에이전트와 소형 로컬 배포를 구분하다
120B 매개변수 Super VL과 24GB Bolt가 함께 등장했지만 성능과 출시 상태는 모델 및 구성에 따라 다르다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
NVIDIA는 10월 15일 Nemotron 3.5 Super VL과 Bolt 74B-A9B 24GB를 공개했다. 더 작은 Bolt E4B 4GB는 10월 23일 예정으로, 10월 20일 현재는 미래 출시다. 한 모델 제품군의 확장이지만 서버와 로컬 용도는 다르다. 120B Super VL도 Bolt의 24GB 메모리에 들어간다는 뜻은 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 기술 설명에 따르면 Super VL은 전체 1200억 매개변수 중 토큰당 120억을 활성화한다. 활성 매개변수는 전체 모델의 메모리 요구량이 아니다.
- 결과에는 조건이 있다. Dynamo 사례는 B200 GPU 16장과 사용자당 초당 50토큰을 사용하며 소비자 GPU 한 장의 성적이 아니다.
세 변형은 규모와 출시 상태가 다르다
Super VL은 전체 120B 중 토큰당 12B를 활성화하는 전문가 혼합 모델이다. 토큰 계산량은 줄지만 전체 체크포인트가 12B 다운로드가 되는 것은 아니다. 함께 공개된 Bolt 74B-A9B 24GB는 로컬 에이전트 작업용이다. Bolt E4B 4GB는 작은 대화 및 물리 에이전트를 겨냥하며 10월 23일 제공 예정이다. 기존 Lightning 및 Ultra 제품군에 합류한다. 능력 비교와 배포 계획에서는 역할과 출시일 차이를 유지해야 한다.
시각 기능이 다루려는 실제 자료
대상은 OCR, 표, 차트, 웹페이지, PDF, 이미지, 영상처럼 업무에서 접하는 자료다. 통합 모델은 문자와 시각 시스템 사이에 작업을 나누지 않고 맥락을 유지할 수 있다. NVIDIA는 CharXiv 80.8%, Python 코드 해석을 사용할 때 84%를 보고한다. 두 번째는 도구 조건이 추가됐으므로 같은 무도구 환경의 향상이 아니다. 당사는 문서 품질, 도구 접근권, 답 검증을 포함한 전체 업무를 평가 단위로 본다. 추출 정보가 판단을 뒷받침하는지는 이 조건에도 좌우된다.
맞춤화에는 프롬프트 이상의 학습이 필요
공개물에는 가중치, 데이터, 학습 절차와 강화학습 환경이 포함된다. 기술 문서는 NeMo AutoModel의 지도 미세조정 및 LoRA와 NeMo RL·Gym의 강화학습을 설명한다. NVIDIA는 신용 문서 분석과 코딩 에이전트를 파트너 맞춤화 사례로 든다. 모든 고객에게 같은 개선이 있다는 독립 증거는 아니다. 전문 데이터, 평가 사례, 데이터 사용 권한은 별도 전제이며 공개 접근이 각 라이선스 검토를 대신하지 않는다.
효율 수치에는 서비스 구성이 따라야 한다
NVIDIA는 여러 최적화 층을 제시한다. NVFP4는 Blackwell에서 가중치와 활성값을 4비트로, 그 밖에서는 가중치 4비트와 활성값 16비트로 실행한다. 양자화 인식 증류는 낮은 정밀도에서도 동작을 보존하려 한다. 다중 토큰 예측은 후보를 만들고 검증하며 접두어 캐시는 지시, 도구 정의, 기록을 재사용한다. 동급 대비 최대 5배 처리량은 특정 서비스 결과이지 모든 작업 완료 시간이 같은 비율로 줄어든다는 보장이 아니다. 당사는 다른 구성에서 이를 시험하지 않았다.
24GB라는 주장은 Bolt에 해당한다
Bolt 74B-A9B는 네이티브 2비트 양자화를 사용해 RTX와 DGX Spark의 로컬 에이전트용으로 24GB 메모리에 들어간다고 설명된다. 이는 특정 모델 구성이며 Super VL의 메모리나 전체 시스템 구매 사양이 아니다. E4B는 4GB 표기가 있어도 나중 출시라는 상태를 유지한다. 당사는 목표 문맥 길이, 함께 실행되는 앱, 도구 동작도 확인해야 한다고 본다. 로컬 추론은 에이전트의 웹 검색이나 연결 도구까지 자동으로 오프라인으로 만들지 않는다.
배포 경로와 조건이 명확한 Dynamo 사례
Super VL은 Hugging Face, ModelScope, OpenRouter, NIM 등을 통해 제공되며 Bolt에는 llama.cpp, Ollama, LM Studio, Unsloth, vLLM 경로가 있다. NIM은 검증된 구성을 제공하고 기업 지원은 NVIDIA AI Enterprise를 통한다. Dynamo 사례는 B200 16장, 사용자당 초당 50토큰에서 캐시 인식 라우팅과 오프로딩으로 최대 8배 사용자를 처리하면서 첫 토큰 지연을 85% 줄였다는 것이다. 이 조건은 중요하다. 모든 노트북에서 8배 향상되거나 특정 구독의 가격과 이용량이 입증된 것은 아니다.
중요한 이유
문서 중심 에이전트를 위한 자체 호스팅과 맞춤화 선택지 및 별도의 저메모리 로컬 경로가 생겼다. 실제 업무, 도구 권한, 서비스 하드웨어로 판단해야 한다.
제한 및 이용 가능성
당사는 모델을 실행하거나 벤치마크를 재현하지 않았다. 보편적인 상업적 권리, 전체 장비 요구, 호스팅 API 가격, 모든 경로의 동일 품질은 입증되지 않았다.
출처와 근거
원문 게시일: 2026. 10. 15. · 출처 확인일: 2026. 10. 20.
추가 자료
출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.