심층 해설 · 약 5분 읽기
VocabX: 포르투갈어 작문 채점기에서 어휘 설계를 비용 문제로 다루기
Dharma-AI의 비용 가중 토크나이저 특화를 단일 채점기의 측정, 품질 반례, 더 넓은 추정 비교로 나누어 살펴본다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
Dharma-AI는 10월21일 글에서 소형 언어 모델의 어휘 특화 연구 미리보기인 VocabX를 소개했다. 가장 직접적인 근거는 포르투갈어 작문 채점이라는 하나의 작업을 통제해 비교한 실험이다. 보고된 77.0% 비용 감소는 그 구성의 결과이며, Qwen 모델이나 호스팅 API의 가격 인하 발표가 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 시스템·사용자·응답 토큰의 서빙 비용을 따로 가중하며, 제거한 모든 토큰에 같은 가치를 주지 않는다.
- 채점기 실험에서는 조금 더 긴 응답이 점수 결정 경계를 보존하고 가장 압축적인 매크로 표현보다 나았다.
- 한 작업의 측정 실행 시간으로 계산한 비용과15개 도메인·모델 조합의 추정 비용은 서로 다른 근거다.
1. 이 채점기에서는 무엇에 비용이 드는가
Dharma-AI가 설명하는 운영 채점기는 포르투갈어 작문, 과제와 참고 텍스트를 받아 점수와 의견을 JSON으로 반환한다. Qwen3-4B의 기본 토크나이저는 훨씬 다양한 언어와 텍스트를 위해 설계됐다. 따라서 반복되는 응답 구조에도 많은 생성 단계가 필요하고, 매 단계는 이 좁은 작업에서 거의 쓰지 않는 어휘 항목까지 평가한다. 생성 단계 줄이기와 출력 점수화 계층 줄이기는 서로 다른 최적화 목표다. 어느 쪽도 보고된 비용 감소율만큼 모델 전체가 작아졌다는 뜻이 아니다.
글은 prefill이 여러 입력 토큰에 가중치 읽기를 재사용할 수 있는 반면 순차 decode는 가중치와 커지는 KV 캐시도 옮긴다고 설명한다. 이 채점 사례에서 출력 토큰 비용은 입력의7.4배였다고 하지만, 하드웨어·배치·문맥 길이에 따라 비율이 달라진다. 이 크기 모델의 LM head는 전체 파라미터의 거의10%다. 어휘는151,669개에서64,767개로, 출력 행은 약152,000개에서65,000개로 줄어든다. 어휘와 출력 계층의 수이지 전체 모델 파라미터가77% 감소한 것이 아니다.
2. 비용 가중은 어휘 선택을 어떻게 바꾸는가
VocabX는 시스템 프롬프트, 사용자 메시지, 모델 응답에서 절약한 토큰을 다르게 평가한다. 같은 빈도로 나타나도 출력에서 반복되는 표현이 입력 표현보다 더 가치 있을 수 있다. 두 계층은 다른 반복을 다룬다. 서브워드 계층은 도메인 단어 분할을 다시 만들고, 매크로 토큰은 반복되는 긴 구간을 표현한다. 각 계층에는 비용 기준 아래 별도 예산이 있다. 다만 원문은 LM head 계산 항목이 선택 기준에 포함되지 않는다고 명시한다. 어휘 크기는 기본 서브워드 어휘를 대체하고 매크로 예산을 제한하는 두 단계로 별도 관리한다.
다섯 마이너는 긴 단어, 전체 줄, 표현, 완전한 문장, JSON처럼 구두점이 있는 구조를 찾는다. 후보는 겹칠 수 있으므로 한 구간을 고른 뒤에는 다른 후보가 처음 약속한 토큰을 모두 절약하지 못할 수 있다. 본 사이트는 이를 단순한 고빈도 구문 목록이 아니라 제약이 있는 한계 이득 문제로 해석한다. 어느 필드에서 반복되는지, 앞선 선택이 무엇을 덮었는지, 몇 항목을 유지할 수 있는지를 함께 봐야 한다. 전체 토큰 수만으로 이런 절충을 해결할 수 없다.
3. 표본에 보이지 않아도 가치가0인 것은 아니다
원문은50,000개 문서에37번 등장하는 표현을 예로 든다. 400개 문서 표본에서 이를 볼 확률은 약26%뿐이다. 계약서 코퍼스에서는 같은 크기 표본에 나타나는 후보가16.6%에 불과하다. 보이지 않는 후보를 전부 무가치하게 취급하면 유용한 특화 기회를 버릴 수 있다. 이는 어휘 선택의 표본 문제이지, 측정된 모델 실패율이나 작문 채점 정확도가 아니다.
이 방법은 후보가 전체 코퍼스에서 절약할 양과 이미 고른 토큰이 아직 덮지 않은 비중을 나눈다. 저자들은 전자를 정확히 셀 수 있고 후자의 중복 조정만 추정하면 된다고 설명한다. 표본에서 보이지 않는 후보에는 보이는 후보의 통계로 자동적인0을 대체한다. 같은 표본·예산에서 계약서 토큰 감소율은44.7%에서52.8%로8.1퍼센트포인트 올랐다고 보고한다. 이 비교는 해당 실험 안의 표본 개선을 뒷받침하지만, 문서 분포가 달라져도 같은 이득을 보장하지 않는다.
4. 가장 짧은 표현이 가장 좋은 판단 체계는 아니었다
채점기 비교는 같은 기반 모델, 데이터, 학습 방식과 시드로 일곱 버전을 학습하고 토크나이저만 바꾼다. 모두 RTX 5090과 vLLM에서 같은500개 요청을 실행하고 측정된 실행 시간으로 비용을 계산한다. 저자들은 평균 출력이350개에서101개 토큰으로 줄고, 비용은77.0% 감소하며, bench는0.703에서0.810으로 올랐다고 보고한다. 이 점수는 채점 정확도와 주제 이탈·규칙 위반 작문 판별을 합친 것이다. 보편적인 모델 점수나 본 사이트가 독립 검증한 고객 청구서가 아니다.
중요한 반례는 평가 항목의 점수와 주변 JSON을 하나의 매크로로 합친 방식이다. 가장 짧았지만 bench는 기준0.703보다 낮은0.689였다. 점수를 분리하면 응답당 두 토큰이 늘지만0.810으로 회복하고, 비용 감소도 결합 버전73.3%보다 나은77.0%에 도달했다. 압축 토큰이 실질적인 판단과 형식을 한 번의 선택으로 묶었던 것이다. 본 사이트는 이 결정 경계를 보존하고 품질을 명시적으로 시험해야 한다고 본다. 최대 압축이 최소 실행 시간이나 판단 품질 유지를 뜻한다고 가정할 수 없다.
5. 다른 작업에 옮길 수 있는 것과 남은 검증
확장 비교는 계약서, 의학 논문, 과학 논문, 뉴스, Python 코드의 다섯 도메인과 Qwen3·Llama-3.1·Gemma-3를 조합한15개 조건이다. 마이닝·시험 문서와 어휘 상한을 맞췄다. 저자들이 보고한 가장 강한 대조군 대비 압축 우위는1.2–9.3퍼센트포인트이며, 평균 추정 비용 우위는 Qwen3에서10.2, Llama-3.1에서7.5, Gemma-3에서13.6포인트다. 채점기의 측정77.0%를15번 반복한 것이 아니다. 계약서 가지치기 버전은113,426개 항목으로62.6% 토큰 감소를 얻었고, 최선의 in-place BPE는207,803개로61.8%였다.
대조 방법에는 어휘 이전, 다중 단어 토큰화, in-place BPE가 포함되지만 본 사이트는 해당 논문을 별도로 읽거나 비교를 재현하지 않았다. 완전한 VocabX 논문은 아직 공개 예정이다. 적용하려면 호환되는 토크나이저·토큰 임베딩·출력 헤드와 적절한 학습·품질 검사가 필요하며, 클라이언트가 호스팅 API의 토크나이저를 바로 바꿀 수 있다는 뜻이 아니다. 언어와 형식이 변하면 절약과 판단도 달라질 수 있다. 배포 전 자기 부하에서 시간과 품질을 다시 측정해야 하며, 미리보기로부터 제품 제공, 라이선스나 일반 API 가격 인하를 추론하면 안 된다.
중요한 이유
AISubHub 분석: 토크나이저 설계도 학습 및 서빙 설정과 함께 특화 실험에 포함해야 한다. 예정된 작업 부하에서 품질과 실행 시간을 비교해야 하며, 토큰 감소만으로 더 저렴하거나 신뢰할 수 있는 배포를 입증할 수는 없다.
제한 및 이용 가능성
팀이 직접 쓴 연구 미리보기다. 논문은 준비 중이며 보고된 버전도 검토 중이라 바뀔 수 있다. 본 사이트는 실험을 재현하거나 인용된 외부 논문을 읽지 않았다. 가격, 라이선스, 호스팅 서비스 호환성을 확립하는 결과가 아니다.
출처와 근거
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.