심층 해설 · 약 3분 읽기
AWS GPT-OSS-20B 실험, 출력 언어 준수와 추론 정확성을 구분한다
소규모 다국어 미세조정은 SFT·GRPO의 역할과 함께 언어별 후퇴와 일반화 한계를 드러낸다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
10월 20일 AWS 가이드는 HyperPod에서 GPT-OSS-20B를 LoRA로 조정해 생성 추론문과 답변을 지정 언어에 맞춘 결과를 보고했다. 새 기반 모델 발표가 아니다. 출력 언어를 측정하므로 수학·사실 정확성이나 추론의 충실도와 혼동하면 안 된다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 50사례에서 추론문 언어 준수는 기본 모델 11/50에서 SFT 후 50/50으로, 답변 언어는 SFT 후 31/50에서 GRPO 후 35/50으로 바뀌었다.
- 답변 언어 이득은 8퍼센트포인트, 네 사례다. 이탈리아어는 60%에서 40%로 내려 모든 언어가 개선된 것은 아니다.
50사례가 실제로 측정한 것
과제는 생성 추론문과 최종 답을 영어·프랑스어·독일어·스페인어·이탈리아어 중 지정 언어로 쓰는 것이다. 수학·논리 10문제를 5언어로 평가해 50사례다. 설명된 데이터는 학습 약 949개, 검증 50개다. 지표는 두 출력 부분의 언어를 확인하며 수학 해답의 정오를 채점하지 않는다. 기본 추론 언어 22%는 영어 전부와 독일어 한 사례였다. 프랑스어·스페인어·이탈리아어 성공 0건은 그 시험의 행동 격차이지 모델 분포상 해당 행동의 확률이 엄밀히 0이라는 증거가 아니다.
SFT의 학습도 단계적이다
SFT는 LoRA rank 8·alpha 16으로 1000스텝 학습하며 네 ml.g6e.12xlarge의 L40S 48GB 16개, FSDP·bf16·gradient checkpointing을 쓴다. AWS는 약 200스텝에 추론 언어 100%를 보고하지만 1000스텝 답변 언어는 62%다. 언어를 배웠다는 표현에는 출력 구간과 평가 집합을 밝혀야 한다. GPT-OSS 초기 SFT·GRPO는 TRL을 쓰고 HyperPod EKS와 FSx for Lustre가 기반이다. 뒤의 Qwen 대조는 다른 스택이므로 두 구성을 서로 바꿔 쓸 성능 측정으로 보면 안 된다.
GRPO의 전체 향상에는 언어별 대가가 있다
SFT 어댑터를 합치고 새 rank 8·alpha 16 LoRA를 붙여 프롬프트당 후보 여덟 개를 만든다. 보상은 답변 언어 ±5, 추론 언어 ±1.5를 중시하고 작은 간결성 항을 더한다. GRPO는 같은 그룹 후보의 상대 보상을 비교하므로 유용한 후보 차이가 중요하다. 선택 결과는 추론 언어 100%를 유지하며 답변 언어를 62→70%로 높였다. 프랑스어 60→70%, 독일어 60→80%, 스페인어 30→60%, 영어 100% 유지지만 이탈리아어 60→40%다. 언어당 열 사례여서 하나가 10포인트를 바꾼다. 제한된 전체 개선이지 보편적인 다국어 향상이 아니다.
대조는 여유를 시험하며 보편적 상한은 아니다
AWS는 veRL·Ray·KubeRay·vLLM의 내부 Qwen2.5-7B-Instruct 대조도 보고한다. SFT에서 GRPO로 답변 언어는 38→44%, 추론 언어 96→98%다. GSM8K 200사례에서 기본과 30스텝 GRPO는 모두 181/200, 90.5%였다. 저자는 그룹의 상대 보상 신호 부족과 연결하지만 전역적 품질 상한이나 다른 GRPO 설정의 실패를 입증하지 않는다. 자원 투입 전 후보 다양성·보상 정의·언어 후퇴를 별도 정의한 인수 집합으로 확인해야 한다. AISubHub는 학습·매니페스트 실행·유료 API 재현을 하지 않았다.
중요한 이유
AISubHub 분석: 행동 격차를 정의해 방법을 고르고 언어·실패별로 확인해야 한다. 전체 향상과 제품의 핵심 언어 후퇴가 동시에 생길 수 있다.
제한 및 이용 가능성
AWS 보고 실험이며 자체 측정이 아니다. 작은 언어 준수 평가는 일반 추론 품질·광범위 언어·학습 경제성을 입증하지 않는다. 별도 Qwen 대조 저장소는 아직 공개되지 않았다고 한다.
출처와 근거
원문 게시일: · 출처 확인일:
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.