詳しい解説 · 読了目安 4 分
AWSのGPT-OSS-20B実験：指定言語の遵守と推論の正しさは別指標
小規模な多言語微調整はSFTとGRPOの役割を示す一方、言語別の後退と一般化の限界も示した。
- 原典の公開日
- 当サイトの公開日
- 出典確認日
10月20日のAWSガイドはHyperPod上でGPT-OSS-20BをLoRA調整し、生成する推論文と回答を指定言語へ合わせる実験を報告した。新基盤モデルの発表ではない。結果は出力言語の評価であり、数学・事実の正確性や思考の忠実性と混同してはならない。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- 50例で推論文の指定言語遵守は基盤の11/50からSFT後50/50へ。回答言語はSFT後31/50からGRPO後35/50へ増えた。
- 回答言語の改善は8ポイント、4例分。イタリア語は60%から40%へ落ち、全言語が改善したわけではない。
50例が測る対象を先に定義する
課題は推論文と最終回答を英・仏・独・西・伊の指定言語で出すこと。数学・論理10問を5言語で試すため50例になる。説明されたデータは訓練約949例、検証50例。指標は二つの出力部分の言語を判定し、数学解答の正誤は判定しない。基盤の推論言語22%は英語全例とドイツ語1例からなる。仏・西・伊で成功が観察されないことはこの試験での行動不足を示すが、モデル分布で成功確率が厳密にゼロと証明するものではない。
SFTで学ぶ行動にも段階がある
SFTはLoRA rank 8、alpha 16で1000ステップ、4台のml.g6e.12xlarge上のL40S 48GBを16枚使い、FSDP、bf16、勾配チェックポイントを設定する。約200ステップで推論言語100%となるが、1000ステップの回答言語は62%だった。「言語を学んだ」は出力のどの部分か、どの評価集合かを付記すべきだ。GPT-OSSの初期SFTとGRPOはTRLを使い、基盤にはHyperPod EKSとFSx for Lustreがある。後述Qwen対照は別スタックで、構成を交換可能な性能測定として扱えない。
GRPOの総合改善には言語別の代償がある
SFTのアダプターを統合し、新しいrank 8、alpha 16のLoRAを加え、各プロンプトに8候補を生成する。報酬は回答言語±5、推論言語±1.5を重視し、小さな簡潔性項もある。GRPOは同じ群の候補を比べ、相対的に良い報酬へ寄せるため、有用な候補差が重要になる。選択結果は推論言語100%を保ち回答言語62→70%。仏60→70%、独60→80%、西30→60%、英100%維持だが、伊60→40%だった。各語10例なので1例が10ポイント動かす。限定的な総合改善であり、普遍的な多言語向上ではない。
対照は改善余地を調べ、世界的上限を示さない
AWSはveRL、Ray、KubeRay、vLLMを使う内部Qwen2.5-7B-Instruct対照も報告する。多言語でSFTからGRPOへの回答言語は38→44%、推論言語96→98%。GSM8K 200例では基盤と30ステップGRPOとも181/200、90.5%だった。著者は群内の相対報酬信号が乏しい点と関連付けるが、品質が普遍的上限に達したことや別GRPO設定の失敗を証明しない。資源投入前に候補多様性、報酬定義、言語後退を別に定義した受け入れ集で確認したい。本站はモデル訓練やマニフェスト実行、課金APIでの再現を行っていない。
注目する理由
AISubHub分析：行動上の不足を定義して手法を選び、言語別の失敗も見るべきだ。総合改善と、製品で最重要の言語の後退は同時に起こりうる。
制約と提供状況
AWSによる実験報告で本站の測定ではない。小規模な言語遵守試験は一般推論力、広範な言語対応、訓練採算を示さない。別のQwen対照のリポジトリは未公開とされる。
出典と根拠
原典の公開日: 2026/10/20 · 出典確認日: 2026/10/21
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。