Análise aprofundada · Cerca de 3 min de leitura
Experimento GPT-OSS-20B da AWS distingue idioma de saída de raciocínio correto
Estudo pequeno de ajuste multilíngue mostra onde SFT e GRPO ajudaram, com regressão por idioma e limites de generalização.
- Data da fonte
- Publicado aqui
- Fonte verificada
O guia AWS de 20 de outubro ajusta GPT-OSS-20B com LoRA no HyperPod para raciocínio gerado e resposta seguirem o idioma pedido. É personalização, não novo modelo base. O resultado mede idioma de saída, não matemática correta, precisão factual ou fidelidade do raciocínio.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- Em 50 casos, raciocínio no idioma pedido passou de 11/50 no base a 50/50 após SFT. Idioma da resposta passou de 31/50 com SFT a 35/50 com GRPO.
- O ganho é de 8 pontos percentuais, quatro casos; italiano caiu de 60% a 40%, portanto nem todo idioma melhorou.
O que os 50 casos medem
A tarefa pede raciocínio gerado e resposta em inglês, francês, alemão, espanhol ou italiano. São dez problemas de matemática/lógica em cinco idiomas, 50 casos. O conjunto descrito tem cerca de 949 exemplos de treino e 50 de validação. Métricas verificam idioma do raciocínio e da resposta, não a correção matemática. O base obteve 22% no raciocínio, com todos os casos ingleses e um alemão. Zero sucessos observados em francês, espanhol e italiano indica lacuna nesse teste, não probabilidade rigorosamente nula do comportamento na distribuição do modelo.
SFT aprende a conduta em etapas
A configuração usa LoRA rank 8 e alpha 16 por 1.000 passos, com 16 GPUs L40S 48GB em quatro ml.g6e.12xlarge, FSDP, bf16 e gradient checkpointing. A AWS relata 100% no idioma do raciocínio por volta do passo 200; no passo 1.000, idioma da resposta ainda fica em 62%. Dizer que aprendeu o idioma exige indicar segmento e avaliação. SFT e GRPO inicial do GPT-OSS usam TRL, com HyperPod EKS e FSx for Lustre. O controle Qwen posterior usa outra pilha; configurações não equivalem a medições intercambiáveis de desempenho.
GRPO refina com uma perda localizada
Partindo do SFT, o experimento mescla o adaptador e adiciona novo LoRA rank 8, alpha 16, com oito gerações por prompt. Recompensas priorizam idioma da resposta ±5, raciocínio ±1,5 e menor termo de brevidade. GRPO compara respostas dentro de grupos e favorece recompensas relativas superiores; diversidade útil importa. O resultado escolhido mantém raciocínio em 100% e eleva resposta de 62% a 70%. Francês vai 60→70%, alemão 60→80%, espanhol 30→60%, inglês segue 100%, mas italiano cai 60→40%. Com dez casos por idioma, um caso altera dez pontos. É refinamento agregado modesto, não melhora universal multilíngue.
O controle verifica margem, não um teto global
A AWS também relata controle interno Qwen2.5-7B-Instruct com veRL, Ray, KubeRay e vLLM. De SFT a GRPO, idioma da resposta sobe 38→44% e raciocínio 96→98%. Em 200 casos GSM8K, base e GRPO no passo 30 fazem 181/200, 90,5%. Os autores associam a ausência de ganho a grupos com pouco sinal relativo de recompensa. Isso não prova teto global de qualidade nem fracasso necessário de qualquer outro GRPO. Antes de gastar recursos, examine diversidade, recompensa e regressões, usando aceitação definida separadamente. A AISubHub não treinou, executou manifestos ou pagou APIs para reproduzir os resultados.
Por que importa
Análise AISubHub: defina a lacuna de comportamento e examine cada idioma e falha. Melhora agregada pode coexistir com regressão justamente no idioma mais importante do produto.
Limites e disponibilidade
São experimentos relatados pela AWS, não medições nossas. O teste pequeno de conformidade linguística não demonstra qualidade geral, cobertura ampla ou economia. O repositório do controle Qwen ainda não era público.
Fontes e evidências
Data da fonte: 20 de out. de 2026 · Fonte verificada: 21 de out. de 2026
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.