Análisis en profundidad · Unos 4 min de lectura
El experimento GPT-OSS-20B de AWS separa idioma de salida y corrección del razonamiento
El estudio pequeño de ajuste multilingüe muestra aportes de SFT y GRPO, una regresión por idioma y límites de generalización.
- Fecha de la fuente
- Publicado aquí
- Fuente revisada
La guía AWS del 20 de octubre ajusta GPT-OSS-20B con LoRA en HyperPod para que razonamiento generado y respuesta sigan el idioma pedido. Es personalización, no un nuevo modelo base. El resultado mide idioma de salida, no corrección matemática, exactitud factual o fidelidad del razonamiento.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- En 50 casos, el idioma del razonamiento fue correcto en 11/50 salidas base y 50/50 tras SFT. El idioma de respuesta pasó de 31/50 con SFT a 35/50 con GRPO.
- La ganancia son 8 puntos porcentuales, cuatro casos; italiano bajó del 60% al 40%, de modo que no mejoraron todos los idiomas.
Qué miden realmente los 50 casos
La tarea exige razonamiento generado y respuesta final en inglés, francés, alemán, español o italiano. Se evalúan diez problemas matemáticos/lógicos en cinco idiomas, 50 casos. El conjunto descrito tiene aproximadamente 949 ejemplos de entrenamiento y 50 de validación. Las métricas preguntan qué idioma usan razonamiento y respuesta, no si la solución matemática es correcta. El cumplimiento base del razonamiento fue 22%, con todos los ejemplos ingleses y uno alemán. Cero éxitos observados en francés, español o italiano muestra una carencia en esa prueba, no que la conducta tenga probabilidad estrictamente cero en la distribución del modelo.
SFT enseña la conducta por etapas
El ajuste usa LoRA rango 8, alfa 16 y 1.000 pasos, con 16 GPU L40S de 48GB en cuatro ml.g6e.12xlarge, FSDP, bf16 y gradient checkpointing. AWS reporta 100% en idioma de razonamiento cerca del paso 200; en el paso 1.000 el idioma de respuesta sigue en 62%. Decir que aprendió el idioma exige precisar segmento y evaluación. SFT y el GRPO inicial de GPT-OSS usan TRL, sobre HyperPod con EKS y FSx for Lustre. El control Qwen posterior usa otra pila; sus configuraciones no son mediciones de rendimiento intercambiables.
GRPO aporta una mejora con contrapartida
Desde SFT se combina el adaptador y se añade otro LoRA rango 8, alfa 16, con ocho generaciones por prompt. Las recompensas priorizan idioma de respuesta ±5, razonamiento ±1,5 y un término menor de brevedad. GRPO compara respuestas dentro del grupo y favorece recompensas relativamente mejores: importa que existan candidatos útiles diferentes. El resultado elegido mantiene razonamiento en 100% y sube respuesta de 62% a 70%. Francés pasa 60→70%, alemán 60→80%, español 30→60%, inglés conserva 100%, pero italiano cae 60→40%. Con diez casos por idioma, un caso mueve diez puntos. Es refinamiento agregado modesto, no mejora multilingüe universal.
El control prueba margen, no un techo universal
AWS reporta también un control interno Qwen2.5-7B-Instruct con veRL, Ray, KubeRay y vLLM. De SFT a GRPO, respuesta en el idioma pedido pasa 38→44% y razonamiento 96→98%. En 200 casos GSM8K, base y GRPO en el paso 30 logran 181/200, 90,5%. Los autores relacionan la falta de ganancia con grupos sin señal relativa suficiente. No demuestra un techo global de calidad ni que cualquier otro GRPO falle. Antes de gastar recursos, inspeccione diversidad, recompensa y regresiones lingüísticas, con aceptación definida aparte. AISubHub no entrenó modelos ni ejecutó los manifiestos o pagó APIs para reproducir resultados.
Por qué importa
Análisis AISubHub: defina la conducta que falta y examine cada idioma y fallo. Una mejora agregada puede convivir con una regresión en el idioma más importante del producto.
Límites y disponibilidad
Son experimentos reportados por AWS, no mediciones nuestras. La evaluación pequeña de cumplimiento lingüístico no demuestra razonamiento general, cobertura amplia ni economía de entrenamiento. El repositorio del control Qwen aún no era público.
Fuentes y pruebas
Fecha de la fuente: 20 oct 2026 · Fuente revisada: 21 oct 2026
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.