Análisis en profundidad · Unos 8 min de lectura
La guía de RL multiturno de AWS incorpora recompensa, decodificación y factura completa al resultado
Un tutorial de Wordle en SageMaker AI informa de mejoras en gpt-oss-20b y muestra por qué deben conservarse las condiciones de evaluación, los errores de recompensa y los costes de AgentCore.
- Publicado aquí
- Fecha de la fuente
- Fuente revisada
AWS ha publicado una guía práctica de seguimiento sobre aprendizaje por refuerzo de varios turnos en SageMaker AI. El artículo técnico del 23 de octubre entrena gpt-oss-20b para jugar a Wordle y explica fallos de recompensa, problemas operativos y condiciones de evaluación. Aporta nueva evidencia de implementación de un servicio existente; no vuelve a anunciar la disponibilidad general de las sesiones de entrenamiento ni un nuevo modelo base.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- Con 128 palabras reservadas, AWS informa de 61%→84% de resolución con razonamiento medio y temperatura 1.0; con razonamiento bajo y la misma temperatura obtiene 15%→69%.
- La ejecución de 100 pasos utilizó 105,486 rollouts en 12h40m; los cargos de tokens del modelo —prefill, muestreo y entrenamiento— sumaron $338.50. Aproximadamente $79 de AgentCore se contabilizan aparte.
- La guía muestra cómo una recompensa mal ponderada favorecía soluciones lentas y por qué el 37% final de validación durante el entrenamiento no equivale al 84% de evaluación en servicio.
El objetivo de entrenamiento es un episodio, no una respuesta modelo
Un agente de varios pasos necesita señales sobre su secuencia de decisiones, no solo una respuesta de ejemplo que imitar. En la arquitectura de AWS, SageMaker AI gestiona el trabajo de entrenamiento y el modelo de política; un runtime de AgentCore aloja un agente Strands, el entorno y la puntuación. El agente pide una propuesta al modelo, recibe las pistas de Wordle y comunica una recompensa al terminar. GRPO compara varios rollouts de la misma palabra y actualiza un adaptador LoRA. Las cinco letras y seis intentos facilitan puntuar el resultado; es una tarea didáctica, no evidencia de un flujo productivo.
El ejemplo separa 640 palabras de entrenamiento de 128 reservadas. Cada fila contiene una palabra secreta para el entorno, nunca una pista de respuesta para la política. No hay respuestas objetivo ni trayectorias etiquetadas. Se usan 100 pasos,128 palabras por paso y ocho partidas por palabra, con razonamiento bajo y temperatura 1.0. Esta separación importa: un entorno y una recompensa funcionales aportan la señal de aprendizaje, pero siguen siendo responsabilidad del cliente.
La recompensa puede subir mientras empeora la conducta buscada
El primer diseño acumulaba bonificaciones después de cada intento. Podía asignar+0.49 a una derrota,+0.99 a una solución al primer intento y+1.61 a otra al tercero, premiando un camino más largo frente a un mejor desenlace. El diseño final hace dominante el resultado del episodio: resolver otorga desde 1.55 en el primer intento hasta 1.05 en el sexto; perder vale−0.5 y no producir un intento válido,−1.5. La coherencia con las pistas, la repetición y la ganancia de información aportan ajustes menores de moldeado.
El moldeado se recorta entre−1 y 1 y se pondera con 0.04 en partidas resueltas y 0.15 en las demás. Un peso anterior de 0.15 para las resueltas aún podía favorecer acabar más tarde; reducirlo separa los intervalos de éxito adyacentes y mantiene la peor solución por encima del umbral de éxito. AISubHub interpreta que la lección operativa es inspeccionar trayectorias reales y contrastar el orden de las recompensas con la conducta deseada. Una recompensa media creciente no demuestra por sí sola que el agente aprendiera el objetivo correcto.
La mejora principal depende del razonamiento y del muestreo
En 128 palabras reservadas, el modelo base resuelve 61% y el entrenado 84% con razonamiento medio y temperatura 1.0:23 puntos porcentuales de mejora. El 84% entrenado promedia dos ejecuciones,80% y 88%. Con razonamiento bajo y temperatura 1.0, la comparación es 15%→69%, o 54 puntos. A temperatura 0, el gráfico muestra 2%→37% con razonamiento bajo y 16%→30% con medio. Son cuatro condiciones distintas, no estimaciones intercambiables de una mejora universal.
Durante el entrenamiento, la validación usa razonamiento bajo y temperatura 0 fijada por el servicio. La curva alcanza 48% en el paso 90 y termina en 37%, mientras el resultado principal en servicio usa razonamiento medio y muestreo. La fuente relaciona explícitamente la diferencia con la decodificación. El razonamiento bajo utilizó 63–83% menos tokens muestreados por partida que el medio en las evaluaciones de los autores; no garantiza esa reducción en el coste total. El conjunto reservado es pequeño y AWS no estableció resultados para herramientas, idiomas o tareas empresariales arbitrarias.
Los tokens de entrenamiento no son toda la factura
La ejecución de 100 pasos duró 12h40m y procesó 105,486 rollouts. La tabla recoge 491,616,806 tokens de prefill a $0.12 por millón, por $58.99;159,737,098 tokens muestreados a $0.30, por $47.92; y 643,308,554 tokens de entrenamiento a $0.36, por $231.59. El total es $338.50, aproximadamente $339 redondeados. Son precios de lista de GPT-OSS-20B en us-east-1 en el momento del artículo. Conservamos el símbolo$ de la fuente sin asignarle independientemente una moneda ni presentarlo como cotización actual y universal.
CPU y memoria de AgentCore añaden aproximadamente $79 aparte, y las evaluaciones unos $1.20. El prefill incluye releer el historial; los tokens muestreados incluyen razonamiento, y el entrenamiento con propagación hacia atrás es el mayor cargo indicado. Por eso trayectorias más largas afectan a varios medidores. La guía advierte además de que recursos de AgentCore, MLflow y S3 pueden persistir tras entrenar. AISubHub ve un ejemplo contable útil, pero no verificó una factura ni estableció un coste integral que incluya todos los recursos retenidos y el despliegue posterior.
Los fallos del runtime pueden invalidar un experimento bien planteado
La guía documenta problemas que ocultaría una cifra de precisión aislada. El rol del trabajo necesita el principal de confianza job.sagemaker.amazonaws.com y permisos AssumeRole y TagSession. Un decorador de handler no arranca por sí solo el servidor: el ejemplo requiere BedrockAgentCoreApp y un decorador entrypoint en la posición más externa. Datos, runtime y trabajo deben usar la misma región. Volver a desplegar el runtime durante el entrenamiento interrumpe rollouts y puede hacer fallar el trabajo.
Treinta y dos rollouts simultáneos también revelaron la caducidad de credenciales en caché; los autores describen su renovación preventiva y una nueva firma tras un fallo de autorización. El presupuesto de tokens podía no dejar espacio para llamar a herramientas, y una tasa de aprendizaje excesiva podía convertir llamadas estructuradas en texto simple. Son lecciones de implementación, no garantías de fiabilidad. Leímos los ejemplos incluidos, pero no instalamos dependencias, invocamos APIs de AWS, ejecutamos la prueba de humo, entrenamos un adaptador ni reprodujimos las correcciones.
Qué puede trasladarse más allá de este tutorial de Wordle
La tabla de modelos se limita a la fecha de redacción: Nova2Lite y GPT-OSS-20B en us-east-1 y us-west-2, y Gemma4 31B ajustado para instrucciones y Qwen3.6 27B en us-west-2, usando LoRA. No establece compatibilidad con todos los modelos, regiones o cuentas. Tampoco este seguimiento vuelve a lanzar esos modelos ni el servicio separado de sesiones de entrenamiento, ya cubierto anteriormente.
El diseño transferible es revisar por separado resultado de tarea, incentivos de moldeado, configuración de servicio y coste total de recursos. Un flujo empresarial necesitaría su propio entorno, una recompensa defendible y evaluación reservada representativa antes de afirmar beneficios. Nuestra lectura abarca el artículo completo, todas las tablas y siete figuras estáticas necesarias. No auditamos documentación, artículos científicos, repositorio ni licencias enlazados; tampoco hicimos pruebas independientes de rendimiento, precios o seguridad. Los resultados siguen siendo el experimento acotado de Wordle comunicado por AWS.
Por qué importa
La guía ofrece formas concretas de examinar un proyecto de entrenamiento multiturno: comprobar el orden de las recompensas, comparar condiciones de decodificación idénticas y presupuestar modelo y runtime del agente. Si esas decisiones mejoran otro flujo de trabajo deberá medirse en ese flujo.
Límites y disponibilidad
AWS informa de un solo experimento de Wordle con 128 palabras reservadas; la tasa principal del modelo entrenado promedia dos ejecuciones. Revisamos toda la guía y siete figuras, no la documentación, repositorios o licencias enlazados, y no hicimos pruebas de entrenamiento, API, facturación ni despliegue. Precios y condiciones de modelos y regiones corresponden al momento de la fuente.
Fuentes y pruebas
Fecha de la fuente: · Fuente revisada:
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.