Análisis en profundidad · Unos 4 min de lectura
Qwen en Qoder CLI: cinco cargas explican por qué una puntuación no clasifica todo
La comparación del 15 de octubre muestra compromisos de ingeniería, con una sola generación por modelo y tarea.
- Publicado aquí
- Fecha de la fuente
- Fuente revisada
Alibaba Cloud compara el 15 de octubre Qwen3.8-Max, Claude Opus 4.8, GPT-5.6 Sol y Claude Fable 5 en Qoder CLI. Describe autonomía, entregables y scripts, pero limita los resultados a modelo más harness y una ejecución por tarea, no un ranking universal.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- Incluye rollo 3D procedural, servidor KV Rust, cuatro prompts frontend, análisis OpenAlex congelado y animación de 92 segundos. Los modelos externos usan entorno experimental, no productos comerciales.
- Todos habrían pasado 27 pruebas privadas KV. Las diferencias pequeñas entre los tres mejores quedan bajo la variación entre ejecuciones; cinco repeticiones de rendimiento no son cinco generaciones del agente.
Un harness común también limita la conclusión
Los cuatro usan herramientas, entorno y feedback de Qoder CLI iguales. Reciben un prompt sin seguimiento humano y algunas tareas duran horas. Eso controla una variable, pero mide modelo+harness. Los modelos externos usan montaje experimental, no sus aplicaciones habituales. El autor dice publicar prompts, datos, entregables y scripts; no verificamos esos enlaces. Una generación por tarea no estima la distribución de resultados del agente.
El rollo 3D separa métrica y apariencia
Se piden seis capítulos, 24 cámaras y geometría sólida procedural sin imagen de fondo. Todos habrían producido 3D real. Qwen obtiene 63/100 frente a 73 de Fable, con 263 minutos y unas 378 capturas. Su renderer propio sería eficiente pero escaso en contenido. Ajustar grano elevó similitud y empeoró la imagen según el autor. Análisis AISubHub: el objetivo puede premiar una característica equivocada; este caso no condena todas las métricas o salidas Qwen.
KV: corrección no equivale a throughput o latencia
Todos pasan, según el informe, 27 pruebas privadas. Qwen alcanza 11.8M lecturas, 12.2M escrituras y 10.2M operaciones mixtas por segundo, con ventaja por agrupar respuestas. Pero los 0.5–9% entre los tres primeros quedan bajo variación de hasta ±55% y no son estadísticamente significativos. Cada punto de rendimiento se mide cinco veces y usa mediana, con servidor de cuatro núcleos/3GB y generador separado de ocho. Se repite código entregado, no generación. Latencia baja y estabilidad bajo sobrecarga tienen líderes distintos.
Cuatro prompts frontend, varias prioridades
Hay tarjeta meteorológica, página de café, planeta y visualización musical. Se distinguen jerarquía, controles, ilustración e integridad. Solo Opus no tuvo problemas críticos axe en la tarjeta, pero omitió temperatura. Pasar accesibilidad no garantiza contenido completo. Otros casos contraponen escenas ricas, controles y sobriedad. Leímos descripciones sin revisar todos los artefactos o vídeos. Análisis AISubHub: valide contenido, accesibilidad e interacción por separado; una captura bonita puede ocultar valores o controles ausentes.
OpenAlex premia evidencia, no extrapolación
Datos congelados 2020–2025: 60 unidades país-año, diez países, 1,198 trabajos muestreados y 290 páginas de 17 artículos CC BY. El informe puntúa Qwen 100/Fable 94/Opus 89/GPT 87 y dice que Qwen pasa 44 controles. Valora evidencia por página y separar agregados nacionales de la muestra, sin convertir frecuencias en cuotas globales o correlación en causalidad. Análisis AISubHub: criterios útiles, no un índice universal de inteligencia científica; las cadenas aún deben cotejarse con tablas y páginas.
Entregar offline puede superar un punto extra
En la animación de 92 segundos Fable tiene90 y Qwen 89. El informe elogia la imagen de Fable pero su motor requiere red; Qwen lo empaqueta para offline. Entrega y estética difieren. Acabar la ejecución puede dejar requisitos incumplidos; un competidor incluso informó trabajo incompleto en el rollo. Análisis AISubHub: reproduzca tareas relevantes con versiones, entorno y criterios exactos. Son casos de una ejecución, no el orden mundial actual de modelos.
Por qué importa
Análisis AISubHub: separe corrección, latencia, throughput, imagen, evidencia y entrega offline. Terminar una ejecución no demuestra cumplir todos los requisitos.
Límites y disponibilidad
Leímos el informe completo, no repositorio, artefactos ni vídeos, y no reprodujimos pruebas. Puntuaciones, tiempos y juicios visuales son del proveedor. Versiones y harness concretos no clasifican todos los modelos o productos actuales.
Fuentes y pruebas
Fecha de la fuente: · Fuente revisada:
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.