Analyse approfondie · Environ 4 min de lecture
Qwen dans Qoder CLI : cinq travaux montrent les limites d’un score unique
La comparaison du 15 octobre expose des compromis d’ingénierie, avec une génération par modèle et tâche.
- Publié ici
- Date de la source
- Source vérifiée
Alibaba Cloud compare le 15 octobre Qwen3.8-Max, Claude Opus 4.8, GPT-5.6 Sol et Claude Fable 5 via Qoder CLI. Le rapport décrit autonomie, livrables et scripts, mais limite le résultat au couple modèle+harness et à un essai par tâche, sans classement universel.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Les travaux portent sur une fresque 3D procédurale, un KV Rust, quatre prompts frontend, OpenAlex figé et une animation de 92 secondes. Les modèles externes utilisent un montage expérimental, pas leurs produits commercialisés.
- Tous auraient passé 27 tests privés KV. Les petits écarts des trois premiers sont sous la variation entre exécutions ; cinq mesures de performance ne sont pas cinq générations par agent.
Le harness commun limite aussi la conclusion
Mêmes outils Qoder CLI, environnement et retours pour les quatre, un prompt sans suivi humain, parfois des heures de travail. Cela contrôle une variable mais mesure modèle+harness. Les modèles externes utilisent un montage expérimental, pas leurs applications habituelles. L’auteur dit publier prompts, données, livrables et scripts, liens non vérifiés ici. Une génération par tâche ne mesure pas une distribution de résultats.
La fresque 3D oppose métrique et perception
Six chapitres et24 caméras sont demandés, en géométrie solide procédurale sans peinture en fond. Tous auraient livré une vraie3D. Qwen reçoit63/100 contre73 pour Fable, en263 minutes avec environ378 captures. Son moteur propre serait efficace mais peu dense. Le grain améliore la similarité mesurée tout en dégradant l’image selon l’auteur. Analyse AISubHub : un objectif peut récompenser le mauvais trait ; ce cas ne condamne pas toute métrique ou sortie Qwen.
KV : correction, débit et latence divergent
Tous auraient passé27 tests privés. Qwen atteint11.8M lectures,12.2M écritures et10.2M opérations mixtes/s, notamment par regroupement des réponses. Mais les écarts0.5–9% des trois premiers sont sous une variation allant à±55%, sans signification statistique. Chaque point est mesuré cinq fois, médiane retenue, serveur quatre cœurs/3GB et générateur séparé huit cœurs. Cela répète le code livré, pas la génération. Faible latence et stabilité en surcharge ont des leaders distincts.
Quatre prompts frontend, plusieurs qualités
Météo, page café, planète et visualisation musicale séparent hiérarchie, commandes, illustration et complétude. Opus seul n’avait aucun problème critique axe sur la carte, mais manquait de température. L’accessibilité ne garantit pas le contenu. Les autres cas opposent scène riche, contrôles et retenue. Descriptions lues, sans examiner tous les artefacts et vidéos. Analyse AISubHub : validez contenu, accessibilité et interaction séparément ; une belle capture peut cacher une donnée ou commande absente.
OpenAlex privilégie la traçabilité
Jeu figé2020–2025 :60 unités pays-année, dix pays,1,198 articles échantillonnés,290 pages de17 articles CC BY. Le rapport donne Qwen 100/Fable 94/Opus 89/GPT 87 et44 contrôles réussis pour Qwen. Il valorise les pages, la séparation agrégats/échantillon et le refus de confondre fréquences avec parts mondiales ou corrélation avec causalité. Analyse AISubHub : critères utiles, pas intelligence scientifique universelle ; vérifiez les preuves dans les tables et pages.
Livrer hors ligne peut valoir un point
Animation de92 secondes : Fable 90, Qwen 89. Le visuel de Fable est salué, mais son moteur dépend du réseau ; Qwen le regroupe pour lecture hors ligne. Livraison et esthétique diffèrent. Finir le processus peut laisser des exigences manquantes ; un concurrent a signalé son travail inachevé sur la fresque. Analyse AISubHub : reproduisez les tâches utiles avec versions, environnement et critères exacts. Ces cas uniques ne classent pas mondialement les modèles actuels.
Pourquoi cela compte
Analyse AISubHub : séparez correction, latence, débit, image, preuves et livraison hors ligne. Finir une exécution ne prouve pas le respect de tous les critères.
Limites et disponibilité
Rapport complet lu, sans dépôt, artefacts, vidéos ni reproduction. Scores, durées et jugements visuels sont attribués au fournisseur. Ces versions et ce harness ne classent pas tous les modèles ou produits actuels.
Sources et preuves
Date de la source: · Source vérifiée:
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.