深度解读 · 约 5 分钟阅读
Qwen在Qoder CLI的五任务评估：为什么一个分数不能给所有Agent排名
阿里云10月15日对比展示工程取舍，但每个模型任务仅生成一次，结论受同一Harness约束。
- 本站发布
- 原文发布
- 核实时间
阿里云10月15日报告通过Qoder CLI比较Qwen3.8-Max、Claude Opus 4.8、GPT-5.6 Sol和Claude Fable 5的五类复杂任务。报告描述自主执行、交付物和评测脚本，也明确其边界：测的是模型与Harness的组合，每项任务仅一次运行，不是通用模型排名。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 任务包含程序化3D长卷、Rust键值服务、四个前端提示、冻结OpenAlex分析及92秒叙事动画；外部模型使用实验环境，不是各自正式产品。
- 报告称所有模型通过27项键值服务私有正确性测试；前三的细小吞吐差距小于跨运行波动，性能网格重复5次不等于Agent生成重复5次。
相同Harness控制变量，也限定结论
原报告让四个具体版本使用相同Qoder CLI工具、执行环境和反馈循环。每项从一个提示开始，没有后续人工追问，有的持续数小时。这减少一种差异，同时也把结果限定在特定模型与工具组合。外部模型通过实验配置运行，不能视为各自常规客户端的测试。作者称提示、数据、交付物和脚本已公开，但本站未读取关联产物。最关键的是任务生成只做一次，报告没有通过反复抽样给出Agent结果的分布。
3D长卷暴露指标与观感的偏离
长卷要求六章、24个固定机位，以程序化实体几何搭建，不能把原画当背景。报告称四者均生成真实3D；Qwen得63/100，Fable为73，Qwen耗时263分钟、迭代约378张截图。作者认为其自写渲染器效率高，但场景稀疏。模型反复调节颗粒提高图像相似度，却让人眼观感变差。AISubHub分析：优化目标可能奖励错误的视觉特征，但这是该案例的失败模式，不证明所有图像指标或所有Qwen输出都会如此。
Rust正确性、吞吐和尾延迟不是同一结果
四者据报均通过27项私有正确性测试，Qwen峰值读、写、混合吞吐分别11.8M、12.2M、10.2M次操作每秒，主要差异之一是批量合并响应，而非每条命令单独写出。但报告明确前三0.5%至9%的顺序差距，小于最高±55%的跨运行波动，不具统计显著性。性能网格每点测五次取中位数，服务端限四核和3GB、负载端另用八核。这重复测的是交付代码，不是Agent生成。低负载延迟与过载稳定性也由不同模型领先。
四个前端提示考察多种呈现取舍
前端包括天气卡、咖啡落地页、程序化星球、音乐同步视觉。原文区分层次、控制、插画和完整度：天气卡只有Opus没有关键axe可访问性问题，却漏了温度，说明通过一类检查不等于内容齐全。其他案例分别比较丰富场景、可用控制或克制布局。本站读取的是描述，没有独立观看全部产物或视频。AISubHub分析：内容、可访问性、交互应分别验收，好看的截图也可能掩盖数值缺失或控件不可用。
OpenAlex看证据链，不把样本当全世界
固定数据覆盖2020至2025年，十国60个国家年度单元、1,198篇样本论文，以及17篇CC BY论文的290页PDF。该任务报告给Qwen100、Fable 94、Opus 89、GPT 87分，并称Qwen通过44项自动检查。其重视逐页证据，并区分国家年度汇总与论文样本；Qwen据报没有把样本主题频次外推为全球占比，也不把相关性写成因果。AISubHub分析：这些是有价值的验收维度，厂商指数却不是通用科学智能分数，仪表盘证据仍需回到表格和页面核验。
离线交付可能比一分优势更重要
最后是92秒程序化叙事动画，Fable 90分、Qwen 89分。报告肯定Fable视觉精致，也指出其3D引擎依赖网络；Qwen把引擎打包，本地可离线播放。交付要求与美学评分显然不同。模型运行结束，也可能仍有产物要求未满足，长卷案例甚至有竞争模型提交未完成报告。AISubHub分析：选择工具前，应按确切版本、环境和验收条件复测相关任务。这些单次案例解释取舍，不构成当前全球模型的总排序。
有什么影响
AISubHub分析：应分开正确性、延迟、吞吐、视觉、证据溯源和离线交付。Agent运行到结束，不证明每项验收条件都满足。
限制与可用性
本站读完厂商报告，未读取关联仓库、原始产物或完整视频，也未复现测试。分数、耗时与视觉判断归属原报告；具体版本和实验Harness不能代表所有当前模型或产品的地位。
来源与证据
原文发布: · 核实时间:
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。