詳しい解説 · 読了目安 5 分
Qoder CLI上のQwen五課題評価、一つの点数でAgentを順位付けできない理由
10月15日の比較は工程上の取捨選択を示すが、各モデル各課題の生成は一度だけ。
- 当サイトの公開日
- 原典の公開日
- 出典確認日
Alibaba Cloudは10月15日、Qoder CLIでQwen3.8-Max、Claude Opus 4.8、GPT-5.6 Sol、Claude Fable 5を比較した。自主実行、成果物、評価スクリプトを説明しつつ、モデルとHarnessの組み合わせを課題ごと一度測った結果で、普遍的順位ではないと限定する。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- 課題は手続き型3D絵巻、Rust KVサーバー、四つの前端プロンプト、固定OpenAlex分析、92秒アニメ。外部モデルは製品そのものではなく実験環境で使う。
- KVの非公開正確性テスト27件は全モデル合格という。上位三者の微小な性能差は実行間変動より小さい。性能を5回測ってもAgent生成を5回行った意味ではない。
共通Harnessは条件と結論を限定する
四者は同じQoder CLIのツール、環境、フィードバックを使い、一つの指示から追加の人手なしで時に数時間動く。一つの変数は揃うが、測るのはモデルとHarnessの組み合わせだ。外部モデルは実験構成で通常の製品ではない。作者は指示、データ、成果物、スクリプトを公開したというがリンク先は未検証。一度の生成では結果の分布は分からない。
3D絵巻は指標と見栄えがずれる
六章、24機位を、原画を背景にせず手続き型の立体で作る課題。全て真の3Dという報告で、Qwen 63/100、Fable 73、Qwen 263分・約378スクリーンショット。独自描画器は効率的だが場面は疎だという。粒状感の調整で類似度は上がり、見た目は悪化したと作者は述べる。AISubHubの分析：目的指標が違う特徴を褒める例であり、全指標やQwen出力の一般則ではない。
KVの正確性、処理量、遅延は別
全て27件の非公開テストに合格し、Qwenの読込11.8M、書込12.2M、混合10.2M操作/秒という。応答のまとめ書きが差を生む一方、上位三者の0.5〜9%差は最大±55%の実行間変動より小さく統計的有意ではない。各測定点5回の中央値、サーバー四コア/3GB、負荷側八コア。これは完成コードの再測定でAgent再生成ではない。低負荷遅延と過負荷安定性の首位も別だ。
四つの前端例は異なる品質を見る
天気、コーヒー、惑星、音楽映像で階層、操作、描画、完全性を区別する。天気カードで重大axe問題がゼロなのはOpusだけだが温度を欠いた。アクセシビリティ成功は内容完備を保証しない。他の例も豊かな場面、操作性、抑制の取捨選択だ。全成果物や動画ではなく説明を読んだ。AISubHubの分析：内容、使いやすさ、操作を別々に検収し、画像の美しさで不足を隠さない。
OpenAlexは標本を世界へ外挿しない
固定データは2020〜2025年、十国60国年、標本論文1,198件、CC BY17論文のPDF290頁。Qwen 100、Fable 94、Opus 89、GPT 87点、Qwen 44検査合格という。頁根拠や集計と標本の分離を評価し、標本頻度を世界シェア、相関を因果としなかったという。AISubHubの分析：有用な条件だが普遍的科学知能ではなく、表と頁への根拠連鎖を確認すべきだ。
一分差よりオフライン交付が重要な場合
92秒アニメでFable90、Qwen 89。Fableの見た目を評価しつつ描画エンジンはネット依存、Qwenは同梱してオフラインという。美的点数と交付条件は別で、実行終了後も条件不足が残る。絵巻では競合が未完了報告を出した例もある。AISubHubの分析：選ぶ前に正確な版、環境、条件で関係する課題を再検証する。単発事例は現行世界順位ではない。
注目する理由
AISubHubの分析：正確性、遅延、スループット、見栄え、証拠、オフライン配布を分けるべきだ。実行終了は全要件達成を証明しない。
制約と提供状況
報告全文を読んだが、リポジトリ、元成果物、動画は検証せず再現もしていない。点数、時間、見た目の判断は原報告に帰属する。特定版と実験環境で全現行モデルや製品を順位付けできない。
出典と根拠
原典の公開日: · 出典確認日:
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。