Подробный разбор · Около 3 мин чтения
Qwen через Qoder CLI: пять нагрузок показывают пределы единого рейтинга
Сравнение от 15 октября выявляет инженерные компромиссы, но генерация каждой задачи каждой моделью выполнялась один раз.
- Опубликовано здесь
- Дата источника
- Источник проверен
Alibaba Cloud 15 октября сравнила Qwen3.8-Max, Claude Opus 4.8, GPT-5.6 Sol и Claude Fable 5 через Qoder CLI. Отчёт описывает автономность, результаты и скрипты, ограничивая вывод сочетанием модели с harness и одним запуском задачи, а не общим рейтингом.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Есть процедурная 3D-сцена-свиток, Rust KV, четыре frontend-промпта, замороженный OpenAlex и анимация 92 секунды. Внешние модели работали экспериментально, не в своих коммерческих продуктах.
- Все якобы прошли 27 закрытых KV-тестов корректности. Малые разрывы тройки ниже вариации запусков; пять измерений производительности не означают пять генераций агентом.
Общий harness также ограничивает вывод
Одинаковы инструменты Qoder CLI, окружение и обратная связь; один запрос без дальнейшего участия человека, иногда часы работы. Это контролирует переменную, но измеряет модель+harness. Внешние модели экспериментальны, не их обычные продукты. Автор заявляет публичные запросы, данные, результаты и скрипты; ссылки не проверены. Одна генерация не даёт распределения исходов агента.
3D-свиток: метрика расходится с восприятием
Нужны шесть глав,24 камеры, процедурные твёрдые объекты без исходной картины фоном. Все якобы создали настоящую3D. Qwen 63/100 против Fable 73,263 минуты и около378 снимков. Собственный рендерер эффективен, но сцена скудная. Настройка зерна повысила сходство метрики и ухудшила вид по мнению автора. Анализ AISubHub: цель может награждать неверный признак; это не закон для любой метрики или ответа Qwen.
KV: корректность, поток и задержка различны
Все прошли27 закрытых тестов по отчёту. У Qwen 11.8M чтений,12.2M записей,10.2M смешанных операций/с, с преимуществом пакетирования ответов. Но0.5–9% у тройки ниже вариации до±55%, статистически незначимо. Каждую точку измеряют пять раз с медианой, сервер четыре ядра/3GB, отдельный генератор восемь. Повторяется измерение кода, не генерация агента. Низкая задержка и стабильность перегрузки имеют разных лидеров.
Четыре frontend-запроса проверяют разные качества
Погода, кофейная страница, планета и музыкальная визуализация разделяют иерархию, управление, рисунок и полноту. Только Opus без критических axe-проблем в погоде, но без температуры. Доступность не гарантирует содержание. Другие примеры противопоставляют богатые сцены, управление и сдержанность. Прочитаны описания, не все артефакты и видео. Анализ AISubHub: проверяйте контент, доступность и взаимодействие отдельно; красивый снимок скрывает пропуски.
OpenAlex: не превращать выборку в мир
Заморожены данные2020–2025:60 стран-лет, десять стран,1,198 статей выборки,290 страниц17 работ CC BY. В отчёте Qwen 100/Fable 94/Opus 89/GPT 87 и44 пройденные проверки Qwen. Ценятся страницы и разделение агрегатов/выборки, без глобальных долей из частот и причинности из корреляции. Анализ AISubHub: полезные критерии, не общий научный интеллект; сверяйте цепочки с таблицами и страницами.
Офлайн-доставка может стоить больше балла
Анимация92 секунды: Fable 90 и Qwen 89. Вид Fable хвалят, но движку нужна сеть; Qwen упаковал его для офлайн. Эстетика и доставка различны. Завершение запуска может оставить требования: конкурент сообщил незавершённый свиток. Анализ AISubHub: воспроизводите нужные задачи с точными версиями, средой и приёмкой. Одноразовые случаи не задают нынешний мировой порядок моделей.
Почему это важно
Анализ AISubHub: разделяйте корректность, задержку, пропускную способность, изображение, доказательства и офлайн-доставку. Завершение запуска не доказывает все требования.
Ограничения и доступность
Прочитан весь отчёт без репозитория, сырых артефактов, видео и воспроизведения. Баллы, время и визуальные оценки принадлежат поставщику. Версии и harness не ранжируют все нынешние модели и продукты.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.