Подробный разбор · Около 3 мин чтения
Apple объясняет распределённый инференс на Mac с MLX и RDMA
Материал от 15 октября разделяет память, prefill и декодирование; четыре Mac не означают универсального выигрыша скорости или энергии.
- Дата источника
- Опубликовано здесь
- Источник проверен
Apple объединяет общую память и Thunderbolt RDMA для инференса на нескольких Mac Studio. Muse Spark Open выдаёт 36,73 токена в секунду на четырёх M5 Ultra с контекстом 8192 токена. Это конкретный локальный тест, не новый выпуск примерных моделей, облачная подписка или гарантия для любого агента.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- У Muse 816B параметров всего и 42B активных; NVFP4 уменьшает объём примерно до 493GB, но промежуточные вычисления не позволяют разместить модель на одном Mac с 512GB.
- Конвейер делит слои по глубине, тензорный параллелизм — каждый слой по ширине, требуя частых обменов с низкой задержкой.
- Улучшение TTFT до 4,6× сравнивает одиночные M5 и M3 с Qwen и Mistral, не Muse с невозможной одномашинной базой.
Вместимость не равна скорости
Apple использует mlx_lm.benchmark, размер пакета один и 128 новых токенов после контекста 8192 или 65536 токенов. Время до первого токена, декодирование и пиковая мощность измеряются отдельно. Muse тестируется в NVFP4, Mistral Medium 3.5 в FP8, Qwen 3.8 в BF16. Меньше активных параметров смеси экспертов снижает вычисления, но не означает загрузку лишь активных весов. Одни веса Muse в BF16 требуют более 1,6TB; около 493GB после квантования плюс промежуточные данные тоже не помещаются в 512GB. Распределение сначала решает вместимость, не гарантируя ускорение генерации.
Как различаются способы разделения
Двухмашинный конвейер хранит ранние слои на одном Mac, поздние на другом. Декодирование остаётся преимущественно последовательным и для помещающихся моделей близко по скорости к одному компьютеру. Длинный prefill позволяет перекрывать обработку блоков между стадиями. Тензорная схема считает части каждого слоя одновременно, но добавляет много мелких обменов. Используются macOS 26.2 с Thunderbolt 5 RDMA, jaccl в MLX 0.30.1 или новее и два кабеля на связь. Флаг быстрой синхронизации CPU–GPU экспериментальный, не универсальная настройка по умолчанию.
Читать измерения с правильной базой
При видимых 8192 токенах Muse выдаёт 15,74 токена/с на двухмашинном конвейере, 24,99 на двух тензорных машинах и 36,73 на четырёх. Это не сравнение с одним Mac. До 4,6× по TTFT и около 1,6× по декодированию относятся к Qwen и Mistral на одиночных M5 против M3. При 65536 токенах двухмашинный тензорный prefill Muse медленнее конвейера из-за обменов при нормализации выходов экспертов; четыре машины улучшают компромисс. В отдельном четырёхмашинном длинноконтекстном опыте два кабеля снижают TTFT примерно с 50,5 до 40,6 секунды. Условия контекста и топологии неотделимы от цифр.
Локальный агент требует оценки системы
Примеры запуска и сервера показывают подключение MLX к агентному клиенту программирования, не тест всех инструментов, параллельных запросов или качества. Пики примерно 200W для M3 и 300W для M5 относятся к отдельной машине, не всему кластеру. Наш анализ разделяет размещение весов, обработку запроса, выдачу и сеть. Дополнительные машины могут сделать модель доступной без пропорционального ускорения, особенно при преобладании обменов. Стоимость, полная энергия и надёжность параллельного обслуживания требуют отдельной оценки.
Почему это важно
Полезен документированный переход за предел памяти одного компьютера с явным компромиссом вместимости и задержки. Он помогает планировать частные эксперименты. AISubHub не запускал тесты, не покупал и не настраивал кластер, не стартовал сервер и не измерял производственных агентов.
Ограничения и доступность
Прочитаны полная статья Apple и видимые таблицы по умолчанию, без независимого повторения. Формат, контекст, длина генерации, ПО и кабели определяют результат. Мы не превращаем его в анонс модели, рейтинг качества, права подписки или энергопотребление всего кластера.
Источники и подтверждения
Дата источника: 15 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.