詳しい解説 · 読了目安 4 分
Apple、MLXとRDMAで複数Macに大規模モデル推論を分配
10月15日の技術記事は容量、プリフィル、デコードを区別する。4台の結果は万能な速度・電力保証ではない。
- 原典の公開日
- 当サイトの公開日
- 出典確認日
Appleは統合メモリとThunderbolt RDMAでMac Studio間に推論を分配する。代表例のMuse Spark OpenはM5 Ultra 4台、文脈8,192トークンで毎秒36.73トークンを生成した。特定のローカル測定であり、例示モデルの新発表、クラウド購読、全エージェント処理への保証ではない。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- Museは総816B、稼働42Bパラメータ。NVFP4で約493GBになるが、中間計算も必要なため512GBの1台には収まらない。
- パイプラインは層を深さで分け、テンソル並列は各層を幅で分ける。後者には頻繁な低遅延通信が必要。
- TTFT最大4.6倍改善はQwen/Mistralの単体M5対M3であり、Museを動かせない単体Macとの比較ではない。
容量と速さは別の問い
測定はmlx_lm.benchmark、バッチ1、8,192または65,536トークンの文脈後に128トークンを生成する。最初のトークンまでの時間、デコード速度、ピーク電力を区別する。MuseはNVFP4、Mistral Medium 3.5はFP8、Qwen 3.8はBF16で評価した。専門家混合型で稼働パラメータが少なくても、稼働分だけの重みを載せればよいわけではない。MuseのBF16重みだけで1.6TB超、量子化後約493GBに中間値を足すと512GBに収まらない。分配はまず容量を解決し、生成を自動的に高速化しない。
二つの分割方式が変えるもの
2台のパイプラインは前半の層を一方、後半を他方に置く。デコードはほぼ逐次なので、1台に載るモデルでは速度が概ね同等になる。長い文脈のプリフィルは段階間でチャンクを重ねて処理できる。テンソル並列は各層の一部を同時計算する代わりに小さな通信が多数必要だ。環境はmacOS 26.2のThunderbolt 5 RDMA、MLX 0.30.1以降のjaccl、接続ごとに2本のケーブル。例の高速CPU–GPU同期フラグは実験的で、全環境の既定値ではない。
性能には正しい基準を添える
表示された8,192トークン表でMuseは2台パイプライン15.74、2台テンソル24.99、4台テンソル36.73トークン毎秒となる。単体との比較ではない。最大4.6倍のTTFTと約1.6倍のデコード改善はQwen/Mistralの単体M5対M3だ。65,536トークンでは専門家出力の正規化通信によりMuseの2台テンソルのプリフィルが2台パイプラインより遅く、4台で取捨が改善する。別の4台・長文脈実験ではケーブル2本化でTTFTが約50.5秒から40.6秒になった。文脈や接続条件は数字から外せない。
ローカルエージェントもシステムで評価する
起動とサーバー設定例はエージェント型コーディングクライアントへの接続方法を示すが、全ツール、同時利用、回答品質の検証ではない。M3約200W、M5約300Wは単体テストのピークで、4台全体ではない。AISubHubの分析では、重みが載るか、入力処理が速いか、出力速度とネットワーク要件は何かを分けて考えるべきだ。台数追加で動くようになっても、通信が支配すれば比例して速くならない。価格、システム全体の電力、同時サービスの信頼性は別の評価事項である。
注目する理由
価値は単体のメモリ限界から分散ローカル推論への道筋と、容量・遅延の交換条件を示す点にある。私的実験の計画には役立つ。AISubHubは測定、機器購入・設定、付属サーバー起動、本番エージェント性能評価を行っていない。
制約と提供状況
Appleの記事全体と既定で見える表を読んだもので、独立再現ではない。形式、文脈、生成長、ソフトウェア、ケーブルで結果は変わる。例のモデル測定を新発表、品質順位、購読権益、全クラスタ電力の結論にはしない。
出典と根拠
原典の公開日: 2026/10/15 · 出典確認日: 2026/10/20
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。