Análisis en profundidad · Unos 4 min de lectura
Apple detalla cómo MLX y RDMA distribuyen la inferencia entre varios Mac
El informe del 15 de octubre distingue capacidad, prefill y decodificación; cuatro equipos no garantizan velocidad o consumo universales.
- Fecha de la fuente
- Publicado aquí
- Fuente revisada
Apple combina memoria unificada y RDMA por Thunderbolt para inferencia distribuida. El ejemplo destacado alcanza 36,73 tokens por segundo con Muse Spark Open en cuatro M5 Ultra y contexto de 8.192 tokens. Es una configuración local concreta, no el estreno de esos modelos, una suscripción ni una garantía para cualquier agente.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- Muse tiene 816B parámetros totales y 42B activos; NVFP4 ocupa unos 493GB, pero los cálculos intermedios impiden alojarlo en un solo equipo de 512GB.
- Pipeline divide capas en profundidad; el paralelismo tensorial divide cada capa y exige comunicación frecuente de baja latencia.
- La mejora máxima de 4,6× en TTFT compara M5 y M3 individuales para Qwen y Mistral, no Muse contra un Mac único inviable.
Capacidad y velocidad son preguntas distintas
Apple usa mlx_lm.benchmark, lote uno y 128 tokens generados tras contextos de 8.192 o 65.536 tokens. Separa tiempo al primer token, velocidad de decodificación y potencia máxima. Evalúa Muse en NVFP4, Mistral Medium 3.5 en FP8 y Qwen 3.8 en BF16. Menos parámetros activos reducen cálculo, no la necesidad de cargar todos los pesos de una mezcla de expertos. Los pesos BF16 de Muse superarían 1,6TB; incluso 493GB cuantizados dejan poco espacio para intermediarios en 512GB. Distribuir resuelve primero capacidad y no acelera automáticamente la generación.
Qué cambia cada reparto
Un pipeline guarda capas iniciales en un Mac y finales en otro. La decodificación sigue principalmente secuencial y suele parecerse a un único equipo para modelos que caben. El prefill largo puede solapar bloques entre etapas. El reparto tensorial calcula partes de cada capa simultáneamente, a costa de muchas pequeñas comunicaciones. La instalación usa macOS 26.2 con RDMA sobre Thunderbolt 5, jaccl en MLX 0.30.1 o posterior y dos cables por enlace. La sincronización rápida CPU–GPU del ejemplo es experimental, no una función activada universalmente.
Leer los resultados con su referencia
Con 8.192 tokens, Muse pasa de 15,74 tokens/s en pipeline de dos equipos a 24,99 en tensorial de dos y 36,73 en cuatro. No son comparaciones contra un solo Mac. Las mejoras de hasta 4,6× en TTFT y aproximadamente 1,6× en decodificación corresponden a Qwen y Mistral, M5 frente a M3 individuales. A 65.536 tokens el prefill tensorial de Muse en dos equipos pierde frente al pipeline por comunicación de normalización de expertos; cuatro mejoran el equilibrio. En otra prueba de cuatro equipos y contexto largo, dos cables reducen TTFT de unos 50,5 a 40,6 segundos. Contexto y topología forman parte de las cifras.
Un agente local necesita evaluación del sistema
El artículo ofrece configuración de lanzamiento y servidor para conectar un cliente de programación con agentes. No prueba todos los flujos de herramientas, concurrencia o calidad. Los picos aproximados de 200W en M3 y 300W en M5 son de pruebas individuales, no del conjunto de cuatro. Nuestro análisis separa memoria disponible, procesamiento del prompt, salida y red. Más máquinas pueden permitir un modelo sin acelerar proporcionalmente cuando domina la comunicación. Coste, energía del sistema completo y fiabilidad concurrente siguen abiertos.
Por qué importa
La aportación útil es una ruta documentada para superar el límite de memoria local, con compromisos explícitos entre capacidad y latencia. AISubHub no ejecutó pruebas, ni compró ni configuró equipos, ni inició el servidor ni midió agentes en producción.
Límites y disponibilidad
Leímos el artículo completo y sus tablas visibles por defecto; no es una réplica independiente. Formato, contexto, longitud, software y cables condicionan resultados. No equivalen a estrenos de modelos, ranking de calidad, derechos de suscripción ni consumo de todo el clúster.
Fuentes y pruebas
Fecha de la fuente: 15 oct 2026 · Fuente revisada: 20 oct 2026
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.