심층 해설 · 약 3분 읽기
Apple, MLX와 RDMA로 여러 Mac에 대형 모델 추론을 나누는 방법 공개
10월 15일 기술 글은 메모리 용량·프리필·디코딩을 구분한다. 네 대 결과가 보편적 속도나 전력 보장은 아니다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
Apple은 통합 메모리와 Thunderbolt RDMA로 Mac Studio 간 추론을 분산한다. 대표 사례인 Muse Spark Open은 M5 Ultra 네 대와 8,192토큰 문맥에서 초당 36.73토큰을 생성했다. 특정 로컬 벤치마크이며 예시 모델의 새 출시, 클라우드 구독 또는 모든 에이전트 작업의 보장이 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- Muse는 총 816B, 활성 42B 파라미터이며 NVFP4로 약 493GB가 되지만 중간 계산 때문에 512GB 단일 머신에 들어가지 않는다.
- 파이프라인은 깊이 방향으로 층을 나누고 텐서 병렬은 각 층을 나눠 잦은 저지연 통신을 요구한다.
- 최대 4.6배 TTFT 개선은 Qwen·Mistral의 단일 M5 대 M3 비교이지 Muse의 불가능한 단일 Mac 기준이 아니다.
용량과 속도는 다른 문제
Apple은 mlx_lm.benchmark로 배치 1, 문맥 8,192 또는 65,536토큰 뒤에 128토큰을 생성한다. 첫 토큰 시간, 디코딩 처리량, 최대 전력을 구분한다. Muse는 NVFP4, Mistral Medium 3.5는 FP8, Qwen 3.8은 BF16으로 평가했다. 혼합 전문가의 활성 파라미터가 적으면 연산은 줄지만 활성 가중치만 적재하는 것은 아니다. Muse BF16 가중치만 1.6TB를 넘고, 양자화 약 493GB에 중간값까지 더하면 512GB에 못 들어간다. 분산은 먼저 용량을 해결하며 출력을 자동으로 빠르게 하지 않는다.
파이프라인과 텐서 분할의 차이
두 대 파이프라인은 앞쪽 층과 뒤쪽 층을 각각 저장한다. 디코딩은 대체로 순차적이라 한 대에 들어가는 모델이라면 단일 머신과 비슷하다. 긴 문맥 프리필은 단계 사이 청크를 겹쳐 처리할 수 있다. 텐서 방식은 각 층 일부를 동시에 계산하지만 작은 통신이 많아진다. 환경은 macOS 26.2의 Thunderbolt 5 RDMA, MLX 0.30.1 이상 jaccl, 연결당 케이블 두 개다. 예시의 빠른 CPU–GPU 동기화 플래그는 실험 기능이지 모든 환경의 기본값이 아니다.
수치는 올바른 기준과 함께 읽어야 한다
보이는 8,192토큰 표에서 Muse는 두 대 파이프라인 15.74, 두 대 텐서 24.99, 네 대 텐서 36.73토큰/초다. 단일 Mac과의 비교가 아니다. 최대 4.6배 TTFT와 약 1.6배 디코딩 개선은 Qwen·Mistral의 단일 M5와 M3 비교다. 65,536토큰에서는 전문가 출력 정규화 통신 때문에 Muse 두 대 텐서 프리필이 두 대 파이프라인보다 느리며 네 대에서 절충이 개선된다. 별도 네 대 장문맥 실험에서 케이블을 두 개로 늘리면 TTFT가 약 50.5초에서 40.6초가 된다. 문맥과 연결 구조를 빼면 수치의 의미가 달라진다.
로컬 에이전트도 시스템 평가가 필요하다
시작·서버 예시는 MLX를 에이전트 코딩 클라이언트에 연결하는 경로를 보인다. 모든 도구 흐름, 동시성, 응답 품질을 검증한 것은 아니다. M3 약 200W, M5 약 300W는 단일 머신의 최대값이지 네 대 전체가 아니다. AISubHub 분석은 적재 가능성, 입력 처리, 출력 속도, 네트워크를 나눠 판단한다. 통신이 지배하면 대수를 늘려 더 큰 모델을 실행해도 속도가 비례하지 않는다. 하드웨어 비용, 전체 에너지, 동시 서비스 신뢰성도 따로 평가해야 한다.
중요한 이유
유용한 진전은 한 대의 메모리 한계를 넘어 분산 로컬 추론으로 가는 경로와 용량·지연 절충을 문서화한 것이다. AISubHub는 벤치마크 실행, 기기 구입·설정, 서버 시작 또는 운영 에이전트 성능 측정을 하지 않았다.
제한 및 이용 가능성
Apple 글 전체와 기본으로 보이는 표를 읽었으며 독립 재현은 아니다. 형식, 문맥, 생성 길이, 소프트웨어와 케이블에 따라 결과가 달라진다. 모델 신출시, 품질 순위, 구독 권리나 전체 클러스터 전력으로 확대하지 않는다.
출처와 근거
원문 게시일: 2026. 10. 15. · 출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.