심층 해설 · 약 4분 읽기
MAI-Base-2: 학습 효율과 실제 이용 가능성을 따로 확인해야 하는 이유
Microsoft가 총 2.8조 파라미터 모델의 반복 데이터와 인프라 설계를 설명했다. 효율 수치가 바로 이용 가능한 챗봇을 뜻하지는 않는다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
Microsoft AI는 10월 15일 MAI-Base-2의 사전 학습 과정을 공개했다. 전문가 혼합 모델은 총 2.8조 파라미터, 토큰당 활성 800억 파라미터라고 보고했다. 이번 소식의 핵심은 학습 방법과 근거다. 체크포인트는 여전히 후속 학습 중이었으므로, 일반 이용자용 비서나 구독의 출시를 확정하는 발표가 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- Microsoft는 GB200 GPU 16,000개로 38일간 학습했고 평균 모델 FLOPs 활용률은 21%, goodput은 89%였다고 밝혔다. 두 지표는 서로 다른 측면을 측정한다.
- 보류 텍스트의 bits-per-byte를 맞추면 DeepSeek-V4-Pro-Base보다 FLOPs 효율이 4.2–12.3배 높다는 추정이다. 곡선 적합에 따른 비교이며 최종 학습 비용이 같은 비율로 줄었다는 실측이 아니다.
1. 기반 체크포인트와 대화형 비서의 차이
사전 학습은 데이터의 예측 구조를 배우고, 후속 학습은 지시 이행과 응용 환경에서의 행동을 다듬는다. Microsoft가 설명한 MAI-Base-2는 그 사이 단계에 있다. 활성 파라미터는 한 토큰에서 선택되는 연산을 나타내지만, 훨씬 큰 총수는 저장과 배포에도 중요하다. 어느 숫자 하나만으로 필요한 메모리나 대화 속도를 알 수는 없다. 기반 모델을 검토할 자료는 되지만 곧바로 사용할 Copilot 업그레이드의 근거는 아니다.
2. 작은 실험도 데이터 반복을 재현해야 한다
규모별 실험 사다리는 활성 파라미터당 학습 토큰을 일정하게 유지한다. Microsoft는 작은 실험의 고유 샘플도 제한해 각 데이터 출처가 최종 학습과 비슷하게 반복되도록 한다. 50T 토큰 학습에서 여덟 번 보는 출처라면 5T 실험에서는 데이터의 10분의 1을 여덟 번 본다. 작은 모델이 주로 새로운 예시만 보는 조건에서 설정을 고르는 편향을 줄이는 방법이다. 학습률과 가중치 감쇠 역시 독립적인 조절값이 아니라 서로 연결된 값으로 함께 탐색한다.
3. 효율 비교가 실제로 답하는 것
bits-per-byte는 원문 바이트로 예측 손실을 정규화해 토크나이저 차이를 줄인다. Microsoft는 코드, 질의응답, STEM, 수학별로 연산량과 손실 곡선을 적합하고 최종 체크포인트도 포함해 기준 모델과 같은 손실에 필요한 연산량을 추정한다. 하지만 MAI-Base-2 최종 학습은 그 기준보다 더 많은 FLOPs를 사용했다. 다른 비교 대상 중에는 이미 후속 학습된 체크포인트도 있어 그 영향이 주의사항으로 명시된다. 결과를 달러 비용 절감이나 모든 비서의 종합 순위로 바로 바꿀 수 없다.
4. 희소 모델에도 예측 가능한 메모리와 통신이 필요하다
Microsoft는 전문가를 그룹으로 묶고 토큰 용량을 고정한다. 과부하 전문가는 그룹의 빈 용량을 쓰고, 남는 토큰은 버리는 대신 추가 라운드에서 처리한다. 시간이 더 드는 대가로 메모리를 제한하며 전송, 계산, 수집을 겹친다. 또한 분산 저장된 최적화 모멘텀을 재분할해 Muon이 완전한 행렬을 다룰 수 있도록 한다. 최적화된 Muon 단계는 보고상 165밀리초, 평균 반복 시간의 2.1%였다. 특정 구현의 결과이며 다른 클러스터에서도 같다는 보장은 아니다.
5. 데이터 품질도 공학적 성과에 포함된다
Microsoft는 고유 학습 토큰이 약 36% 늘었고 지식 기준일은 2026년 3월이며 다른 모델의 증류 없이 내부에서 데이터를 처리했다고 설명한다. 별도 인코더가 없는 시각·언어 코퍼스에는 4.5T 고유 토큰이 있고, 반복까지 포함하면 50T 학습 혼합량의 18%다. 고유 데이터 크기와 학습 중 누적 노출은 다르다. 활성값 기울기 클리핑은 잘못된 코드 예시에서 전처리 버그를 추적하는 데도 쓰였다. 안정성 관찰은 데이터 수리로 이어지며 단순한 토큰 확대만이 목표는 아니다.
6. 검증 가능한 공학적 주장으로 읽기
이 설명은 모델 선택을 실제 경과 시간과 연결한다. 이론적 연산을 줄이는 설계라도 통신이나 메모리 부담 때문에 더 느릴 수 있다. 본 사이트의 분석으로는 실험을 설계하는 데 유용하지만 큰 숫자만 보고 운영 모델을 고를 충분한 근거는 아니다. 재현 가능한 작업, 데이터 권리, 후속 학습 동작과 배포 제약을 살펴야 한다. 이 조건들이 구체화되기 전에는 미래 파트너 라이선스를 현재 접근성, 가격, 개인 구독 비교와 분리해서 봐야 한다.
중요한 이유
AISubHub 분석: 데이터 재사용, 모델 구조, 통신을 함께 평가하는 접근이 참고할 만하다. 기업 구매자는 후속 학습된 체크포인트의 접근 시점, 배포 조건, 재현 가능한 과제 평가를 따로 확인해야 한다. 학습 과정 공개만으로는 이 질문들이 해결되지 않는다.
제한 및 이용 가능성
성능 수치는 Microsoft의 보고이며 AISubHub의 실측이 아니다. 공개 블로그의 전체 서술을 읽었지만 별도 PDF 전체나 그래프 코드를 검증한 것은 아니다. Foundry를 통해 신뢰하는 파트너에게 가중치를 허가할 계획은 공개 MAI-Base-2 API 가격이나 개인 구독 권리를 제공하지 않는다.
출처와 근거
원문 게시일: 2026. 10. 15. · 출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.