심층 해설 · 약 3분 읽기
Trainium2의 Laplace 3B: 고정 상태가 완벽한 기억을 뜻하지는 않는다
i14와 AWS의 보고서는 순환 상태, 옵티마이저 통신, 실제 컴파일 비용을 구분해야 한다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
AWS의 10월 20일 기술 글은 i14 Laplace 3B를 네이티브 PyTorch로 Trainium2에서 학습하고 서비스한 과정을 설명한다. 커지는 KV 캐시 대신 고정 순환 상태를 쓰는 구조가 핵심이다. 어떤 자원 제약이 바뀌며 품질과 운영에서 무엇을 더 검증해야 하는지 판단할 필요가 있다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 보고된 순환 상태는 시퀀스당 29.5 MB, 추론은 trn2.48xlarge 한 대의 1280개 시퀀스 합계 초당 11544 출력 토큰이다. 전체 메모리나 사용자별 속도가 아니다.
- 학습 계획은 1000억 토큰이지만 결과는 약 440억까지다. 통신 24배 감소와 학습 처리량 1.63배 증가는 다른 지표다.
고정 상태는 이력을 압축한 것이다
일반적인 softmax 추론은 문맥이 길어지면서 키와 값을 더 보관한다. Laplace 3B는 Gated Linear Attention으로 순환 행렬을 갱신해 과거를 시퀀스당 29.5 MB에 압축한다. 학습의 어텐션 계산은 길이의 제곱에서 선형으로 바뀐다. 그러나 가중치, 활성화, 입력 처리와 다른 버퍼가 사라지는 것은 아니다. 압축은 회수할 수 있는 정보도 바꾸므로 원문은 작업별 검색 품질 검증을 요구한다. 긴 대화가 메모리에 들어간다고 모든 오래된 세부 정보가 필요한 정확도로 남는다는 증거는 아니다.
칩 정렬과 통신 개선은 별개다
팀은 GPU 전용 Triton 커널을 PyTorch 연산으로 바꿨다. 128토큰짜리 16청크를 버퍼의 128분할에 맞췄으며 이 정렬에 14% 개선을 귀속한다. Muon은 분할된 기울기 사이의 전체 관계가 필요한 다른 문제를 가졌다. 두 번의 all-to-all로 완전한 행렬을 나눠 병렬 처리한 뒤 결과를 돌려준다. rank당 통신은 10.87 GB에서 0.45 GB, 처리량은 초당 73378에서 119934토큰으로 바뀌었다. 통신이 24배 줄었다는 것을 학습 속도 24배로 바꿔 말해서는 안 된다.
학습 계획과 완료된 결과를 구분한다
구성은 30.28억 파라미터, 24층, FineWeb-Edu 1000억 토큰 학습을 제시한다. 하지만 보고 결과는 84210단계, 약 440억 토큰까지이며 예정된 190735단계 전체가 아니다. 약 초당 120000토큰과 감소하는 손실은 이 구간의 결과다. 안정성은 구현이 동작한다는 근거이지만 업무 평가나 모든 Transformer에 대한 우위, 사실 회수 능력의 증명은 아니다. 당사는 하드웨어 이식 성과와 개별 업무에서 입증해야 할 유용성을 구분한다.
총 처리량에는 동시성 조건이 붙는다
추론은 trn2.48xlarge 한 대의 논리 NeuronCore 64개에 복제본당 20시퀀스, 합계 1280시퀀스를 사용한다. 초당 11544 출력 토큰은 이 부하 전체의 합계다. 약 82배 작은 상태라는 비교는 8192토큰에서의 비교 가능한 KV 캐시에 대한 것이지 전체 청구액이 아니다. 입력을 2048에서 8192토큰으로 늘렸을 때 출력 토큰당 비용이 0.5% 늘었다는 것도 해당 실험 결과다. 실제 예산에는 입력 처리, 할당, 품질과 이용률이 여전히 영향을 준다.
실제 요청 도착은 컴파일 비용을 드러낸다
새 디코딩 배치 폭은 처음에 약 11초 컴파일이 필요했다. 이런 단계는 전체의 1.1%지만 디코딩 시간의 47.5%를 차지했다. 고정 폭 패딩으로 비용을 제거했고 시차 도착과 고정 배치의 개선 정도도 달랐다. 원문은 BF16 재결합 때문에 컴파일 출력이 eager와 조금 다를 수 있어 정확한 재현에는 eager를 고려하라고 한다. 실제 도착, 꼬리 지연, 수치 허용치, 정보 회수를 함께 시험해야 한다는 것이 당사의 제안이다. 운영 배포나 절감 실측을 주장하는 것은 아니다.
중요한 이유
당사 분석: 고정 상태는 긴 세션의 용량 계획에 도움이 될 수 있지만 정보 회수 품질과 실제 요청 도착 분포를 함께 시험해야 한다. 구조와 런타임을 따로 선택할 수는 없다.
제한 및 이용 가능성
본문과 그림 설명을 모두 읽었지만 코드나 모델을 실행하지 않았다. 수치는 i14/AWS의 결과이며 당사 측정이 아니다. 구독 가격, 무료 하드웨어, 보편적 품질 우위나 운영 보장은 입증하지 않는다. TorchNeuron Native는 베타로 사용됐다.
출처와 근거
원문 게시일: · 출처 확인일:
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.