심층 해설 · 약 3분 읽기
Deepgram Trainium 사례는 모델·커널·서비스 비용을 구분한다
AWS는 Nova-3 오프라인 작업에서 달러당 음성 처리량 증가를 보고하지만 조건은 제한적이다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
10월 19일 사례는 Deepgram과 AWS가 수개월 동안 Nova-3를 Trainium2 오프라인 배치에 맞춘 과정이다. 가속기만 바꾸면 모든 음성 앱의 요금이 줄어든다는 보장은 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- trn2.3xlarge 한 대에 복제본 8개를 두고 평가 당시 가격에서 기존보다 달러당 음성을 11–70% 더 처리했다고 보고한다.
- 정적 그래프, 커널, Rust 서비스 실행계를 개선하면서 수치 일관성과 단어 오류율을 확인했다.
비용 해석 전에 작업을 정하기
Deepgram은 인식·합성·음성 에이전트를 제공하지만 이 프로젝트는 통화 분석과 의료 기록 등 Nova-3 오프라인 전사다. trn2.3xlarge 한 대의 복제본 8개로 달러당 11–70% 더 처리했다고 한다. 달러당 처리량 증가를 같은 비율의 건당 비용 감소로 바꿀 수 없다. 가격은 평가 시점 것이며 모든 계정의 현재 견적이 아니다. 절대적인 초당 음성 처리 시간은 제시하지 않으며 같은 구성에서 대화형 에이전트가 어떻게 작동할지도 입증하지 않는다.
최적화에 앞서 올바른 이전 확인
팀은 PyTorch와 TorchNeuron에서 즉시 실행의 CPU 대체를 살핀 뒤 인코더와 디코더를 각각 정적 형태 그래프로 컴파일했다. 컴파일 경로의 모든 연산이 Trainium2에 남았고 CPU 대체가 검출되지 않았다고 한다. 계층 출력을 CPU와 비교하고 단어 오류율이 Deepgram 기준과 목표를 유지해야 했다. 새 보편적 정확도 점수는 아니다. 배치 1~128에서 최대 처리량을 탐색했다. 저희는 올바른 이전을 확인하는 단계와 목표 트래픽에 맞추는 단계를 구분해야 한다고 본다.
국소 커널 배수를 곱하면 안 된다
Neuron Explorer와 NAD 분석·커널 작성 지원으로 NKI Library 참조를 개선했다. 가중치 블록 재사용은 배치 96에서 피드포워드 지연을 절반으로, depthwise 합성곱의 Vector Engine 전환은 같은 배치에서 1.5배 효과를 냈다고 한다. 자체 conv2d는 32 초과 배치의 컴파일 장벽을 없앴지만 최대 50배는 32 이하의 합성곱 모듈만 뜻한다. 비교 범위가 달라 배수를 곱하거나 전사 전체 절약으로 쓰면 안 된다. 저희는 해당 프로파일을 재현하지 않았다.
호스트 실행계도 개선 대상이었다
이 사례의 복제본 하나는 물리 NeuronCore 하나에 들어간다. LNC2에서 LNC1으로 바꾸면 Trainium2당 논리 코어 8개와 복제본 8개를 쓸 수 있다. Rust 서버는 작업 훔치기 큐, 복제본별 작업자와 C 계층을 통해 libnrt로 미리 컴파일한 NEFF를 호출한다. 서비스 경로에는 Python이나 PyTorch가 없다. 최적 배치에서 다중 프로세스 Python보다 처리량이 7.5% 높았다고 한다. 작은 디코더 호출의 호스트 부담은 배치가 작을 때 특히 드러나지만 모든 Rust 재작성이 같은 이득을 주지는 않는다.
분석: 전사 서비스 전체를 평가
파일럿은 대표 음성과 정답 전사를 고정하고 화자·녹음 조건별 오류를 확인한 뒤 승인된 전사량을 실제 비용과 비교해야 한다. 컴파일·예열·대기·호출·복구를 별도로 관찰한다. 이는 저희 제안이며 추가 실험 결과가 아니다. 자체 운영은 배포와 관측성, 접근 조건도 필요하다. SageMaker와 기술 지원 소개는 보편적 총가격이 아니다. 정확성·커널·생산 통합을 함께 바꾼 제한된 시스템의 결과이며 음성 구독에 자동 추가되는 권리가 아니다.
중요한 이유
대량 전사 운영자는 실행·메모리·호스트 호출 비용을 나눠 프로파일링한 뒤 이전을 판단할 수 있다.
제한 및 이용 가능성
제공자들의 오프라인 처리 측정이며 저희는 실행하거나 청구서를 검증하지 않았다. 구독 가격이나 실시간 지연 보장은 없다.
출처와 근거
원문 게시일: 2026. 10. 19. · 출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.