Analyse approfondie · Environ 4 min de lecture
Le cas Trainium de Deepgram distingue modèle, noyaux et service
AWS rapporte davantage d'audio Nova-3 par lots non interactifs par dollar après adaptation, sans garantie générale d'économie.
- Date de la source
- Publié ici
- Source vérifiée
Le cas du 19 octobre décrit plusieurs mois d'adaptation de Nova-3 par Deepgram et AWS pour les lots non interactifs sur Trainium2. Changer d'accélérateur ne réduit pas automatiquement la facture de toute application vocale.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Une trn2.3xlarge exécute huit répliques et traite, selon les auteurs, 11–70% d'audio supplémentaire par dollar face aux options précédentes, aux prix de l'évaluation.
- Le travail associe graphes statiques, noyaux et service Rust, avec contrôles numériques et taux d'erreur de mots.
Définir la charge avant l'économie
Deepgram propose reconnaissance, synthèse et agents, mais ce projet vise Nova-3 par lots non interactifs, notamment analyse d'appels et dossiers médicaux. Les auteurs annoncent huit répliques sur une trn2.3xlarge et 11–70% d'audio en plus par dollar. Ce dénominateur n'est pas la même baisse proportionnelle du coût unitaire. Les tarifs sont ceux de l'évaluation, pas une offre actuelle universelle. Le texte fournit un débit relatif, pas un nombre absolu de secondes audio par seconde, et n'établit pas le résultat d'un agent interactif sur cette configuration.
Valider la correction avant d'optimiser
Les ingénieurs commencent avec PyTorch et TorchNeuron, recherchent les replis vers CPU en exécution immédiate, puis compilent encodeur et décodeur en graphes statiques distincts. Ils rapportent toutes les opérations compilées sur Trainium2 sans repli détecté. Les sorties par couche sont comparées au CPU et le taux d'erreur de mots doit rester conforme à la référence et à la cible Deepgram ; aucun nouveau score universel n'est donné. Des lots de 1 à 128 recherchent le débit maximal. Notre lecture sépare validation fonctionnelle du portage et réglage pour le trafic prévu.
Les gains de noyaux ne se multiplient pas
Neuron Explorer guide les modifications des références NKI Library, avec NAD pour analyser et écrire les noyaux. Réutiliser les blocs de poids divise par deux la latence feed-forward au lot 96 ; passer la convolution depthwise au Vector Engine apporte un facteur 1,5 au même lot. Un conv2d personnalisé lève une barrière de compilation au-delà de 32. Son résultat jusqu'à 50 fois concerne seulement le module convolutionnel pour des lots inférieurs ou égaux à 32. Ces périmètres diffèrent : les facteurs ne se multiplient pas et ne représentent pas l'économie de toute la transcription. Nous n'avons pas reproduit les profils.
Le service hôte compte aussi
Chaque réplique tient ici dans un NeuronCore physique. Le passage de LNC2 à LNC1 expose huit cœurs logiques et huit répliques par Trainium2. Le serveur Rust emploie une file avec vol de travail, un travailleur par réplique et une couche C invoquant les exécutables NEFF précompilés via libnrt. Python et PyTorch sont absents du chemin de service. Face à Python multiprocessus, Rust ajoute 7,5% de débit au lot optimal. Les petits appels de décodage rendent la distribution côté hôte sensible aux faibles lots. Cela ne garantit pas le même gain en réécrivant n'importe quelle application en Rust.
Analyse : évaluer le service entier
Un pilote devrait conserver audio et transcriptions de référence, vérifier les erreurs selon les locuteurs et enregistrements pertinents, puis comparer volume accepté et facture réelle. Compilation, préchauffage, files, distribution et reprise doivent rester visibles. Ce sont nos recommandations, pas des tests supplémentaires publiés. L'auto-hébergement exige déploiement, observabilité et accès ; SageMaker et l'aide d'ingénieurs sont cités sans prix universel. La leçon porte sur la correction, les noyaux et l'intégration productive ensemble. Le résultat concerne ce système borné, pas un avantage ajouté automatiquement à un abonnement vocal.
Pourquoi cela compte
Les opérateurs peuvent profiler séparément calcul, mémoire et distribution côté hôte avant une migration.
Limites et disponibilité
Ce sont des mesures des auteurs sur des lots non interactifs. AISubHub n'a ni exécuté le modèle ni vérifié les factures ; aucun abonnement ou délai interactif n'est garanti.
Sources et preuves
Date de la source: 19 oct. 2026 · Source vérifiée: 20 oct. 2026
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.