Brève · Environ 1 min de lecture
Transformers 5.20.2 corrige les types d’entrée et les gradients d’experts
Ce correctif traite les conversions multimodales, les gradients BF16 et les modalités déclarées.
- Publié ici
- Date de la source
- Source vérifiée
Hugging Face a publié Transformers 5.20.2 le 19 octobre. Les notes présentent quatre correctifs, sans annoncer de nouveau modèle.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- La génération préserve les types d’entrée dans prepare_inputs_for_generation pour résoudre des problèmes touchant les modèles multimodaux.
- Un correctif vise les gradients d’experts nuls avec le parallélisme bfloat16 lorsque ep_size < fsdp_size.
- Les modèles vision-langage déclarant à tort uniquement du texte indiquent désormais leurs modalités d’entrée.
- Le chemin eager_mask évite une copie de l’hôte vers le périphérique.
Pourquoi cela compte
Les responsables peuvent relancer les tests concernés de génération et d’entraînement distribué. Selon notre analyse, la compatibilité et la justesse constituent les critères utiles, plutôt qu’un nouveau score de capacité.
Limites et disponibilité
Il s’agit des déclarations du projet. Nous n’avons pas exécuté cette version. Les notes ne chiffrent aucun gain de vitesse et ne garantissent pas la correction de toutes les charges multimodales ou distribuées.
Sources et preuves
Date de la source: · Source vérifiée:
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.