ニュース短報 · 読了目安 2 分
Transformers 5.20.2、生成時の入力型とエキスパート勾配を修正
多モーダル入力の型変換、BF16 勾配、入力モダリティの宣言を修正する保守版です。
- 当サイトの公開日
- 原典の公開日
- 出典確認日
Hugging Face は10月19日に Transformers 5.20.2 を公開しました。原典は4件の修正を示しており、新モデルの発表ではありません。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- prepare_inputs_for_generation 内で生成入力の型を保持し、多モーダルモデルに影響する問題を修正します。
- bfloat16 のエキスパート並列で ep_size < fsdp_size の場合に勾配がゼロになる問題を修正します。
- 誤ってテキストのみと申告していた視覚言語モデルが、入力モダリティを正しく宣言します。
- eager_mask の経路でホストからデバイスへのコピーを回避します。
注目する理由
保守担当者は、該当する生成処理と分散学習の回帰テストを再実施できます。当サイトの見解では、新しい能力スコアより互換性と正しさが更新判断の基準になります。
制約と提供状況
以上は上流の修正説明です。当サイトはこの版を実行していません。速度向上の数値や、すべての多モーダル・分散処理が修正されたという保証は示されていません。
出典と根拠
Hugging Face Transformers v5.20.2 release notes
原典の公開日: · 出典確認日:
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。