詳しい解説 · 読了目安 5 分
Trainium2上のLaplace 3B：固定状態と完全な記憶は別問題
i14とAWSの報告では、状態量、最適化器の通信、実際の到着負荷を分けて読む。
- 当サイトの公開日
- 原典の公開日
- 出典確認日
10月20日のAWS記事は、i14のLaplace 3BをネイティブPyTorchでTrainium2に適応させた訓練・推論を説明する。増え続けるKVキャッシュではなく固定の再帰状態を使う点が中心だ。どの資源制約が変わり、品質やコンパイル、運用の何が未解決かを判断する必要がある。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- 状態は1系列29.5 MB、推論はtrn2.48xlarge一台で1280系列合計11544出力tokens/秒と報告される。総メモリーでも利用者ごとの速度でもない。
- 訓練計画は1000億tokensだが掲載結果は約440億。通信24分の1と訓練速度1.63倍は別の指標だ。
固定状態は履歴の圧縮である
一般的なsoftmax推論は文脈とともにキーと値を増やす。Laplace 3BはGated Linear Attentionで再帰行列を更新し、以前の内容を1系列29.5 MBの状態に圧縮する。訓練の注意計算は系列長の二乗から線形になる。しかし重み、活性、入力処理、その他のバッファが消えるわけではない。圧縮は取り出せる情報も変えるため、原文は用途別の検索品質評価を求める。長い対話をメモリーに収められても、昔の全ての細部が必要な精度で残るとは限らない。
ハードウェア対応と通信削減を混同しない
GPU専用TritonカーネルをPyTorch演算に置き換え、128 tokensの16チャンクをバッファの128分割に合わせた。記事はこの整列による14%の改善を報告する。Muonの課題は、分割勾配でも分割間の関係が必要なことだった。二回のall-to-allで完全な行列を配って並列処理し、結果を返す。rank当たり通信は10.87 GBから0.45 GBへ、速度は73378から119934 tokens/秒へ変わった。通信24分の1を、訓練24倍という意味で宣伝することはできない。
計画した訓練量と到達結果を分ける
構成は30.28億パラメーター、24層、FineWeb-Eduの1000億tokensを計画する。一方、掲載結果は84210ステップ、約440億tokensまでで、予定190735ステップの完了ではない。約120000 tokens/秒と低下する損失は、その実行区間の結果だ。安定性は実装の参考になるが、業務ベンチマークや全Transformerとの優劣、事実想起の証拠にはならない。本站はハードウェア適応という成果と、具体的用途で別途検証すべきモデルの有用性を区別する。
合計速度には並列条件が付く
推論はtrn2.48xlarge一台の64論理NeuronCoreに各20系列、計1280系列を載せる。11544出力tokens/秒はこの負荷全体の合計であり、一人ずつの値ではない。状態が約82分の1という比較は8192 tokens時の同等KVキャッシュに対するもので、総請求額ではない。入力2048から8192 tokensへの延長で出力token当たり費用が0.5%増えたという結果も同じ実験条件による。実予算では入力処理、割り当て、品質、稼働率を考慮する必要がある。
実際の到着がコンパイル費用を露わにする
新しいデコードバッチ幅には初回約11秒のコンパイルが必要だった。該当ステップは1.1%でも、デコード時間の47.5%を占める。固定幅へのパディングでこの負担を除き、到着をずらす試験と固定バッチでは改善量も違った。原文はBF16の演算再結合でコンパイル出力がeagerと少し異なるため、厳密な再現性ではeagerも選択肢だと述べる。現実の到着、遅延の裾、数値許容差、想起品質を合わせて試すのが本站の提案であり、実運用や節約の実測を主張するものではない。
注目する理由
本站の分析では、固定状態は長い会話の容量計画に役立ち得るが、情報想起と現実のリクエスト到着を同時に試す必要がある。構造とランタイムは一緒に評価すべきだ。
制約と提供状況
本文と図注を最後まで読んだが、コードやモデルは実行していない。結果はi14/AWSの報告であり本站実測ではない。購読料金、無料ハードウェア、普遍的品質優位、運用保証は示されていない。TorchNeuron Nativeはbeta版を使用した。
出典と根拠
原典の公開日: · 出典確認日:
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。