詳しい解説 · 読了目安 7 分
Cekuraの26モデルTTS評価：音声を選ぶ前に計時の起点をそろえる
10月19日時点の評価は逐次入力、難しい読み、自然さの推定、停止を分ける。最速の数値が会話全体の応答時間を表すわけではない。
- 当サイトの公開日
- 原典の公開日
- 出典確認日
Cekuraの音声合成ベンチマークは10月4日に初公開され、10月19日に更新された。対象は26構成である。原表と方法を全文読むと、応答速度、コードの正しい読み、声の自然さを別々に判断する必要が分かる。数値はCekuraの報告であり、AISubHubの実測や新モデルの発売ではない。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- 公開ページは代理応答の104文、各3回の読み、合計30,564リクエストを記載する。呼び出し元は米国東部の単一クラウド地域で、構成ごとに既定の声を一つ使用した。
- Gradiumの逐次テキスト入力の中央値−64ミリ秒と、Inworld TTS-2 Flashの一括入力46ミリ秒では起点が違う。読みの正確さとUTMOSによる自然さは推定値である。
そろえた条件と、そろっていない条件
Cekuraは米国東部の一つのクラウド地域から各構成を呼び出し、それぞれ既定の音色を一つ使う。同じ104文には挨拶から約500文字の返信までを含み、各文を3回読ませた。特定の声と接続経路を比べる条件としては役立つ。しかし各社の推論サーバーまで同じ場所に置いたわけではなく、すべての声や顧客の実際の電話経路を網羅しない。画面の例文から中国語でも同等だとは言えない。
リクエスト数の扱いも分ける必要がある。26モデル×104文×3回は8,112であり、ページの合計30,564とは一致しない。公開ページはあらゆる条件別の内訳を示していないため、分母を作ったり、差を再試行と決めつけたりはできない。一括入力、単語単位の入力、途中停止は別のテストである。8構成は逐次テキストを受け取れず、その図には表示されない。合計数や欠けた行だけでは、均一な標本だと証明できない。
逐次入力の遅延が負になる理由
一括入力の遅延は、文全体を送信した時点から最初の聞こえる音までを測る。接続確立は除外し、冒頭の無音は含める。Inworld TTS-2 Flashの選択音色Sarahはこの中央値が46ミリ秒、逐次入力では45ミリ秒だった。GradiumのEverlyは一括入力で76ミリ秒である。これは試した合成経路の値であり、通話者の質問が終わってから代理の回答が完了するまでの時間ではない。
逐次テキストでは、最後の単語を送った時点が起点になる。Cekuraによれば、Gradiumの中央値−64ミリ秒は、多くのテスト文で最後の単語が届く前に発音が始まったことを表す。物理的な待ち時間が負なのでも、未来の文を知っているのでもない。音声代理は認識、推論、ツール、再生バッファーも待つ場合がある。それらは重なり得るため、各社が公表した個別の中央値を足しても、全体の待ち時間を正しく予測できるとは限らない。
読みの推定と自然さの推定を分ける
読みの正確さは、数字、コード、住所、文脈依存の略語、医学用語など難しい部分を対象にする。録音をDeepgram Nova-3とOpenAI Whisperで文字にし、許容する読みが転写にあるかで判定して両者の結果をまとめる。人は各結果を確認していない。Cekuraは、あるモデルで二つの転写器に10ポイントの差があるとも記す。高得点はその判定器による読みの推定であり、全員が正しく聞き取ったことや業務の成功を証明する値ではない。
Inworld TTS-2は93.4%、Flashは93.2%、Fish Audio S2.1-Proは92.0%で、ページは上位の2ポイント以内を同点として扱うよう勧める。自然さは別の問題だ。Fish Audio Drama 3プレビューのDeliaはUTMOS推定で4.54を得て首位になった。UTMOSは聴取テストの点を予測するモデルであり、人の評価委員会が公表した好みの投票ではない。心地よい声は確認コードの正しさを保証せず、必要な不確実性分析のない小差を普遍的な品質差にもできない。
生成停止と再生停止は別の仕事
割り込みにはもう一つの境界がある。Grok TTSのCarinaは停止0ミリ秒、Cartesia Sonic 3.6のSkylarは764ミリ秒と報告される。これは本評価の停止指標であり、通話者の端末が即座に無音になる保証ではない。停止メッセージがない行ではアプリがストリームを捨てる。それを生成器のネイティブな取消遅延がゼロと測定されたことに置き換えてはいけない。再生待ちの音声はアプリ側でも管理する必要がある。
生成音声がときどき再生に追いつかない構成も示され、ElevenLabs v4 Turboではテスト文の5%で起きた。最初の音が遅いことや停止が遅いこととは異なる。説明用の予約代理を考えると、速い出だしが役立つのは後続音声が途切れず、訂正した確認コードが古い発話を置き換える場合だ。合成エンドポイントだけでなく、クライアントの再生キューと復旧も試すべきである。これは設計上の確認例で、当サイトが実施した実験ではない。
評価のスナップショットを自社の受け入れ試験にする
価格も別の列である。表示された最安の定価はSoniox TTS RT v2の100万文字あたり$14.81で、Fish Audio Drama 3プレビューには価格の記載がない。未記載は無料を意味しない。文字単位の定価は月額会員価格や一件の通話完了料金ではない。予算では請求単位、料金段階、利用条件を提供元に確認し、認識、推論、ツール、再試行、実際の合成音声量も含める必要がある。
受け入れ試験では、対象の声と利用地域で代表的なコード、名前、長い返信を再試験し、部分入力から割り込みまでを動かして実際に聞こえる再生を確認する。その後、品質と業務全体の費用を要件に照らす。これはAISubHubの提案で、新しい測定ではない。Cekuraは評価する市場でテスト・監視サービスを販売し、諮問委員会は組成中だと開示する。固定コミットのテスト枠組みをリンクし、結果をCC BY 4.0で公開している。署名引用と検討には役立つが、当サイトの独立再現や世界全体の統合モデル順位を意味しない。
注目する理由
AISubHubは、実際の入力と割り込みのパターンに合わせて選び、難しい内容と業務全体の費用を確認する方法を提案する。一つの列で首位でも、会話システム全体が最良とは証明できない。
制約と提供状況
公開ページとAbout、ガバナンス説明を全文読んだが、テスト実行や録音の試聴はしていない。中国語、全音色、全地域、稼働中サービスの保証、現時点の購入条件はこの結果だけでは分からない。
出典と根拠
原典の公開日: · 出典確認日:
補足資料
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。