심층 해설 · 약 5분 읽기
Cekura의 26개 TTS 모델 평가: 목소리보다 먼저 시간의 시작점을 맞추기
10월 19일 스냅샷은 스트리밍 텍스트 지연, 어려운 읽기, 자연스러움 추정과 중단을 구분한다. 가장 빠른 수치는 전체 대화 응답 시간이 아니다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
Cekura의 음성 합성 벤치마크는 10월 4일 처음 게시되고 10월 19일 갱신됐으며 26개 구성을 비교한다. 원본 표와 방법 전체를 읽으면 속도, 코드 읽기 정확성, 자연스러운 목소리를 각각 판단해야 하는 이유가 드러난다. 수치는 Cekura의 보고이며 AISubHub 실측이나 새 모델 출시가 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 공개 페이지는 상담 문장 104개, 문장당 세 번 읽기, 총 30,564회 요청을 제시한다. 호출 클라이언트는 미국 동부의 한 클라우드 리전이고 구성마다 기본 음성 하나를 쓴다.
- Gradium의 스트리밍 텍스트 중앙값 −64ms와 Inworld TTS-2 Flash의 전체 텍스트 46ms는 시작점이 다르다. 읽기 정확성과 UTMOS 자연스러움은 추정치다.
같게 통제한 조건과 여전히 다른 조건
Cekura는 미국 동부의 한 클라우드 리전에서 각 구성을 호출하고 기본 음성을 하나씩 사용한다. 동일한 104개 문장은 인사부터 약 500자 응답까지 포함하며 문장마다 세 번 읽는다. 선택한 음성과 연결 경로를 비교하는 데 유용한 통제다. 그러나 모든 업체의 추론 서버가 같은 곳에 있다는 뜻은 아니며 모든 음성이나 고객의 실제 전화 경로를 포괄하지도 않는다. 화면에 보이는 예문으로 중국어에서 같은 결과를 보장할 수도 없다.
요청 수는 별도로 해석해야 한다. 26개 모델에 104개 문장과 세 번 읽기를 곱하면 8,112이며 페이지가 보고한 30,564가 아니다. 공개 페이지에는 모든 조건별 전체 요청 내역이 없으므로 분모를 만들거나 차이를 재시도라고 해석할 수 없다. 전체 문장, 단어별 입력, 중간 중단은 다른 시험이다. 여덟 구성은 스트리밍 텍스트를 받지 못해 해당 차트에 나오지 않는다. 총계나 누락 행만으로 균일한 표본을 증명할 수는 없다.
스트리밍 지연이 음수가 되는 이유
비스트리밍 지연은 전체 문장을 보낸 시점부터 처음 들리는 소리까지 잰다. 연결 설정은 제외하고 시작 부분의 무음은 포함한다. Inworld TTS-2 Flash의 선택 음성 Sarah는 이 중앙값이 46ms, 스트리밍 텍스트는 45ms다. Gradium의 Everly는 전체 텍스트에서 76ms를 기록한다. 이는 시험한 합성 경로의 수치이며, 사용자가 질문을 끝낸 뒤 에이전트가 답변을 완료할 때까지의 시간은 아니다.
스트리밍 텍스트에서는 마지막 단어를 보낸 순간부터 시간을 잰다. Cekura에 따르면 Gradium의 중앙값 −64ms는 대부분의 시험 문장에서 마지막 단어가 도착하기 전에 소리가 시작됐다는 뜻이다. 실제 대기 시간이 음수이거나 미래 텍스트를 안다는 뜻이 아니다. 음성 에이전트는 인식, 추론, 도구와 재생 버퍼도 기다릴 수 있다. 이 과정들은 겹칠 수 있어 서로 다른 업체가 발표한 개별 중앙값을 더해도 전체 응답 시간을 신뢰성 있게 예측하지 못한다.
읽기 추정과 자연스러움 추정을 분리하기
읽기 정확성은 숫자, 코드, 주소, 문맥에 따라 달라지는 약어와 의학 용어 같은 어려운 구간을 평가한다. Deepgram Nova-3와 OpenAI Whisper로 녹음을 전사하고 전사문에 허용된 읽기가 있으면 통과시킨 뒤 두 결과를 합친다. 사람이 각 결과를 확인하지는 않는다. Cekura는 한 모델에서 두 전사기의 결과가 10%포인트 다르다고도 밝힌다. 높은 수치는 이 평가기 아래에서의 읽기 추정이며, 모든 청자의 이해나 업무 성공을 증명하지 않는다.
Inworld TTS-2는 93.4%, Flash는 93.2%, Fish Audio S2.1-Pro는 92.0%이며 페이지는 상위 점수 차이가 2포인트 이내이면 동률로 보라고 권한다. 자연스러움은 다른 질문이다. Delia를 쓴 Fish Audio Drama 3 프리뷰는 UTMOS 추정 4.54로 선두다. UTMOS는 청취 시험 점수를 예측하는 모델이지 사람이 참여한 선호도 투표 결과가 아니다. 좋은 음색은 확인 코드의 정확성을 보증하지 않으며, 필요한 불확실성 분석이 없는 작은 차이를 보편적인 품질 우위로 바꾸면 안 된다.
생성 중지와 재생 중지는 서로 다른 일
끼어들기는 또 다른 경계를 드러낸다. Carina를 쓴 Grok TTS의 중단 수치는 0ms이고 Skylar를 쓴 Cartesia Sonic 3.6은 764ms다. 이는 벤치마크의 중단 측정이며 발신자의 전화기가 즉시 조용해진다는 보장이 아니다. 어떤 행에는 중지 메시지가 없어 애플리케이션이 스트림을 버린다. 이를 생성기의 기본 취소 지연을 0으로 측정했다고 해석해서는 안 된다. 이미 재생 대기열에 들어간 오디오도 앱이 관리해야 한다.
생성된 오디오가 때때로 재생을 따라가지 못하는 구성도 표시된다. ElevenLabs v4 Turbo는 시험 문장의 5%에서 이런 현상이 나타난다. 첫 소리의 지연이나 느린 중단과는 다른 문제다. 설명용 예약 에이전트를 생각하면 빠른 첫 문장은 뒤의 소리가 매끄럽게 이어지고 수정한 확인 코드가 옛 발화를 대체해야 의미가 있다. 따라서 합성 엔드포인트뿐 아니라 클라이언트 재생 대기열과 복구도 시험해야 한다. 이는 설계 점검 예시이며 우리가 수행한 실험이 아니다.
스냅샷을 실제 애플리케이션 인수 시험으로 바꾸기
가격도 별도 항목이다. 표시된 최저 정가는 Soniox TTS RT v2의 백만 문자당 $14.81이며 Fish Audio Drama 3 프리뷰에는 가격이 없다. 가격 미표시는 무료 이용을 의미하지 않는다. 문자 기반 정가는 월 구독이나 완료된 통화 한 건의 견적이 아니다. 예산은 제공사에 과금 단위, 요금 구간, 이용 조건을 확인하고 인식, 추론, 도구, 재시도와 실제 합성 발화량까지 포함해야 한다.
인수 시험은 목표 음성과 사용자 지역에서 대표 코드, 이름, 긴 답변을 재시험하는 것으로 시작할 수 있다. 부분 텍스트를 보내고 중단한 뒤 실제 들리는 재생을 살피고, 마지막으로 품질과 전체 업무 비용을 요구 사항과 비교한다. 이는 AISubHub의 권고이며 새 측정 결과가 아니다. Cekura는 평가 대상 시장에 테스트와 모니터링 서비스를 판매하며 자문위원회가 아직 구성 중이라고 공개한다. 고정 커밋의 시험 도구를 연결하고 결과를 CC BY 4.0으로 배포한다. 출처 표시와 검토에는 유용하지만, 우리의 독립 재현이나 세계 모델 통합 순위를 의미하지 않는다.
중요한 이유
AISubHub는 실제 입력과 끼어들기 패턴에 맞춰 음성을 고른 뒤 어려운 내용과 전체 업무 비용을 검증할 것을 제안한다. 한 항목의 1위가 최상의 대화 시스템을 증명하지는 않는다.
제한 및 이용 가능성
공개 평가 페이지와 About, 거버넌스 문서를 모두 읽었지만 테스트 실행이나 녹음 청취는 하지 않았다. 이 스냅샷은 중국어, 모든 음성·리전의 성능, 운영 서비스 보장이나 현재 구매 자격을 입증하지 않는다.
출처와 근거
원문 게시일: · 출처 확인일:
추가 자료
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.