Подробный разбор · Около 5 мин чтения
Granite Speech 5: точность, пропускную способность и атрибуцию речи нужно разделять
Три обновления IBM требуют отдельно оценивать языки, производительность обработки и ошибки привязки слов к говорящим.
- Опубликовано здесь
- Дата источника
- Источник проверен
В объявлении от 21 октября IBM представила новый Granite Speech 5.0 2B и обновила Turbo CTC и 4.1 2B Plus. Выбор зависит от результата: многоязычная расшифровка или перевод, быстрая обработка либо текст с говорящими и временными метками. Приведённые результаты принадлежат статье IBM, а не тестированию моделей AISubHub.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Новый 2B заявляет шесть языков ASR, Turbo — семь. Перевод на мандаринский не доказывает распознавание речи на нём.
- 19,870 RTFx у Turbo — пропускная способность бенчмарка; Plus отдельно оценивает временные, словесные и связанные с говорящими ошибки.
Сначала выбрать результат, затем номер версии
Три названия обозначают разные задачи. granite-speech-5.0-2b — новая речевая языковая модель для точной расшифровки и перевода. Обновлённый granite-speech-5.0-470m-turboctc сохраняет энкодер с 470 миллионами параметров и ориентируется на высокую пропускную способность и расшифровку на устройстве. Быстро обрабатывать звук и создавать переведённый текст — разные требования; общая маркировка 5.0 не делает модели взаимозаменяемыми.
Обновлённый granite-speech-4.1-2b-plus предназначен для совещаний, звонков поддержки и других длинных записей с несколькими говорящими. IBM сохраняет 4.1, поскольку архитектура, формат запросов и API не меняются, а новые веса описывает как прямую замену. Наш анализ: поиск по совещанию может требовать найти слова конкретного человека, а не только повысить средний результат на коротких фрагментах. Поэтому три продукта нельзя свести к единому рейтингу качества.
У языковых направлений и словарных списков есть границы
Модель 2B расшифровывает английский, французский, немецкий, испанский, португальский и японский. Заявлен перевод между английским и остальными пятью языками в обе стороны, а также с английского на итальянский и мандаринский. Последнее является направлением вывода перевода: оно не добавляет мандаринский в список ASR и не подтверждает обратный перевод. Семиязычный список ASR у Turbo добавляет итальянский к шести перечисленным языкам.
IBM сообщает о 390,000 часах публичного аудио для обучения и дополнительных синтетических данных для японского ASR, приоритизации ключевых слов и перевода. Также описаны указание языка в запросе, пунктуация и заглавные буквы по запросу и списки до 2,000 терминов для расшифровки и перевода. Приоритизация помогает распознавать имена и сокращения, но не гарантирует, что заданный термин действительно произнесён. В приведённом далее сравнении Plus используются 20 терминов, а не максимальные 2,000.
Изменение Conformer относится к пропускной способности
По словам IBM, компилируется один блок Conformer, а его граф повторно используется по всему стеку. Это сокращает прогрев и повышает результат Turbo CTC примерно с 12,600 до 19,870 RTFx при том же заявленном уровне точности — приблизительно в 1.6 раза. RTFx является обратным фактором реального времени и выражает пропускную способность относительно длительности аудио в условиях бенчмарка. Это не измерение задержки ответа на единичный запрос.
Высокая устойчивая производительность может сопровождаться ожиданием буферизации, запуска, пакетирования или сети. Сравнение не устанавливает такие сквозные задержки и не гарантирует скорость на конкретном устройстве. Мы рассматриваем повторное использование графа как механизм оптимизации для проверки, а не обещание интерактивного разговора в 1.6 раза быстрее.
Таблица Plus описывает несколько разных ошибок
Для 4.1 2B Plus IBM показывает изменение среднего смещения временных меток AAS с 210.86 до 98.54 по всей речи и с 29.27 до 26.20 для коротких фрагментов. В видимой таблице единица AAS не указана, поэтому приписывать миллисекунды нельзя. WER длинной речи меняется 13.53→10.22, ошибка привязки слов к говорящим WDER —4.40→4.10, а cpWER расшифровки с атрибуцией —30.50→28.48.
Для списков из 20 терминов WER приоритетных слов меняется 11.79→6.48. IBM суммирует улучшение длинной речи и таких слов примерно как 24% и 45%, а связанных с говорящими показателей — около 7%. Это относительное снижение, а не уменьшение на столько же процентных пунктов:13.53−10.22 составляет 3.31 пункта на указанной шкале WER. Улучшение временного выравнивания не заменяет проверку правильности слов и их привязки к людям.
Сохранить противоречие диаграмм и ограничения внедрения
Статическая диаграмма IBM для короткой английской речи даёт модели 2B средний WER 5.06%. Подпись называет результаты официальными по состоянию на 21 октября, тогда как нижняя пометка встроенного сравнения называет их неофициальными на 15 октября и ограничивает публичными тестами короткой английской речи и моделями с открытыми весами; iframe описывает девять наборов. Мы сохраняем противоречие дат и официального статуса. Прочтение диаграммы не является независимой проверкой текущего официального рейтинга, многоязычного качества или длинных записей.
IBM заявляет Apache 2.0 и встроенную поддержку Transformers для всех трёх моделей; для 2B также перечислены vLLM, llama.cpp и mlx-audio на Apple Silicon. Наш анализ предлагает сначала выбрать выходной результат, затем проверить типичные акценты, шум, лексику, метки времени и говорящих в нужном стеке. Лицензия не гарантирует стоимость хостинга, разрешение на производственные данные, приватность или доступность сервиса. Мы не запускали модели, не проверяли связанные карточки моделей и браузерную демонстрацию; объявление также не гарантирует общие производственные цены или региональный доступ.
Почему это важно
Анализ AISubHub: полезно разделить качество текста, производственную ёмкость обработки и поиск с учётом говорящих. Локальная оценка должна проверять эти результаты отдельно, а не подменять их одной эффектной цифрой.
Ограничения и доступность
Это объяснение публикации команды IBM и её собственных результатов, включая противоречивые подписи графиков. Оно не является независимым бенчмарком, текущим рейтингом, производственным тарифом или доказательством ASR для мандаринского.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.