Подробный разбор · Около 6 мин чтения
VocabX: словарь как решение о стоимости в оценивании португальских сочинений
Dharma-AI показывает специализацию токенизатора с учетом стоимости, измеренный пример одного оценщика, контрпример качества и более широкие расчетные сравнения.
- Опубликовано здесь
- Дата источника
- Источник проверен
В статье от 21 октября Dharma-AI представляет VocabX — исследовательский предварительный результат по специализации словаря малых языковых моделей. Наиболее прямое свидетельство — контролируемое сравнение для одной задачи оценивания португальских сочинений. Заявленное снижение стоимости на 77.0% относится к этой установке, а не к новой модели Qwen или объявленной скидке на размещенные API.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Выбор словаря взвешивает системные, пользовательские и выходные токены по стоимости обслуживания, а не считает каждый удаленный токен одинаково ценным.
- В описанном эксперименте немного более длинный ответ сохранял отдельное решение об оценке и оказался лучше самого компактного макропредставления.
- Стоимость по измеренному времени работы одной задачи и расчетная стоимость пятнадцати сочетаний предметной области и модели — разные виды свидетельств.
1. Что именно дорого в этом оценщике?
Dharma-AI описывает производственную систему, которая получает португальские сочинения, задания и вспомогательные тексты, а возвращает оценки и комментарии в JSON. Базовый токенизатор Qwen3-4B рассчитан на гораздо более широкий набор языков и текстов. Поэтому повторяющаяся структура ответа требует множества шагов декодирования, каждый из которых также оценивает словарные элементы, редко нужные узкой задаче. Получаются две отдельные цели: уменьшить число шагов генерации и размер выходного слоя оценивания. Ни одна не означает уменьшение всей модели на заявленный процент снижения стоимости.
В статье объясняется, что обработка входа на этапе prefill может повторно использовать чтение весов для нескольких токенов, тогда как последовательное декодирование также перемещает веса и растущий KV-кэш. В этом оценщике выходной токен, по данным авторов, стоил в 7.4 раза дороже входного; отношение зависит от оборудования, пакетирования и длины контекста. LM head занимает почти 10% параметров при таком размере модели. Словарь сокращается со 151,669 до 64,767 элементов, примерно со 152,000 до 65,000 выходных строк. Это размеры словаря и выходного слоя, а не сокращение всех параметров модели на 77%.
2. Как учет стоимости меняет выбор словаря?
VocabX по-разному оценивает экономию системных инструкций, пользовательских сообщений и ответов модели. Повторяющееся выходное выражение поэтому может быть ценнее столь же частого входного. Два уровня решают разные виды повторения: изменения подсловного словаря перестраивают разбиение слов предметной области, а макротокены представляют повторяющиеся фрагменты. У каждого уровня свой бюджет в рамках стоимостного критерия. Источник прямо уточняет, что вычислительный член LM head в критерий выбора не включен; размер словаря контролируется отдельно заменой базового подсловного словаря и ограничением бюджета макротокенов.
Пять механизмов поиска выделяют длинные слова, целые строки, выражения, полные предложения и насыщенные пунктуацией структуры, например JSON. Кандидаты перекрываются: после выбора одного фрагмента другой может уже не обеспечить всю первоначально обещанную экономию. В интерпретации AISubHub это задача предельного выигрыша при ограниченном бюджете, а не просто список частых фраз. Нужно учитывать место повторения, покрытие предыдущими выборами и допустимое количество элементов. Меньшее число токенов само по себе этих компромиссов не разрешает.
3. Почему отсутствие кандидата в выборке не означает нулевую ценность?
Источник приводит выражение, встречающееся 37 раз в 50,000 документов: выборка из 400 документов видит его лишь примерно в 26% случаев. В корпусе договоров такая выборка содержит только 16.6% кандидатов. Автоматически считать каждого невидимого кандидата бесполезным — значит рисковать потерей полезных возможностей специализации. Это проблема выборки при построении словаря, а не измеренная частота отказов модели или точность оценивания сочинений.
Метод разделяет общую экономию кандидата по корпусу, которую авторы считают точно подсчитываемой, и долю, еще не покрытую ранее выбранными токенами. Оценивать нужно только последнюю поправку на перекрытие. Для невидимых кандидатов статистика видимых заменяет автоматический ноль. При тех же выборке и бюджете сокращение токенов договоров увеличивается с 44.7% до 52.8%, то есть на 8.1 процентного пункта. Это поддерживает изменение метода выборки в описанном эксперименте, но не гарантирует такого же выигрыша после смены распределения документов.
4. Самое компактное представление не стало лучшей системой решений
В сравнении оценщика обучаются семь вариантов с одинаковыми базовой моделью, данными, рецептом обучения и seed, меняется токенизатор. Все выполняют те же 500 запросов на RTX 5090 с vLLM; стоимость рассчитывается по измеренному времени работы. Авторы сообщают о снижении среднего выхода с 350 до 101 токена, стоимости — на 77.0%, и росте bench с 0.703 до 0.810. Этот показатель объединяет точность оценивания и обнаружение сочинений не по теме либо нарушающих правила. Это не универсальный балл языковой модели и не независимо проверенный нами счет клиента.
Важен контрпример: объединение оценки компетенции с окружающим JSON в один макротокен дало самое компактное представление, но bench составил 0.689, ниже базовых 0.703. Отделение оценки потребовало двух дополнительных токенов на ответ, вернуло 0.810 и обеспечило снижение стоимости на 77.0% против 73.3% у объединенного варианта. Сжатый токен связывал содержательное решение с оформлением. Наш анализ — сохранять эту границу решения и явно проверять качество, а не считать, что максимальное сжатие обязательно минимизирует время работы и сохраняет качество суждения.
5. Что переносится на другие задачи и что еще нужно проверить?
Более широкое сравнение охватывает договоры, медицинские и научные статьи, новости и код Python, а также Qwen3, Llama-3.1 и Gemma-3: пятнадцать сочетаний с общими документами для поиска и тестирования и ограничениями размера словаря. Авторы сообщают о преимуществе сжатия на 1.2–9.3 процентного пункта относительно сильнейшего сравниваемого метода. Средние преимущества по расчетной стоимости составляют 10.2 пункта для Qwen3, 7.5 для Llama-3.1 и 13.6 для Gemma-3. Это не пятнадцать повторений измеренной экономии оценщика в 77.0%. Для договоров достигнуто сокращение токенов на 62.6% при 113,426 элементах против 61.8% и 207,803 элементов у лучшей конфигурации in-place BPE.
Среди сравниваемых методов — перенос словаря, многословная токенизация и in-place BPE, но мы отдельно не читали эти работы и не воспроизводили сравнения. Полная статья VocabX еще готовится. Применение требует совместимых токенизатора, эмбеддингов и выходного слоя, а также соответствующего обучения и проверок качества; это не инструкция заменить токенизатор размещенного API на стороне клиента. Сдвиг языка или формата способен изменить экономию и поведение решений. Перед развертыванием командам следует заново измерить время и качество своей нагрузки, не выводя из предварительного исследования доступность продукта, лицензию или общее снижение цен API.
Почему это важно
Анализ AISubHub: проектирование токенизатора стоит проверять в эксперименте по специализации вместе с обучением и настройками обслуживания. Полезная приемка сравнивает качество задачи и время работы на целевой нагрузке; одно сокращение токенов не доказывает дешевизну или надежность развертывания.
Ограничения и доступность
Это исследовательский предварительный материал команды: статья готовится, текущая версия находится на рассмотрении и может измениться. Мы не воспроизводили эксперименты и отдельно не читали цитируемые внешние работы. Результаты не устанавливают цены, лицензии или совместимость с размещенными сервисами.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.