Подробный разбор · Около 6 мин чтения
ThinkingBox превращает проверки базы данных в награды: повторяемость растёт, охват сокращается
Microsoft и Hugging Face сообщают о более повторяемом успехе Qwen3.8-27B после 50 шагов GRPO, но о снижении числа задач, решённых хотя бы раз.
- Опубликовано здесь
- Дата источника
- Источник проверен
В совместной технической публикации от 22 октября Microsoft и Hugging Face представили ThinkingBox-Training: агент получает награду за фактическое состояние базы данных после работы. Статья Tuhin Kundu сообщает о росте среднего и повторяемого успеха Qwen3.8-27B при сокращении охвата. Это результаты авторов, а не воспроизведение AISubHub и не новая версия базовой модели Qwen.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- На 507 задачах с 20 попытками на каждую число успешных попыток выросло с 5242 до 6163, а задач, успешных во всех 20 попытках, — с 38 до 107.
- Число задач, решённых хотя бы раз, снизилось с 453 до 446. Набор из 187 обучающих задач отделён от бенчмарка и не совпадает с публичными примерами.
- Снижение затрат относится к сравнительной оценке инференса; обучение и предварительные пробы политики исключены.
Завершённый диалог может скрывать неверные записи
Проблема возникает, когда агент объявляет об успехе, но оставляет неверные бизнес-записи. В статье приведено синтетическое бронирование гостиницы на 1450 долларов: для перехода на номер ниже классом требуется одобрение руководителя. Базовая модель изменила бронь без разрешения в 15 из 20 попыток. После обучения бронь и платёж сохранялись во всех 20, но полный набор ожидаемых записей совпал лишь в 19. Сохранение двух важных состояний не означает полного успеха в каждой попытке.
ThinkingBox проверяет конечное состояние серверной системы и побочные эффекты, а не убедительность объяснения или фиксированную последовательность инструментов. Авторы описывают бинарную награду: правильный результат проходит, неверные, отсутствующие или лишние эффекты — нет. Большинство проверок детерминированы, но небольшая часть узких требований может использовать языковую модель-судью. По анализу AISubHub, полезность награды ограничена тем, какие важные результаты действительно отражены в проверках и критериях.
Выбрать задачи один раз и учиться на контрасте результатов
Отбор кандидатов, пробы базовой политики и классификация сложности выполняются один раз до обучения; затем на фиксированном пуле повторяются эпизоды, оценка и обновление. Для k успехов в n пробах используется апостериорное распределение Джеффриса Beta(k + ½, n − k + ½), а задачи относятся к пяти диапазонам по апостериорной массе. Полное обучение параметров сохраняет средние диапазоны от 0.08 до менее 0.90. Показанный отбор для LoRA дополнительно отбрасывает часто решаемый диапазон 0.60–0.90. Это разные правила отбора.
В описанном полном обучении используются 187 задач, GRPO с усреднением по токенам и 50 шагов. Каждое обновление генерирует 18 групп по восемь полных эпизодов, всего 144, на 24 H100. Одни нули или одни единицы после центрирования не дают относительного преимущества по награде задачи; смешанные результаты дают обучающий контраст. Группы с нулевой дисперсией заменяются, а сбои серверной части восполняются отдельно и не считаются ошибками агента. Отброшенные эпизоды всё равно стоят денег. Оптимизатор — AdamW, скорость обучения 1e-6, затухание весов нулевое.
Повторяемость и широта решаемых задач — разные свойства
Оценка включает 507 задач по 20 попыток, всего 10140 попыток. Авторский pass@1 измеряет средний успех: он вырос с 51.70% до 60.78%, на 9.08 процентного пункта. Observed 20/20 считает задачи, успешные в каждой записанной попытке: число выросло с 38 до 107 из 507, или с 7.50% до 21.10%. Это наблюдение на конечной выборке. Двадцать успехов не гарантируют бессрочную надёжность или правильный ответ на новый производственный ввод.
Pass@20 отвечает на другой вопрос: решена ли задача хотя бы раз? Он снизился с 453 задач, 89.35%, до 446, 87.97%. Средний успех и observed 20/20 улучшились во всех пяти областях, но охват хотя бы одного успеха упал в рознице, путешествиях и автостраховании. Это согласуется с авторской трактовкой: поведение стало более повторяемым, но менее широким. AISubHub не стал бы объединять разнонаправленные метрики в единый рейтинг качества или исключать потерянный охват из объяснения улучшений.
Опубликованный стек не является полным пакетом воспроизведения
По статье, выпуск включает отбор задач, эпизоды, награды и интеграцию с Verl. Публичные примеры не совпадают с закрытым пулом из 187 задач, на котором получены результаты. Нужен разрешённый источник обучения, не пересекающийся с бенчмарком. Документированная среда — Linux или WSL, Python 3.12, модифицированный Verl 0.9.0, файлы модели, подходящие GPU и конечные точки симулированного пользователя и судьи. Для обучения указаны три узла по восемь H100; историческая оценка чекпойнта использовала восемь A100. Мы прочитали команды, но не запускали их и не проверяли связанные репозиторий и руководства.
Авторы оценивают инференс всей кампании с 20 повторениями в 925.80 доллара до обучения и 855.58 после. Оценочная стоимость успешной попытки снижается с 0.177 до 0.139 доллара, а стоимость кампании, делённая на число задач с успехом 20/20, — с 24.36 до 8.00 долларов. Это сравнительные оценки обслуживания, не счета и не облачные предложения. Обучение и пробы политики для отбора данных исключены. Снижение последнего отношения на 67.2% поэтому не доказывает сокращение всех расходов организации на 67.2%.
Что полезно инженерам и где заканчиваются выводы
Авторы оставляют ThinkingBox-Bench только для оценки и сообщают, что его области, базы и большинство инструментов не встречались при обучении. Однако обе стадии разделяют фреймворк, симулированного пользователя, оценку конечного состояния, часть инструментов и стиль задач. Публичный бенчмарк синтетически реконструирует бизнес-процессы; клиенты не настоящие. Это свидетельство ограниченного переноса, а не безопасности любых корпоративных процессов. В статье названы лицензии кода и данных, но связанные файлы лицензий мы независимо не проверяли.
Практический вывод AISubHub — измерять и охват, и повторяемость, проверять важные побочные эффекты и одинаково интерпретировать рассуждения, имена инструментов и аргументы при обучении и оценке. Системные сбои требуют отдельного учёта. Награда, пропускающая важный результат, способна эффективно оптимизировать неверную цель. Мы не читали связанную научную работу и не повторяли её статистику; сравнение также не выделяет фильтрацию задач как единственную причину каждого улучшения. Для эксплуатации нужна проверка на реальных целевых задачах.
Почему это важно
Работа предлагает конкретный способ превратить исполняемые проверки результата в обучающие сигналы и показывает различие между поиском решения и повторяемым успехом. Универсальная надёжность и полная экономия не доказаны.
Ограничения и доступность
Все результаты отнесены к авторам совместной статьи. Закрытый пул, непроверенные репозиторий и научная работа, общие механизмы, синтетические задачи и исключённые затраты ограничивают воспроизведение и перенос. Дата источника сохранена с точностью до дня.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.