Подробный разбор · Около 6 мин чтения
IBM ALTK-Evolve: что память в виде инструкций меняет в тестах клиентского сервиса
IBM Research сообщает об улучшении результатов повторных запусков с фиксированными инструкциями в промпте. Число правил, стоимость оценки и надёжность дают разные компромиссы в разных предметных областях.
- Опубликовано здесь
- Дата источника
- Источник проверен
В собственной статье сообщества от 20 октября IBM Research описывает, как ALTK-Evolve превращает попытки агента на обучающих задачах в повторно используемые поведенческие инструкции. Исследование клиентского сервиса измеряет, помогает ли память на уровне промпта неизменённому агенту повторять успешные результаты. Для понимания основных выводов нужно разделять отложенные тесты, сравнение с сохранённой таблицей результатов и стоимость запуска имитируемых разговоров.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- В основной конфигурации GPT-4.1 используется и как агент, и для извлечения инструкций, а GPT-5.5 имитирует клиентов. Инструкции добавляются после исходной политики и не меняются на отложенных задачах; веса модели не обновляются.
- При четырёх попытках на задачу Pass⁴ на отложенных задачах розницы растёт с 57,5% до 67,5% с полным набором инструкций. В авиации лучший Pass⁴ даёт меньший набор sup3: 45% против 35% у базовой конфигурации и 40% у полного набора.
- Указанная стоимость разговора включает и агента, и симулятор клиента на полной базовой выборке. Авторы сообщают о росте стоимости lossless на 65% в рознице и на 32% в авиации; измеренных задержек в эксплуатации или экономии от кэширования здесь нет.
1. Память — список правил, выученный до оценки
Механизм начинается с траекторий выполнения обучающих задач. GPT-4.1 извлекает короткие поведенческие инструкции из успехов и неудач, а объединённый список помещается после политики предметной области в системном промпте. Агент сохраняет исходную схему THINK → ACT, политику и инструменты τ²-bench. Задача считается успешной, только если конечное состояние базы данных совпадает с ожидаемым результатом. Вмешательство меняет инструкции, доступные в момент принятия решения, без обновления весов модели.
Эти инструкции описывают действия вроде проверки личности и подтверждения предполагаемых изменений перед обновлением записи. В гипотетическом примере AISubHub агент обработки возвратов мог бы помнить о необходимости получить явное разрешение перед вызовом инструмента возврата денег. Это процедурное напоминание, а не утверждение о реальном клиенте или продемонстрированном внедрении. IBM говорит, что для извлечения не нужна ручная разметка; однако бенчмарк, политики и дизайн эксперимента по-прежнему включают человеческие решения. Выученный список фиксируется для отложенной оценки, а не переписывается на основе неудач в тестах.
2. Повторяемый и средний успех отвечают на разные вопросы
Каждая отложенная задача получает четыре попытки: в рознице таких задач 40, в авиации 20. Средняя точность усредняет успех отдельных попыток; Pass⁴ считает задачи, решённые успешно во всех четырёх попытках. Это не pass@4, который проверяет, успешна ли хотя бы одна попытка. Support инструкции — число разных обучающих задач, внесших вклад в правило. Фильтр sup3 требует support не менее трёх и сохраняет 31 инструкцию для розницы и 14 для авиации. Lossless сохраняет все объединённые инструкции: соответственно 292 и 101.
В рознице lossless повышает среднюю точность с 78,1% до 82,5%, а Pass⁴ — с 57,5% до 67,5%, то есть надёжность растёт на 10 процентных пунктов. Авиация даёт важный контрпример идее добавлять всё: у lossless наивысшая средняя точность, 65% против базовых 57,5%, но наивысший Pass⁴ у sup3 — 45% против базовых 35% и 40% у lossless. Интерпретация AISubHub: при выборе правил нужна проверка надёжности для конкретной предметной области; свидетельства не определяют универсально лучший размер памяти.
3. Роли моделей и разделение данных оценки должны быть явными
GPT-4.1 обеспечивает и основного агента, и извлечение, но симулятором клиента служит GPT-5.5. Поэтому конвейер включает передовую модель. Отдельный авиационный эксперимент использует GPT-5.5 для агента и извлечения на 20 отложенных задачах. Ни одно извлечённое правило не достигает support три, поэтому компактный вариант — sup2 со 103 инструкциями; у lossless их 146. Pass⁴ обоих вариантов равен 70% против базовых 55%. Средняя точность lossless достигает 82,5% против базовых 72,5%, что в этой конфигурации подтверждает пользу не только для более старого агента.
Сравнение с таблицей результатов использует полную базовую выборку, включая обучающие задачи, и сохранённый снимок от 12 октября 2026 года. В рознице GPT-4.1 с lossless получает 67,5% Pass⁴ против 61,4% у RAFT-30B-A3B, разница составляет 6,1 пункта. На полной базовой авиационной выборке GPT-4.1 с sup3 получает 44%, а GPT-5.5 с lossless — 82%. Это сравнения настроенных агентных систем в том снимке. Они не устанавливают общее место GPT-4.1 среди моделей, а результаты полной выборки не могут заменять свидетельства переноса на отложенных задачах.
4. Больше материала в промпте означает измеримую стоимость оценки
Исследование стоимости охватывает полную базовую выборку: 114 задач розницы и 50 авиационных задач, с четырьмя попытками. Суммы в долларах США на разговор объединяют использование LLM агентом и симулятором клиента. Для базовой конфигурации, sup3 и lossless в рознице это 0,084, 0,095 и 0,139 доллара; в авиации — 0,081, 0,097 и 0,107 доллара. Авторы сообщают о росте стоимости lossless на 65% и 32%. Это учёт затрат на оценку, а не плата только за агента, не цены токенов модели и не эксплуатационный бюджет.
На отложенной тестовой выборке длина разговора сравнивается только для совпадающих по сценарию и случайному seed запусков, успешно завершившихся в обеих конфигурациях. Для lossless розничное подмножество содержит 111 запусков, а число ходов ассистента падает с 10,59 до 10,16; авиационное содержит 40 запусков со снижением с 9,15 до 8,82. Это контролирует сравнение, но исключает остальные исходы. Такой анализ не устанавливает сокращение разговоров на каждой задаче или измеренное улучшение фактического времени выполнения. Предположение авторов, что кэширование промптов может вернуть значительную часть добавочных затрат, — вывод об эксплуатации без эксперимента с кэшем в этой работе.
5. Рассматривайте результат как схему для локальной оценки
Анализ AISubHub состоит в том, что исследование делает проверяемой конкретную схему: извлечь процедурные напоминания из разрешённых для использования обучающих историй, зафиксировать их и на отдельных задачах измерить как среднее выполнение, так и повторяемый успех. Следует сравнить компактный набор правил с более полным, записывая размер промпта и совокупные эксплуатационные затраты. В локальной оценке нужно также изучать неудачи: правило может помогать распространённому процессу, но отвлекать от более редкого условия политики. Это предложение по оценке, а не воспроизведённый результат.
Небольшие отложенные наборы и четыре попытки оставляют неопределённость; статья не приводит доверительных интервалов. IBM заявляет об отсутствии утечки тестовых данных, но AISubHub не проводил независимый аудит. Мы прочитали статью полностью и все три рисунка, но не изучали связанные репозитории и pull request для отправки результатов, не запускали систему и не воспроизводили результаты независимо. Свидетельства касаются памяти агентов клиентского сервиса и не устанавливают общего улучшения во всех областях или гарантированных результатов в эксплуатации.
Почему это важно
Анализ AISubHub: команды могут оценивать процедурную память как явную часть агентной системы, соотнося охват правил с надёжностью повторных запусков и совокупной стоимостью. Авиационный контрпример показывает, что компактную и полную память стоит сравнивать, а не считать, что больше правил всегда лучше.
Ограничения и доступность
Все показатели эффективности и стоимости — результаты, сообщённые IBM Research. У отложенных тестов, сравнений с таблицей результатов на полной базовой выборке и анализа парных успешных запусков разные знаменатели. Сохранённый рейтинг относится к 12 октября 2026 года; здесь не заявляются текущий рейтинг, независимое воспроизведение, экономия от кэша или измеренное снижение задержки.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.