深度解读 · 约 6 分钟阅读
IBM ALTK-Evolve 解读：规则记忆如何改变客服代理评测
IBM Research 用冻结的提示规则改善重复运行结果，同时展示规则数量、领域可靠性和评测费用之间的具体取舍。
- 本站发布
- 原文发布
- 核实时间
IBM Research 在10月20日的第一方社区文章中介绍 ALTK-Evolve：从代理训练任务的尝试中抽取可复用行为规则，观察提示层记忆能否改善重复成功率。阅读结果时，需要分清留出集、保存的榜单对比，以及模拟客服对话的成本口径。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 主要实验以 GPT-4.1 运行代理并抽取规则，GPT-5.5 模拟客户；规则追加在原有政策之后，留出测试时保持不变，没有更新模型权重。
- 每任务尝试四次，零售留出集的完整规则版 Pass⁴ 从57.5%升至67.5%；航空最佳 Pass⁴ 来自更小的 sup3：45%，基线35%，完整规则版40%。
- 对话费用含代理和客户模拟器，在完整基础集测量；作者报告完整规则版零售增加65%、航空增加32%，没有生产延迟或缓存节省实测。
一、记忆是测试前学成的操作规则
方法先收集训练任务轨迹，用 GPT-4.1 从成败中抽取简短行为规则，合并后作为 Markdown 列表放在系统提示的领域政策之后。代理保留 τ²-bench 原有的 THINK → ACT 流程、政策和工具；只有最终数据库状态符合预期才算成功。改变发生在决策时可读取的指令层，模型权重没有更新。
规则涉及核验身份、更新记录前确认变更等步骤。本站假设：退货代理在调用退款工具前，先取得用户明确批准；这是流程提醒，并非真实部署证明或客户个人记忆。IBM 称抽取无需人工标注，但基准、政策和实验仍有人为设计。留出测试时规则冻结，不根据测试失败继续改写。
二、平均成功与四次全成功分别衡量
留出集包括40个零售任务和20个航空任务，每题四次。平均准确率汇总各次成功，Pass⁴ 则要求同一任务四次全部成功，不能混成“至少一次成功”的 pass@4。support 是贡献某规则的不同训练任务数；sup3 要求至少三个，零售保留31条、航空14条；lossless 保留合并后的全部规则，分别292条、101条。
零售 lossless 的平均准确率从78.1%升至82.5%，Pass⁴ 从57.5%升至67.5%，后者增加10个百分点。航空提供反例：lossless 平均准确率最高，为65%，基线57.5%；但最高 Pass⁴ 是 sup3 的45%，基线35%，lossless 为40%。本站分析：规则选择需要按领域复核可靠性，材料没有给出通用最佳记忆规模。
三、模型角色与数据划分不能混用
主要实验的代理和规则抽取使用 GPT-4.1，客户模拟器使用 GPT-5.5，因此整个流程包含前沿模型。另一个航空实验以 GPT-5.5 运行代理与抽取，在20个留出任务上评测；没有规则的 support 达到三，故紧凑版改用 sup2，共103条，lossless 为146条。两者 Pass⁴ 都是70%，基线55%；lossless 平均准确率82.5%，基线72.5%。
榜单对比使用包含训练任务的完整基础集，以及2026年10月12日保存的快照。零售 GPT-4.1 加 lossless 的 Pass⁴ 为67.5%，对比 RAFT-30B-A3B 的61.4%，差6.1个百分点；航空 GPT-4.1 加 sup3 为44%，GPT-5.5 加 lossless 为82%。这是特定代理系统的历史对比，不能替代留出集的迁移证据，也不能推成裸模型综合能力排名。
四、提示变长有成本，轮次证据有范围
成本实验使用完整基础集：零售114题、航空50题，各四次；每对话美元费用合计代理与客户模拟器。按基线、sup3、lossless 顺序，零售为0.084、0.095、0.139美元，航空为0.081、0.097、0.107美元。作者报告 lossless 分别增加65%和32%。这些是评测账目，不能当作代理单独费用、模型令牌单价或生产预算。
在留出测试集上，轮次只比较相同场景和随机种子、两种设置都成功的运行。lossless 的零售交集为111次，助手轮次10.59降至10.16；航空交集40次，9.15降至8.82。配对控制了比较对象，也排除了其他结果，不能说明所有任务都少轮次或实际耗时降低。作者提出提示缓存可回收额外费用，但本文没有缓存实验。
五、把结果转成可复核的本地设计
本站分析：可在获准使用的训练历史中抽取流程提醒，冻结后用独立任务同时衡量平均完成与重复成功，再比较紧凑版和完整版，记录提示长度及总体成本。失败样例也应检查：常见流程的规则可能干扰少见政策条件。这里给出的是评估建议，本站没有复现实验。
留出集较小且每题四次，原文未提供置信区间。作者主张没有测试集泄漏，本站未独立审计。本文完整读取文章及三张图，但未审阅所链仓库或提交 PR、运行系统或独立复现。证据针对客服代理记忆，不能据此保证跨领域改进或生产结果。
有什么影响
本站分析：团队可把流程记忆作为代理系统的明确组件，用规则覆盖率对照重复运行可靠性和总成本。航空反例说明，紧凑记忆与完整记忆值得比较，不能默认规则越多越好。
限制与可用性
性能与费用均为 IBM Research 自报。留出测试、完整基础集榜单和成功交集轮次的分母不同；榜单快照日期为2026年10月12日。本文不声称当前排名、独立复现、缓存节省或实际延迟降低。
来源与证据
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。