深度解读 · 约 6 分钟阅读
Perplexity代理评估指南：先核执行轨迹，再校准给分的裁判
这份官方六步指南把真实失败、固定测试数据和人工校准裁判连成一套方法，提醒团队不能用一次答对证明代理可靠。
- 本站发布
- 原文发布
- 核实时间
Perplexity于10月22日发布的指南讨论如何组织代理评估，并非推出新模型或公布新基准成绩。采购代理案例说明，解释一个分数之前，团队必须了解代理做过什么、任务能否复现，以及裁判是否稳定。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 最终答案看似正确，过程仍可能越权或使用泄漏答案；验收要覆盖结果和路径。
- 约100条轨迹只是错误分析参考，不是固定门槛；pass@k指明确k次尝试中至少成功一次。
- 对同一已保存运行重复判分才能隔离裁判波动；回归测试、线上监控和A/B各有用途。
答案正确，为什么仍可能不能验收？
库存助手推荐的零件看起来合适，却可能跳过批准规则。源文制造工厂案例中，合规零件缺货或供应商资料过时，代理应妥善处理，不能擅推未经批准的替代品。指南要求同时定义完成任务的条件和不可接受的完成方式，再请领域专家核对是否符合真实工作。文字流畅不能证明它遵守权限。
因此需要检查检索信息、工具调用和中间决策。任务成功、行动正确、答案质量不是同一指标，可靠性还涉及重复尝试和边界输入；时间、token及工具调用则影响成功任务成本。本站分析：上线验收应针对整个工作流建立明确条件，不能只偏好一段写得漂亮的回答。
哪些失败值得变成测试？
指南从真实执行轨迹出发，记录输入、检索证据、动作和输出。领域专家先标注每次运行的第一个实质错误，再把相似观察归为失败类型；LLM可协助提议分类，但优先级仍要结合发生频率和严重程度。重要失败应保存输入、起始条件、预期结果及评分标准，避免修复时悄悄换成容易通过的任务。
约100条轨迹是实用参考，不是统一样本要求或统计置信保证。若继续检查已不再发现有意义的新失败类型，可在理论饱和时提前停止。尚未上线可用合成样例起步，真实用户数据出现后应纳入。标准基准只能补充业务测试；遇反常通过或失败，应先检查题目及标准答案，而非照单全收。
怎样确保两个版本面对同一道题？
目录图把维护请求与固定库存、批准零件数据分开：maintenance_request_01.json保存输入和预期结果，inventory_snapshot.json与approved_parts.json提供对照数据，run_evals.py执行并检查流程，results保存输出、轨迹和通过或失败判定。它只是示意布局，不是本站运行过的生产系统。本站分析：若比较时库存也变了，变化的不只是代理，还有任务本身。
每次运行应保留检索步骤与工具动作，不只最终文字。相同输入也会产生不同结果，因此应按风险、频率和修复难度安排重复试验。pass@1表示单次成功情况；pass@k表示明确k次尝试中至少成功一次，报告必须写明k。多次中找到一个正确答案，不代表每次可靠，也不能证明代理知道该选哪一次。
每项要求应交给谁判？
能精确验证的条件适合代码裁判，例如零件是否在批准清单、字段是否合法、工具参数是否正确，以及数据库最终状态是否符合预期。规则清晰，却不能可靠判断所有主观问题。解释是否充分等依赖语境的检查，可用带明确评分量表的LLM；量表要说明可接受行为与判定依据。
专业或争议情形仍需要领域专家，同一次运行也可组合不同裁判。买评估平台不等于已经选对业务关心的失败类型。本站分析：把权限检查与解释质量拆开，综合得分才更容易解释；LLM认为文章写得好，不能暗中替代批准清单的硬校验。源文没有为这种分工提供实测准确率提升。
如何区分代理错误和裁判错误？
指南给出五步校准：收集输入、输出及轨迹；领域专家独立判断；运行LLM裁判；比较双方决定；调查分歧、修改量表后用新样例验证。人工判断在此充当参考，不等于宣称人绝不会错。校准是在评估裁判，不是又让待测代理重新做一遍任务。
检查裁判一致性时，应对完全相同的已保存运行和文件重复判分，不重新运行代理，否则两种波动会混在一起。混淆矩阵可检查识别出的错误、漏报及把合格输出误报为错误的情况。人工复看还可发现现有裁判未覆盖的新失败。原文链接的基准研究未由本站另行全文核读或复现。
修好一个问题，何时才足以上线？
先用已保存输入复现原失败，针对提示、模型或流程作局部修改，确认该案例修好，再跑其余测试，检查是否破坏原本成功的行为。新旧版本必须使用相同案例和评分标准。断言、测试框架及CI/CD可自动执行并设置发布门槛，但不能替团队证明验收条件已经覆盖真实风险。
上线后可用已校准裁判抽查生产轨迹、追踪既有失败类型，并由人工发现异常请求和新错误。适当A/B实验补充解决率、满意度等业务证据，却不能替代评估或解释所有根因。本站分析：真正有用的闭环是把观察到的失败连到可重复检查和回归决策；这份方法指南不证明新权益、产品开放或独立测得的可靠性。
有什么影响
团队可据此保留失败、证据和裁判，使代理修改可检验；修复需通过更广工作流的回归，再由真实使用反馈继续校正。
限制与可用性
本文依据Perplexity方法指南和示意采购案例。本站读完正文与目录图，未独立核读外链研究、测试生产代理或账号权益，也未实测准确率、节省效果或通用通过门槛。
来源与证据
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。