AISubHub/AI 资讯
开发者

深度解读 · 约 6 分钟阅读

Databricks谈AI编程账单:先看真实任务与工具配置,再看token单价

Patrick Wendell在10月22日访谈中介绍内部PR测试、Astra向约3500名工程师推广的成本变化,以及节省数字的适用边界。

本站发布
原文发布
核实时间

在Catherine Brown于10月22日发布的访谈中,Databricks联合创始人Patrick Wendell介绍用自身代码库评估AI编程工具及向约3500名工程师推广Astra的经验。增量信息是任务成本、测试方法和工具配置的实际取舍;它是厂商运营自述,不是独立基准,也不是Unity Gateway再次发布。

听读资讯

朗读当前文章,或连续收听资讯。

Databricks谈AI编程账单:先看真实任务与工具配置,再看token单价

正在准备听读…

设备语音

朗读由浏览器或设备处理,AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。

继续播放时可能重复一小段。

一分钟速览

  • 据Patrick介绍,内部评估采用真实拉取请求并运行测试,不以大模型充当裁判。
  • GLM 5.2据称以每任务约低三分之一的成本达到Opus 4.8的质量,即约剩对照成本的三分之二,并非只需三分之一。
  • 同一模型换用不同harness,成本据称相差超过2倍;推广Astra期间支出约增加60%。

让评估落在代码库能够检验的工作上

Patrick介绍,内部基准取自大型代码库的真实拉取请求,通过运行测试判分,不让大模型裁判。他认为后者可能偏好听起来正确的解释。这个方法把问题变成候选工具能否完成本地工程任务,而不是直接用公开榜位代替采购判断。

本站分析认为,可执行检查提高了相关性,但只能覆盖测试所检查的行为。访谈未提供样本量、任务构成或独立验证。他另称,同一团队按PR、交付功能及代码行衡量的总产出接近翻倍;这些指标各有缺陷,不能据此证明受控的因果生产力增益。 测试通过只说明已有检查通过,不能单独衡量代码的长期可维护性、交付质量之外的业务价值,或尚未编写测试的需求。

比较一个任务的账单,而非一枚token的价格

一个未具名模型的token单价据称便宜1.7倍,但因消耗更多token,每任务反而更贵。较低单价没有抵消该工作负载的用量。本站的理解是,应把付费请求连到可比的任务结果;仅凭价目表,无法确定完成同一工作究竟更省钱。

Patrick还称,在内部比较中,GLM 5.2达到Opus 4.8的质量,每任务约便宜三分之一,也就是约剩对照成本的三分之二,不能翻成成本仅为三分之一。完整协议、质量定义和任务细节未公开,因此这不构成通用型号排名、外部可复现结果或当前公开报价。

把harness也放进对照条件

harness指围绕模型的编程工具控制系统,包括如何提供上下文、调用工具及管理交互。Patrick称,同模型换harness,成本相差超过2倍;调优自家harness和缓存设置另带来接近50%的节省。访谈没有把每个设置的独立贡献拆开验证。

本站分析认为,同时换模型和外围工具,会使节省原因难以定位。有效比较应保留任务标识、质量检查和相关上下文、缓存条件,并记录工具配置变化。这是本文提出的评估方法,不是本站已执行的实验,也不能推出某个工具始终更优。 若不保留这些条件,表面上的模型改进可能只是工具调度差异,现有披露无法将两者拆开。

把Astra推广看成依任务而异的试验

公司据称向约3500名工程师推广Astra。Patrick认为,它在系统设计等难题上明显更好,但日常任务的增益并不明显,已有模型已能较好完成。同期支出约增加60%,于是公司为Astra单设预算,把使用重点放在更困难的问题上。

推广总支出与前述单任务成本分母不同。随着用量或任务构成变化,单项任务变便宜,总账单仍可上升。访谈没有用受控对照量化这次推广的净价值,也未提供可据以推断的具体GPT版本、通用订阅权益、价格或地区条款。 因此总账单增加,既不能单独证明开销浪费,也不能证明推广值得;还须对应任务收益和评估条件。

把节省手段与各自基线分开

Patrick把默认流量迁到更便宜且足够胜任的模型,视为影响最大的手段,称单独节省50%或更多;Smart Router则据称在大致保持最贵模型质量时,让平均任务成本下降超过30%。这些属于公司运营主张,本文没有打开关联路由研究或基准材料。

定期向个人提供支出明细与建议,据称约有10%的效果;多项措施结合,在部分情形下降低单位成本最高90%。口径相互重叠,对照细节不完整,不能相加,也不能自动连乘为客户节省预测。本站建议先按一致的本地基线验证每次变化,再判断贡献。

保留有效使用,同时守住证据边界

访谈描述逐步增加阻力:先提醒、再审批,随后降到便宜模型继续工作,彻底中断放在最后。Patrick称,突然封顶可能促使员工改用个人账号,失去可见性。他还说Claude Code、Codex、Cursor和Omnigent流量经过共同网关,Unity Gateway由内部需求演化而来;这是经验背景,不是新发布。

本站的结论是同时评估模型、harness与任务,并在任一条件改变时重审决策。证据仍仅为一份厂商访谈:原文已完整读取,没有承担证据作用的图表或影音演示;关联技术与产品页未打开,本站未做部署或账号试用。可用性、商业条款和普遍节省幅度仍未核实。

有什么影响

这份访谈提供了具体的评估单位:在自家代码上检验的可比编程任务,并同时记录模型和harness。它支持调查本地成本与结果之间的关系,不能仅靠token单价决定工具。

限制与可用性

全部结果及百分比均为Patrick自报,缺少样本量和完整协议;重叠节省不能相加。本文不报道新模型或网关首次发布,也不代表独立产品实测。

来源与证据

Databricks Blog — The AI Bill is coming

原文发布: · 核实时间:

AI 辅助采编,依据所列一手来源核实。厂商自报结论注明归属,收录不代表背书。