AISubHub/AI 资讯
研究

深度解读 · 约 5 分钟阅读

Claude为123个库生成证明,保证的范围仍取决于入口与机器模型

Anthropic与Theorem报告了123个库、239个模糊测试入口的形式化证明;本文解释方法、token实验,以及这些结果无法保证的范围。

本站发布
原文发布
核实时间

Anthropic在10月22日研究文章中介绍了与Theorem合作、由Claude生成并交给证明检查器核验的软件证明。结果针对明确模型下的特定可执行程序,不是为整个库或所有部署颁发安全证书。

听读资讯

朗读当前文章,或连续收听资讯。

Claude为123个库生成证明,保证的范围仍取决于入口与机器模型

正在准备听读…

设备语音

朗读由浏览器或设备处理,AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。

继续播放时可能重复一小段。

一分钟速览

  • 研究者称,在必要时修补所发现问题后,为123个OSS-Fuzz库的239个入口证明了限定条件下、小于64 MB输入不会触发崩溃。
  • 主体实验限定为单线程、静态链接musl的RISC-V程序和建模后的Linux行为,不自动覆盖常见x86或ARM部署。
  • 型号token对比与共享证明是另两项小任务实验,节省比例只适用于其任务及预算,不能当作通用价格或性能保证。

证明单位是特定入口和机器配置

OSS-Fuzz入口是开发者为输入数据和暴露失败提供的测试通道。研究者称,数周内完成123个库、239个入口的证明;不是239个完整库,也不覆盖123个库的所有路径。生成的Rocq证明约1.8亿行,典型一份约60万行;二进制程序的RISC-V指令数中位数为1.8万。证明行数与程序规模是两种口径。

保证限定于小于64 MB输入、固定内存预算、单线程、静态链接musl的RISC-V可执行程序,以及所建模的Linux返回与内存布局。这些条件共同定义待证命题。本站分析:评估覆盖程度时,应先看入口分母和构建配置,不能只凭证明总行数判断安全程度。

把模糊测试转换成检查器可核验的命题

模糊测试尝试大量生成输入,能够找到反例,但通过这些尝试不等于穷尽输入空间。本研究把已有测试及其编译产物转换为形式化规约,再让Claude证明允许范围内的任何输入都不会使该测试崩溃。测试中的断言也能表达更高层性质,例如压缩后解压应还原原始内容。

证明是否成立由Rocq检查,而非模型自行宣布。信任因而集中到精确命题、RISC-V与Linux语义、检查器及其底层软硬件。这比逐行人工审阅数百万行生成证明更集中,却仍有真实依赖:检查器确认形式推导成立,不能确认错误的机器模型与实际部署一致。

证明失败也可能带来有价值的修补

研究者举例称,一个解压问题需要特殊布局的约20 MB输入,另一个图像解码问题需要64 MB输入及超过2 GB内存。这解释了偏重小输入的搜索为何可能漏掉某些行为。它们是原文报告的发现,本站未独立复现漏洞。

流水线允许修补代码、重新生成规约,再证明修补后的产物;新产物的证明不能算作原始未修改版本的证明。代理也可能通过删除有用功能轻易满足不崩溃命题。作者介绍了补丁惩罚、刻画输入行为变化的激励和补丁审计。这些措施针对投机风险,但不能代替核对修复是否保留预期行为。

两类token节省实验必须分开读

另一组36个小型验证任务中,原文称Opus 5.5证明半数任务所需token比Opus 5约少40%。每任务有3次独立单代理尝试,每次预算500万token,以首次完成计成功。这是特定任务与预算对比;原文没有明确123库主体实验使用的全部型号,不能把整个结果都归给Opus 5.5。

共享工作区实验允许代理复制已有证明,报告比独立工作少用17% token。36份证明图中,34个完成的独立对照有30个耗用更高,另2项独立代理未完成。运行时初始化与检测器证明的复用给出了具体机制,但两种百分比均不是通用金额、耗时降幅或经本站复现的生产收益。

其他案例验证的是不同层面的正确性

原文另述依据RFC规约、使用x86语义验证zlib的案例,不能据此把主体RISC-V结果推广到全部x86软件。另一个实验以Rust实现较大Python子集,用Verus检查其与建模后的CPython语义相符,再通过超过170万个随机生成程序进行行为对照。

99.95%的匹配率属于该经验测试,不是对所有Python程序兼容性的证明。形式证明回答特定数学命题,测试比例回答抽样实验;把二者拼成模型通用准确率,会掩盖规约、工具和剩余边界条件的差异。

工程价值在于把保证边界写清楚

作者明确承认:AddressSanitizer不能发现所有内存错误,实验未覆盖每个入口,即使覆盖全部模糊测试入口也不代表覆盖整个库或死代码。调用者误用仍可能出问题;常见动态链接、glibc、x86或ARM部署也与主体模型不同。部分证明因可能暴露未修复问题而未公开,更广泛生态验证仍是路线设想。

本站分析:可落地的做法是把每项保证关联到精确构建、测试入口、输入上限和可信机器模型,相关条件改变后重新评估,而非因此取消整个项目的测试与审查。本站读取了主文及必要图表,但没有重放证明、审计外链附录或代码仓库、验证补丁安全或复现token节省;结果与未来预期均归属研究者。

有什么影响

本站分析:自动生成证明可能降低建立和复用某项狭义软件性质的成本。可交付对象应是明确的验证产物、命题及假设,不能概括为AI已经让软件没有漏洞。

限制与可用性

本文解读研究者公开文章,不是本站独立安全审计或复现实验。主体结果的输入、架构、链接、内存与入口限制不可省略,外链附录和仓库内容未审计。

来源与证据

Anthropic Frontier Red Team / Theorem · Formal software verification

原文发布: · 核实时间:

AI 辅助采编,依据所列一手来源核实。厂商自报结论注明归属,收录不代表背书。