AISubHub/AI 资讯
开发者

深度解读 · 约 4 分钟阅读

OpenAI 公布低资源编程语言评测进展

新评测关注 SQLite 实现与保持行为一致的 COBOL 迁移,结果来自 OpenAI 官方报告。

原文发布
本站发布
核实时间

OpenAI 于10月19日公布编程评测,重点是训练材料相对较少的 COBOL、Fortran、Visual Basic 等语言。这是特定工程任务的测试结果,并不意味着旧系统已经可以无人工参与地自动迁移。

听读资讯

朗读当前文章,或连续收听资讯。

OpenAI 公布低资源编程语言评测进展

正在准备听读…

设备语音

朗读由浏览器或设备处理,AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。

继续播放时可能重复一小段。

一分钟速览

  • MultiLangBench 要求模型用20种语言构建兼容 SQLite 的数据库引擎。OpenAI 报告:最大推理强度下,GPT-6 Astra 平均测试通过率为87.4%,GPT-5.6 Sol 为26.8%。
  • 另一项 COBOL 迁移评测检查改写后的程序是否保持可观察行为;只有全部隐藏测试通过,才计为迁移成功。

两类评测各测什么

10月19日的公告把两种常被混在一起的编程能力分开:MultiLangBench考察模型能从零实现多少数据库功能,COBOL迁移则检查改写后是否保留原程序行为。本站认为,这一区分比单一高分更重要。能生成像样代码,不代表功能正确,更不代表旧业务规则完整保留。维护旧系统的团队应先确定项目究竟需要“新建实现”还是“保持行为的迁移”,并说明什么证据能够在部署前暴露失败。

数据库测试如何判分

MultiLangBench给候选程序初始数据库和SQL请求,再用真实SQLite检查修改后的数据库。公开README指定SQLite 3.40.1,测试包含初始数据库、候选查询、参考验证查询三个环节。约5.1万项TCL测试中有2.4万项转换成功,默认评测子集为272项;改跑大套测试应披露。本站解读:它提供跨语言的功能检验接口,但总分不能被理解成覆盖全部SQLite原始测试。

分数成本需要同看

OpenAI报告,最大推理强度下GPT-6 Astra平均通过率87.4%,GPT-5.6 Sol为26.8%;COBOL从10.9%升至72.1%,仍是较难语言。GPT-6 Luna平均40.3%,每样本估算API费用0.77美元,旧Sol为3.48美元。它们体现不同正确率与成本取舍,不能互当同款。本站建议比较每个最终合格结果的成本,并纳入失败重试和人工复核;单次调用便宜,不等于迁移项目总价更低。

迁移成功为何更严格

另一项评测把COBOL迁往C++、Java、Kotlin、Python或Rust,隐藏测试要求可观察输出逐字节一致,全部通过才算成功。公告举例:COBOL定点数默认丢弃多余小数位,明确要求时才舍入;新代码若自行四舍五入,虽然能运行,财务结果却可能改变。OpenAI报告低推理强度GPT-6.1 Sol正确率86.6%,同设置旧Sol为5.4%,API成本低39%;更高强度达到97.9%。

复现必须守住条件

公开仓库要求从模型环境移除已有SQLite实现,禁止联网;使用错误语言或混合语言的方案不合格,结果不符、崩溃、单项超时60秒也判失败。这些约束用于避免把调用现成数据库误当自行实现。本站本轮只查阅文档,没有执行基准。团队如复现,应记录具体模型、推理强度、测试子集、环境和费用,不能更换条件后仍把结果当成同一个实验。

落地先做边界试点

本站建议从非关键模块做小范围试点,先留存代表性输入和预期输出,再请求改写。加入舍入、缺失记录和该模块真实依赖等测试,由业务负责人审查差异并保留回滚能力;这是本站实施建议,不是本次公告公布的实测案例。官方建议通过API尝试自身任务,不代表购买ChatGPT会员就新增API额度。基准提升值得跟进,但不能取代生产验收标准或专家责任。

有什么影响

维护旧软件的团队可以先查看公开评测设置,再用自身业务规则建立测试。选型时应同时考虑覆盖范围、推理设置与实际 API 成本,而不是只看总分。

限制与可用性

这些是厂商报告,AISubHub 未独立复现。基准通过不代表生产安全;专家审查、业务规则及依赖测试仍不可省略。

来源与证据

OpenAI

原文发布: 2026年10月19日 · 核实时间: 2026年10月20日

补充阅读

OpenAI MultiLangBench README (revision 995755b, Apache-2.0)

核实时间: 2026年10月20日

AI 辅助采编,依据所列一手来源核实。厂商自报结论注明归属,收录不代表背书。