2026 年 10 月 19 日,OpenAI 官方刊发了题为《提升低资源编程语言的编程能力》(Advanced coding in low-resource programming languages)的研究报告,首次系统披露了新一代模型在 COBOL、Fortran、Visual Basic 等传统与低资源语言上的专项评测结果。随后在 10 月 20 日,该研究在 Hacker News 等技术社区引发关注,截至 10 月 21 日观测时已积累 44 票与 61 条讨论。官方此次推出了两项互补的新基准:从零构建数据库引擎的 MultiLangBench,以及要求严格保持行为一致的 COBOL 代码库迁移评测。
关键基础设施背后的低资源语言痛点
与 Python、JavaScript 等拥有海量开源代码和详尽文档的主流语言相比,COBOL 与 Fortran 在模型训练语料中的规模属于典型的低资源类别。然而,这类语言依然承载着全球大量核心基础设施。根据官方引用的统计背景,COBOL 支撑着超过 40% 的网上银行系统、80% 的线下信用卡交易和 95% 的 ATM 交易;而 Fortran 广泛用于天气预报模拟和核反应堆安全分析。
企业在维护和现代化改造这些遗留系统时,往往面临原始作者离职、文档残缺以及关键业务规则仅固化在代码中的现实挑战。无论是修补漏洞还是跨语言重写,首要前提都是确保系统行为完全不发生隐性偏离。
MultiLangBench:20 种语言从零构建 SQLite 引擎
为了检验模型在非主流语言环境下从头构建复杂软件的工程能力,OpenAI 设计了 MultiLangBench。该评测要求模型在单次长时间编程会话中,使用指定的 20 种语言之一从零构建一个兼容 SQLite 的数据库引擎,涵盖代码组织、状态管理、异常处理及渐进增加新特性等环节。
受测的 20 种语言包括:C、C#、C++、COBOL、Common Lisp、Fortran、Go、Java、JavaScript、Lean、OCaml、PHP、PowerShell、Python、Ruby、Rust、Scala、Swift、Visual Basic 和 Zig。为了客观横向对比,评测将数据库文件作为通用接口:输入初始数据库和一条 SQL 查询,检查生成数据库的内容是否与 SQLite 参考实现完全一致。
根据官方公布的数据:
- GPT-6 Astra:在最高推理强度下,20 种语言的平均测试通过率达到 87.4%,远高于对照组 GPT-5.6 Sol 的 26.8%。Astra 在 19 种语言上的得分超过 83%,其中 Visual Basic 达到 89.4%(前代为 27.5%),OCaml 达到 85.8%(前代为 25.6%),Fortran 达到 83.5%(前代为 21.4%)。COBOL 是所有语言中挑战最大的项目,通过率为 72.1%(前代仅为 10.9%)。
- GPT-6 Luna:作为低成本选择,Luna 在最高推理强度下的平均通过率为 40.3%,同样优于 GPT-5.6 Sol 的 26.8%。其 COBOL 通过率为 17.1%,Fortran 为 31.4%,Visual Basic 为 41.6%。在 API 成本方面,Luna 单个样本的估算平均调用成本为 0.77 美元,相较 GPT-5.6 Sol 的 3.48 美元降低了约 78%。
OpenAI 表示后续将在 GitHub 开源 MultiLangBench 的评测配置、测试套件及具体语言结果。
COBOL 迁移评测:逐字节一致性与数值舍入陷阱
另一项评测聚焦将现有 COBOL 程序迁移重写至 C++、Java、Kotlin、Python 或 Rust。迁移成功的标准极其苛刻:官方采用隐藏测试套件,要求重写后程序的可观察输出必须与原程序实现逐字节完全一致,只有通过全部测试才计为迁移成功。
官方特别指出了遗留系统迁移中最易被忽视的语言语义差异——定点运算与舍入规则。例如在 COBOL 中,定点数运算在未显式要求舍入的情况下,会直接丢弃多余的小数位(截断处理)。如果现代语言重写版本默认采用了标准四舍五入,程序即便运行时没有报错,也可能产生不同的财务结果。
在该评测中,针对代码推理优化的模型展现出了明显的断代提升:
- GPT-6.1 Sol:在低推理强度下,迁移准确率达到 86.6%,而相同设置下的 GPT-5.6 Sol 仅有 5.4%,同时 GPT-6.1 Sol 的 API 成本降低了 39%(仅为后者的 61%)。
- 高推理强度:随着推理强度的进一步提高,GPT-6.1 Sol 的迁移准确率攀升至 97.9%,已逼近该评测集的上限。
团队试点建议与生产验证边界
官方公布的高分表现证明了模型在语法转化与局部语义对齐上的长足进步,但团队切忌直接将基准测试通过率等同于生产替换成功率。官方在报告中明确强调,将迁移成果应用于生产软件时,仍需专家审查,并根据系统的业务规则和依赖关系开展完备测试。
对于打算启动概念验证(PoC)的工程团队,通常需要根据项目规模评估模型接入方式。如果需要批量比对或自动化流水线测试,开发者可直接通过官方 API 接入最新模型;而在日常代码辅助、原型比对与技术方案探讨阶段,团队也可评估订阅方案。关于两者的额度机制与计费差异,可参考 GPT 订阅与 API 区别详解。在选型阶段,建议结合任务类型分析不同推理模型的特性,具体细节可阅读 GPT-6.1 Sol 与 Astra 选型指南。若需要为技术团队配置官方账号与服务,可通过 PayForChat 套餐中心 获取对应的开通与续费支持。
Q: MultiLangBench 评测一共涵盖了哪些编程语言? A: 官方评测共覆盖 20 种编程语言:C、C#、C++、COBOL、Common Lisp、Fortran、Go、Java、JavaScript、Lean、OCaml、PHP、PowerShell、Python、Ruby、Rust、Scala、Swift、Visual Basic 以及 Zig。
Q: 评测中的测试通过率能否直接等同于生产环境迁移成功率? A: 不能。两项评测的标准各不相同:MultiLangBench 检查生成数据库的内容是否与 SQLite 参考实现一致,COBOL 迁移评测则通过隐藏测试验证重写后程序的可观察输出是否与原程序逐字节完全一致。现实生产系统包含复杂的业务逻辑与外部依赖,基准评测的高通过率无法直接代表生产替换成功率,官方明确强调落地生产软件仍需专家审查并开展针对性测试。
Q: 针对低资源语言开发,GPT-6 Astra 与 GPT-6 Luna 应当如何选择? A: GPT-6 Astra 追求高准确率,平均测试通过率达到 87.4%,适合对代码完整性要求极高的核心模块设计;GPT-6 Luna 平均通过率为 40.3%,但单样本 API 成本仅约 0.77 美元(比前代降约 78%),更适合大规模初步排查与高性价比批处理任务。
Q: GPT-6.1 Sol 在 COBOL 迁移评测中的表现如何? A: 在低推理强度下,GPT-6.1 Sol 的准确率达到 86.6%,成本比 GPT-5.6 Sol 降低 39%;在更高推理强度下,准确率进一步提升至 97.9%,几乎接近该评测的上限。
Q: COBOL 迁移过程中最典型的技术陷阱是什么? A: 最典型的陷阱是语言底层的数值截断与舍入行为。COBOL 定点运算在未明确要求舍入时会丢弃多余小数位。如果在重写为现代语言时改用舍入逻辑,程序即便运行时不报错,也会产生不同的财务结果,危及账目一致性。
Q: 开发者如何开展低资源语言改造的小范围验证? A: 建议以具有完备参考输出的独立非核心模块为起点,通过官方 API 接入模型进行对照实验。严格核对业务规则与特殊语义输出,确认模型能够正确处理截断与依赖关系后再评估后续推广。