新聞

OpenAI公開程式開發基準測試MultiLangBench，檢驗AI能否使用20種程式語言，從頭建立與SQLite相容的資料庫引擎。基準測試涵蓋COBOL、Fortran、Visual Basic等可供AI學習的程式碼與文件較少的語言，也包括Python、Java及Rust，讓開發者比較模型使用不同語言開發軟體的能力。

不少企業系統已運作數十年，部分仍使用COBOL等較早期的程式語言，當企業要維護或改寫老舊系統，可能遇到原始開發人員離職、說明文件不完整等問題，有些業務規則甚至只保存在程式碼中。AI可以協助程式維護及跨語言移植，但必須理解既有的業務規則，避免改寫後改變原本的計算結果與資料處理方式。

OpenAI指出，COBOL、Fortran及Visual Basic等語言，可供模型學習的程式碼與文件少於Python等熱門語言，過去也有開發者反映，AI處理這類語言時容易遇到困難。由於要衡量模型在不同程式語言上的開發能力與進展，OpenAI提出了MultiLangBench。

MultiLangBench選擇SQLite 3.40.1作為共同測試題目，要求模型參考提供的文件，用指定語言自行寫出能處理資料庫操作的程式，基準測試會提供原始資料庫及資料查詢、修改指令，讓模型寫出的程式執行，再透過原版SQLite確認處理結果。測試環境禁止上網，也會移除既有的SQLite軟體，避免模型直接使用現成程式。

OpenAI以GPT-6 Astra等模型進行評測，在最高推理強度下，Astra在20種語言的平均測試通過率達87.4%，高於GPT-5.6 Sol的26.8%。其中COBOL的通過率為72.1%，仍是Astra表現最低的語言。

針對既有程式的跨語言移植，OpenAI另外設計COBOL改寫評測，要求模型將程式轉換成C++、Java、Kotlin、Python或Rust，並確認改寫後的輸出與原程式完全一致，像是COBOL的金額運算若直接捨去多餘小數，改寫時卻改成四捨五入，即使程式能正常執行也不算正確。在COBOL改寫評測中，GPT-6.1 Sol以較低推理強度取得86.6%的準確率。

MultiLangBench已在GitHub公開基準測試設定與測試資料，供開發者檢查及使用。