심층 해설 · 약 3분 읽기
OpenAI, 학습 자료가 적은 프로그래밍 언어 평가 공개
SQLite 구현과 동작을 보존하는 COBOL 이전을 다룬 OpenAI의 평가 결과입니다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
OpenAI는 10월 19일 COBOL, Fortran, Visual Basic처럼 학습 자료가 비교적 적은 언어에 대한 코딩 평가를 공개했습니다. 특정 개발 과제를 측정한 결과이며 기존 시스템의 자동 이전을 보장하는 발표는 아닙니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- MultiLangBench는 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 과제입니다. OpenAI는 최대 추론 강도에서 GPT-6 Astra의 평균 테스트 통과율이 87.4%, GPT-5.6 Sol은 26.8%라고 보고했습니다.
- 별도의 COBOL 이전 평가는 다시 작성된 프로그램이 관찰 가능한 동작을 유지하는지 확인합니다. 숨겨진 테스트를 모두 통과해야 이전 성공으로 인정합니다.
두 평가가 실제로 측정하는 것
10월 19일 발표는 AI 코딩 주장에 흔히 섞이는 두 개발 문제를 분리합니다. MultiLangBench는 새 데이터베이스 기능을 얼마나 구현할 수 있는지, COBOL 이전 과제는 재작성 뒤에도 기존 동작이 보존되는지를 봅니다. 저희는 높은 단일 수치보다 이 구분이 더 중요하다고 판단합니다. 그럴듯한 코드를 생성해도 두 시험 모두 실패할 수 있습니다. 오래된 소프트웨어를 현대화하는 팀은 필요한 능력이 무엇이며 배포 전에 실패를 보여 줄 증거가 무엇인지 먼저 정해야 합니다.
SQLite 기능을 검사하는 방식
MultiLangBench는 후보 프로그램에 초기 데이터베이스와 SQL 요청을 주고 변경 결과를 실제 SQLite로 검사합니다. 공개 README는 SQLite 3.40.1과 초기 데이터베이스, 후보 쿼리, 참조 검증 쿼리라는 세 요소를 명시합니다. TCL 테스트 51,000개 가운데 약 24,000개를 변환했고 기본 평가 부분집합은 272개입니다. 더 큰 테스트 묶음을 실행하면 밝혀야 합니다. 저희 해석으로는 언어가 달라도 관찰 가능한 기능을 비교하는 방식이며, 대표 점수가 원래 SQLite 테스트 전체를 포괄했다는 뜻은 아닙니다.
설정과 비용을 함께 읽기
OpenAI는 최대 추론 강도 GPT-6 Astra의 평균 통과율을 87.4%, GPT-5.6 Sol을 26.8%로 보고합니다. COBOL은 10.9%에서 72.1%로 상승했지만 다른 평가 언어보다 여전히 어렵습니다. GPT-6 Luna 평균은 40.3%이고 추정 API 비용은 샘플당 0.77달러로, 이전 Sol의 3.48달러와 다릅니다. 정확도와 비용의 절충이 서로 다릅니다. 저희는 호출 한 번이 저렴하다고 이전 전체가 저렴해진다고 보지 말고, 실패한 시도와 검토 시간을 포함한 최종 합격 결과당 비용을 비교할 것을 권합니다.
재작성은 동작을 보존해야 한다
별도 이전 평가는 COBOL을 C++, Java, Kotlin, Python 또는 Rust로 옮깁니다. 숨겨진 테스트가 관찰 가능한 출력을 바이트 단위로 비교하며 전부 통과해야 성공입니다. 발표는 구체적인 함정을 듭니다. COBOL 고정소수점 계산은 명시적으로 반올림을 요청하지 않으면 남는 자릿수를 버립니다. 새 코드가 반올림하면 실행되면서도 금융 결과는 달라질 수 있습니다. OpenAI 보고에서 낮은 추론 강도 GPT-6.1 Sol은 86.6%, 같은 설정의 이전 Sol은 5.4%이며 API 비용은 39% 낮고, 높은 강도는 97.9%입니다.
의미 있는 재현에 필요한 조건
공개 저장소는 모델 환경에서 기존 SQLite 구현을 제거하고 인터넷을 차단하라고 요구합니다. 잘못된 언어나 여러 언어가 섞인 해법은 실패이며, 결과 불일치·충돌·60초 초과도 실패입니다. 설치된 엔진 재사용과 직접 구현을 혼동하지 않도록 하는 규칙입니다. 저희는 문서를 읽었지만 벤치마크는 실행하지 않았습니다. 재현하려면 정확한 모델, 추론 강도, 테스트 부분집합, 환경과 비용을 기록해 변경된 실험 조건을 같은 실험처럼 제시하지 않아야 합니다.
실제 이전은 한정된 파일럿부터
저희는 비핵심 모듈 하나를 정하고 재작성 요청 전에 대표 입력과 예상 출력을 보관하는 파일럿을 제안합니다. 반올림, 누락 레코드, 그 모듈의 실제 의존성을 추가 시험해야 합니다. 이는 저희의 검증 조언이지 발표에서 측정한 사례가 아닙니다. 업무 책임자와 차이를 검토하고 되돌릴 수 있어야 합니다. 발표는 API 실험을 안내하지만 ChatGPT 구독에 새 API 예산을 주지는 않습니다. 벤치마크의 진전은 검토할 근거이며 운영 합격 기준이나 전문가 책임을 대신하지 않습니다.
중요한 이유
오래된 소프트웨어를 관리하는 팀은 공개된 평가 설정을 살피고 실제 업무 규칙으로 검증할 수 있습니다. 모델을 고를 때는 테스트 범위, 추론 설정, 실제 API 비용을 함께 비교하는 편이 유용합니다.
제한 및 이용 가능성
이 수치는 공급업체의 보고이며 AISubHub가 독립적으로 재현하지 않았습니다. 벤치마크 통과가 운영 환경의 안전을 증명하지는 않습니다. 전문가 검토와 업무 규칙 및 의존성 테스트가 계속 필요합니다.
출처와 근거
원문 게시일: 2026. 10. 19. · 출처 확인일: 2026. 10. 20.
추가 자료
출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.