Подробный разбор · Около 4 мин чтения
OpenAI представила оценки для менее распространённых языков
Новые тесты проверяют реализацию SQLite и перенос COBOL с сохранением поведения программ.
- Дата источника
- Опубликовано здесь
- Источник проверен
19 октября OpenAI опубликовала оценки программирования на языках с меньшим объёмом обучающих материалов, включая COBOL, Fortran и Visual Basic. Речь идёт о конкретных инженерных заданиях, а не о гарантии автоматической миграции старых систем.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- MultiLangBench требует построить совместимые с SQLite движки баз данных на 20 языках. OpenAI сообщает о среднем прохождении 87,4% тестов у GPT-6 Astra при максимальном усилии рассуждения против 26,8% у GPT-5.6 Sol.
- Отдельный тест переноса COBOL проверяет сохранение наблюдаемого поведения переписанных программ. Миграция считается успешной только при прохождении всех скрытых тестов.
Что именно измеряют два испытания
В публикации от 19 октября разделены две инженерные задачи, которые часто объединяют в заявлениях о программировании с ИИ. MultiLangBench измеряет объём новой функциональности базы данных, реализуемой моделью; задание COBOL проверяет сохранение поведения после переписывания. По нашей оценке, это различие важнее отдельного высокого процента. Правдоподобный код может провалить оба испытания. Команде модернизации нужно определить необходимый навык и доказательства, которые выявят ошибку до развёртывания.
Как испытание SQLite проверяет работающую систему
В MultiLangBench программа получает исходную базу и SQL-запрос, изменяет базу, а настоящий SQLite проверяет результат. Опубликованный README задаёт SQLite 3.40.1 и три компонента: исходную базу, запрос кандидата и эталонный проверочный запрос. Указано преобразование примерно 24 000 из 51 000 TCL-тестов; стандартная выборка содержит 272 теста. Использование полного набора нужно раскрывать. Наша трактовка: это сравнение наблюдаемой функциональности между языками, а не подтверждение охвата всех исходных тестов SQLite итоговой цифрой.
Читать результаты вместе с настройками и ценой
OpenAI сообщает о среднем прохождении 87,4% тестов GPT-6 Astra при максимальном усилии рассуждения против 26,8% у GPT-5.6 Sol. COBOL растёт с 10,9% до 72,1%, оставаясь труднее остальных проверенных языков. GPT-6 Luna достигает 40,3% при оценочных затратах API 0,77 доллара на попытку против 3,48 доллара у прежней Sol. Это разные компромиссы точности и стоимости. Мы рекомендуем считать цену принятого результата вместе с неудачными попытками и проверкой, а не считать дешёвый вызов гарантией дешёвой миграции.
Почему переписывание должно сохранять поведение
Отдельная оценка переводит COBOL в C++, Java, Kotlin, Python или Rust. Скрытые тесты требуют побайтового совпадения наблюдаемых выходов; успех означает прохождение всех тестов. В объявлении приведён риск: арифметика COBOL с фиксированной точкой отбрасывает лишние десятичные знаки, если округление явно не запрошено. Новый код может запускаться, округляя вместо усечения, и менять финансовые результаты. OpenAI сообщает 86,6% для GPT-6.1 Sol при низком усилии против 5,4% у GPT-5.6 Sol при той же настройке и на 39% меньших затратах API; повышенное усилие даёт 97,9%.
Что необходимо для полезного воспроизведения
Открытый репозиторий требует удалить существующие реализации SQLite из окружения модели и запрещает интернет. Неправильный язык или смесь языков означают провал, как и несовпадение, сбой либо тест дольше 60 секунд. Так отделяют самостоятельную реализацию от вызова установленного движка. Мы изучили документацию, но не запускали бенчмарк. При воспроизведении следует фиксировать точную модель, усилие, выборку, окружение и стоимость, чтобы изменённые условия не выдавались за тот же эксперимент.
Практический переход к контролируемой миграции
Мы предлагаем ограниченный пилот на некритичном модуле с сохранением типичных входов и ожидаемых выходов до переписывания. Добавьте случаи округления, отсутствующих записей и реальных зависимостей модуля: это наши рекомендации, а не результаты публикации. Проверяйте различия с владельцами бизнес-процесса и сохраняйте откат. Объявление предлагает опыты через API, но не добавляет бюджет API владельцу подписки ChatGPT. Рост показателей — повод исследовать возможность, а не замена производственным критериям приёмки и экспертной ответственности.
Почему это важно
Командам поддержки старого ПО полезно изучить опубликованную методику и проверить собственные бизнес-правила. При выборе модели стоит учитывать покрытие тестами, настройки рассуждения и фактические расходы API.
Ограничения и доступность
Это результаты поставщика, которые AISubHub независимо не воспроизводил. Успех в бенчмарке не доказывает безопасность в эксплуатации: необходимы экспертная проверка и тестирование бизнес-правил и зависимостей.
Источники и подтверждения
Дата источника: 19 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Дополнительные материалы
Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.