Vertiefende Analyse · Etwa 4 Min. Lesezeit
OpenAI untersucht Fortschritte bei selteneren Programmiersprachen
Neue Tests prüfen SQLite-Implementierungen und die verhaltensgetreue Migration von COBOL-Programmen.
- Datum der Quelle
- Hier veröffentlicht
- Quelle geprüft
OpenAI veröffentlichte am 19. Oktober Programmiertests für Sprachen mit weniger verfügbarem Trainingsmaterial, darunter COBOL, Fortran und Visual Basic. Die Meldung betrifft konkrete Entwicklungsaufgaben und verspricht keine automatische Migration bestehender Altsysteme.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- MultiLangBench verlangt SQLite-kompatible Datenbankprogramme in 20 Sprachen. OpenAI meldet für GPT-6 Astra bei maximalem Denkaufwand durchschnittlich 87,4 Prozent bestandene Tests, gegenüber 26,8 Prozent für GPT-5.6 Sol.
- Ein eigener COBOL-Migrationstest prüft, ob umgeschriebene Programme ihr beobachtbares Verhalten beibehalten. Nur wenn sämtliche verdeckten Tests bestehen, gilt eine Migration als erfolgreich.
Was die beiden Tests tatsächlich messen
Die Veröffentlichung vom 19. Oktober trennt zwei Entwicklungsaufgaben, die bei KI-Programmierleistungen oft vermischt werden. MultiLangBench misst, wie viele neue Datenbankfunktionen ein Modell implementieren kann; der COBOL-Test prüft, ob eine Neufassung das bestehende Verhalten bewahrt. Nach unserer Einschätzung ist diese Trennung wichtiger als eine einzelne Spitzenzahl. Plausibler Quellcode kann beide Prüfungen verfehlen. Ein Modernisierungsteam muss klären, welche Fähigkeit sein Vorhaben benötigt und welche Nachweise einen Fehler noch vor der Einführung sichtbar machen würden.
Wie der SQLite-Test funktionsfähige Software prüft
Bei MultiLangBench erhält das Programm eine Datenbank und eine SQL-Anfrage, verändert die Datenbank und wird mit dem echten SQLite geprüft. Die veröffentlichte README nennt SQLite 3.40.1 sowie Anfangsdatenbank, Kandidatenabfrage und Referenzprüfung als drei Bestandteile. Rund 24.000 von 51.000 TCL-Tests wurden umgewandelt; standardmäßig werden 272 davon verwendet. Die größere Testsuite muss ausdrücklich angegeben werden. Unsere Einordnung: So lässt sich beobachtbare Funktionalität sprachübergreifend vergleichen, ohne dass die Schlagzeilenzahl vollständige Abdeckung sämtlicher ursprünglicher SQLite-Tests belegt.
Ergebnisse und Einstellungen gemeinsam lesen
OpenAI meldet für GPT-6 Astra bei maximalem Denkaufwand durchschnittlich 87,4 Prozent bestandene Tests gegenüber 26,8 Prozent für GPT-5.6 Sol. COBOL steigt von 10,9 auf 72,1 Prozent und bleibt schwieriger als die anderen geprüften Sprachen. GPT-6 Luna erreicht 40,3 Prozent bei geschätzten API-Kosten von 0,77 Dollar je Versuch, gegenüber 3,48 Dollar für GPT-5.6 Sol. Das sind unterschiedliche Genauigkeits-Kosten-Abwägungen. Wir empfehlen Kosten je akzeptiertem Ergebnis einschließlich Fehlversuchen und Prüfung statt der Annahme, billigere Aufrufe machten automatisch die gesamte Migration billiger.
Warum eine Neufassung Verhalten erhalten muss
Der separate Migrationstest übersetzt COBOL nach C++, Java, Kotlin, Python oder Rust. Beobachtbare Ausgaben müssen bytegenau übereinstimmen; sämtliche verdeckten Tests müssen bestehen. Die Ankündigung nennt eine konkrete Falle: COBOL-Festkommaarithmetik verwirft überschüssige Dezimalstellen, solange Rundung nicht ausdrücklich verlangt wird. Rundet die Neufassung stattdessen, kann sie fehlerfrei laufen und finanzielle Ergebnisse ändern. OpenAI berichtet für GPT-6.1 Sol bei niedrigem Aufwand 86,6 Prozent gegenüber 5,4 Prozent für GPT-5.6 Sol bei gleicher Einstellung und 39 Prozent weniger API-Kosten; höherer Aufwand erreicht 97,9 Prozent.
Was eine sinnvolle Reproduktion voraussetzt
Das öffentliche Repository verlangt, vorhandene SQLite-Implementierungen aus der Modellumgebung zu entfernen, und verbietet Internetzugriff. Lösungen in der falschen oder in mehreren Sprachen fallen durch, ebenso Abweichungen, Abstürze und Tests über 60 Sekunden. Diese Regeln unterscheiden Implementierung vom Aufruf einer bereits installierten Datenbank. Wir haben die Dokumentation geprüft, den Benchmark jedoch nicht ausgeführt. Eine Reproduktion sollte exaktes Modell, Denkaufwand, Testauswahl, Umgebung und Kosten dokumentieren, damit veränderte Bedingungen nicht stillschweigend als dasselbe Experiment erscheinen.
Vom Benchmark zum begrenzten Migrationsversuch
Wir schlagen zunächst einen begrenzten Pilotversuch mit einem unkritischen Modul vor. Repräsentative Eingaben und Sollausgaben werden vor der Neufassung festgehalten. Rundung, fehlende Datensätze und tatsächliche Modulabhängigkeiten gehören in zusätzliche Tests; dies sind unsere Empfehlungen, keine Ergebnisse dieser Veröffentlichung. Fachverantwortliche sollten Abweichungen prüfen und einen Rückweg offenhalten. Die Ankündigung verweist auf API-Versuche, gewährt einem ChatGPT-Abonnement aber kein zusätzliches API-Budget. Gute Messwerte rechtfertigen Untersuchung, ersetzen jedoch weder Produktionskriterien noch fachliche Verantwortung.
Warum es wichtig ist
Teams mit älterer Software können den veröffentlichten Testaufbau prüfen und repräsentative Geschäftsregeln selbst testen. Für die Modellwahl zählen Testabdeckung, Denkaufwand und tatsächliche API-Kosten gemeinsam.
Grenzen und Verfügbarkeit
Die Ergebnisse stammen vom Anbieter; AISubHub hat sie nicht reproduziert. Gute Benchmarkwerte belegen keine Produktionssicherheit. Fachliche Prüfung sowie Tests der Geschäftsregeln und Abhängigkeiten bleiben erforderlich.
Quellen und Belege
Datum der Quelle: 19.10.2026 · Quelle geprüft: 20.10.2026
Weiterführende Quellen
Quelle geprüft: 20.10.2026
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.