ChatGPT schreibt Java-Code – ein Test nach dem ersten Hype

Keine Zeit? Hier die Kurzversion in 30 Sekunden.
- ChatGPT liefert für Java-Alltagsaufgaben wie REST-Controller, JPA-Entities, Unit-Tests und Regex oft brauchbare Entwürfe, die aber immer geprüft werden müssen.
- Typische Schwächen: erfundene Methoden und Klassen, vermischte javax- und jakarta-Pakete, veraltete Spring-Security-Konfiguration; der Wissensstand endet 2021.
- Als Gesprächspartner zum Nachdenken und zum Erklären von Fehlermeldungen finde ich es nützlich, als ungeprüfte Quelle nicht.
- Keinen Firmencode oder Zugangsdaten in den Chat kopieren; auch Lizenzfragen bei übernommenem Code sind offen.
- Mein Urteil ist vorläufig, die Entwicklung ist schnell.
Die erste Aufregung hat sich gelegt. Seit OpenAI ChatGPT Ende November als kostenlose Forschungsvorschau veröffentlicht hat, ging mein Newsfeed zwei Monate lang in eine Richtung: Beeindruckende Beispiele, dann Weltuntergangsprognosen für Entwickler, dann wieder beeindruckende Beispiele. Anfang Februar kam die Ankündigung eines Abos namens ChatGPT Plus, Microsoft hat ein neues Bing mit Chat vorgestellt, und Stack Overflow hatte schon im Dezember Antworten von ChatGPT vorübergehend verboten, weil sie überzeugend klingen und oft falsch sind. Das fasst die Lage ganz gut zusammen.
Ich wollte weder zu den Begeisterten noch zu den Verächtern gehören und habe mir ein paar Wochen lang angeschaut, wie sich das Ding bei der Arbeit mit Java schlägt. Das hier ist kein Benchmark. Ich habe keine Quote, wie oft es richtig lag, und ich traue Leuten nicht, die so etwas aus dem Stegreif behaupten. Es sind Eindrücke, ausdrücklich vorläufig.
Was ich ausprobiert habe
Die Aufgaben stammen aus dem normalen Alltag, nichts Exotisches:
- eine REST-Klasse mit Spring, mit GET, POST und ein bisschen Validierung
- eine JPA-Entity mit Beziehungen und dem passenden Repository
- Unit-Tests für eine kleine Service-Klasse
- einen regulären Ausdruck für ein bestimmtes Datumsformat
- Fehlermeldungen und Stacktraces, die ich erklärt haben wollte
Mein erster Eindruck war ehrlich gesagt: erstaunlich. Die Klasse für den REST-Endpunkt hatte die richtigen Annotationen, eine vernünftige Struktur und sogar Kommentare, die nicht völlig sinnlos waren. Die Entity sah aus, wie ich sie selbst geschrieben hätte, nur in weniger Zeit. Bei Tests hat es mir Grundgerüste geliefert, in denen ich vor allem die Randfälle ergänzen musste.
Das ist der Moment, in dem man misstrauisch werden sollte, weil man sich gerade freut.
Wo es holpert
Das Problem ist nicht, dass die Antworten schlecht aussehen. Das Problem ist, dass sie souverän aussehen, auch wenn sie falsch sind. Drei Dinge sind mir immer wieder aufgefallen.
Erfundene Methoden. Ich habe mehr als einmal Aufrufe bekommen, die es in der angegebenen Bibliothek gar nicht gibt: eine Methode, die so heißen könnte und die ich gern gehabt hätte, aber die nicht existiert. Der Compiler merkt das sofort, bei Reflection oder Konfigurationsschlüsseln erst zur Laufzeit. Wenn man nachfragt, entschuldigt sich das Modell höflich und liefert die nächste Variante, manchmal wieder mit einer erfundenen Stelle.
javax und jakarta durcheinander. Das ist ein sehr Java-spezifisches Problem. Mit Jakarta EE 9 sind die Pakete von javax. auf jakarta. umgezogen, und Spring Boot 3 setzt das voraus. Der Wissensstand des Modells ist nach meiner Erfahrung davor stehen geblieben, und so bekam ich Entities mit javax.persistence-Importen, Validierungen mit javax.validation und gelegentlich, im selben Codeblock, eine Mischung aus beiden. Wer das nicht kennt, kopiert es in ein Boot-3-Projekt und wundert sich über Compilerfehler.
Veraltete Spring-Security-Konfiguration. Auf die Bitte, einen Endpunkt abzusichern, kam eine Klasse, die von WebSecurityConfigurerAdapter erbt. Der Ansatz war jahrelang Standard, ist aber in neueren Versionen als veraltet markiert und wird in Spring Security 6 nicht mehr existieren. Aktuell setzt man auf ein Bean mit einer SecurityFilterChain. Das Modell wusste das auf Nachfrage durchaus, es kam aber nicht von selbst darauf. Und der Fehler blieb unauffällig: Der Code lief ja, solange man ältere Versionen benutzt.
Dahinter steckt ein einfacher Grund, den das Modell selbst auch nennt: Der Wissensstand endet 2021. Alles, was danach passiert ist, kennt es nicht oder nur bruchstückhaft. In einem Ökosystem, das sich in der Zeit um eine Hauptversion bewegt hat, ist das keine Kleinigkeit.
Was gut funktioniert
Am meisten Nutzen hatte ich dort, wo es nicht darauf ankam, dass die Ausgabe sofort stimmt.
Fehlermeldungen erklären lassen ist so ein Fall. Bei einem langen Stacktrace aus Hibernate fasst das Modell zusammen, was vermutlich passiert ist, und nennt ein paar Kandidaten für die Ursache. Es ist wie ein Kollege, der auf Anhieb einen Verdacht äußert. Nicht immer richtig, aber ich habe danach öfter gewusst, wo ich suchen muss.
Auch bei Regex hat es mir Zeit gespart, weil ich Muster schneller aufgeschrieben bekomme und zugleich eine Erklärung dazu, was jeder Teil tut. Getestet habe ich sie danach trotzdem selbst, mit den Fällen, die mir wichtig waren.
Und dann der unterschätzte Teil: als Gesprächspartner zum Nachdenken. „Welche Vor- und Nachteile hat es, diese Logik in einen Service zu ziehen statt in die Entity?“ Die Antwort ist selten tiefgründig, aber sie ordnet. Ich merke oft erst beim Lesen, was ich selbst eigentlich sagen wollte. Das ist ein bisschen wie Rubber-Duck-Debugging, nur dass die Ente zurückredet.
Mein Artikel zu GitHub Copilot vom Oktober 2021 klang ähnlich, nur dass es dort um Autovervollständigung im Editor ging. Der Unterschied zu ChatGPT ist, dass man hier ins Gespräch kommt und Rückfragen stellen kann. Die Schwäche ist dieselbe geblieben: Es ist ein Modell, das plausibel klingenden Text erzeugt, kein Werkzeug, das Wahrheit prüft.
Datenschutz und Lizenzen
Zwei Punkte, die in der Begeisterung gern untergehen.
Erstens: Was man in das Eingabefeld kopiert, geht an einen externen Dienst. Das gilt für Firmencode genauso wie für Konfigurationsdateien mit Passwörtern, Zugangsdaten oder Kundendaten. Ich halte es für selbstverständlich, so etwas nicht hineinzukopieren, und rate dazu, es auch dann nicht zu tun, wenn die Versuchung groß ist, weil der Fehler gerade so hartnäckig ist. Wer unter Zeitdruck einen Stacktrace „anonymisiert“, sollte sich fragen, ob er wirklich alles erwischt hat. Ob und welche Regeln im jeweiligen Umfeld gelten, klärt man besser vorher, nicht hinterher.
Zweitens: Die Lizenzfrage. Das Modell wurde mit sehr viel öffentlich verfügbarem Text und Code trainiert. Ob und unter welchen Bedingungen Ausgaben davon wieder Code enthalten, der unter einer bestimmten Lizenz steht, ist offen. Bei Copilot wird darüber schon gestritten, bei ChatGPT habe ich dazu keine belastbare Aussage gefunden. Für private Spielereien egal, bei Code, der später in ein Produkt wandert, würde ich vorsichtig sein und größere Blöcke nicht ungeprüft übernehmen.
Wie ich es im Moment benutze
Meine vorläufige Regel ist simpel: ChatGPT darf Vorschläge machen, aber nichts, was ich nicht selbst verstehe, kommt in den Code. Das klingt selbstverständlich und ist es nicht, weil man bei Boilerplate schnell zum Durchwinken neigt.
Konkret heißt das:
- Generierten Code immer kompilieren und die Tests laufen lassen, am besten mit eigenen.
- Importe und Versionen prüfen, besonders bei Spring und Jakarta.
- API-Aufrufe in der Dokumentation nachschlagen, wenn sie mir unbekannt sind.
- Sicherheitsrelevantes (Authentifizierung, Verschlüsselung, Eingabeprüfung) nie unbesehen übernehmen.
- Nichts Internes einfügen.
Dazu passt die Entscheidung von Stack Overflow ganz gut. Das Verbot hat nicht damit zu tun, dass die Antworten durchweg schlecht wären, sondern dass sie ohne Prüfung zu viel Rauschen erzeugen. Ein Mensch, der eine Antwort einstellt, hat sie in der Regel zumindest ausprobiert.
Und jetzt?
Ich finde es spannend, wie schnell das geht, und ich vermute, dass in einem halben Jahr vieles, was ich hier als Schwäche beschreibe, anders aussieht. Aktuelleres Wissen, bessere Integration in die Entwicklungsumgebung, vielleicht Suche im Hintergrund, das Bing-Experiment deutet etwas in diese Richtung an. Ob die Zuverlässigkeit mitwächst, weiß ich nicht. Hier bleibe ich ehrlich skeptisch, weil das erfundene API-Detail im selben Zug entsteht wie die gute Antwort.
Für den Moment ist es für mich ein brauchbares Werkzeug zum Denken und Entwerfen, kein Ersatz fürs Nachschlagen. Wer es so einsetzt, hat Freude daran. Wer erwartet, dass es die Arbeit abnimmt, wird nach ein paar Tagen enttäuscht sein.
Welche Aufgaben habt ihr ihm gegeben, und wo hat es euch überrascht, im Guten wie im Schlechten?
Beitragsbild: ChatGPT-Logo von OpenAI (Vektorisierung: Zhing Za), gemeinfrei (via Wikimedia Commons; unverändert auf eigenem Hintergrund). ChatGPT ist eine Marke von OpenAI.
Christian Ackermann
Softwareentwickler (C++, C, Java, C#) aus der Oberpfalz, bloggt seit 2001 über Linux, Technik und Kochen.