~/blog/2021/10/github-copilot-nach-drei-monaten-p.md

GitHub Copilot nach drei Monaten Preview

6 min
Beitragsbild: GitHub Copilot nach drei Monaten Preview

Keine Zeit? Hier die Kurzversion in 30 Sekunden.

  • GitHub Copilot ist seit dem 29. Juni 2021 als Technical Preview verfügbar und basiert auf dem OpenAI-Modell Codex.
  • Stark bei Boilerplate, Tests, Mappings und beim Erklären von regulären Ausdrücken; schwach bei Logik, veralteten APIs und erfundenen Methoden.
  • Sicherheitsfragen sind das größte Risiko, weil auch unsichere Muster plausibel vorgeschlagen werden.
  • Offen bleiben Fragen zu Lizenzen des Trainingsmaterials, zu Datenschutz und zum späteren Preis.
  • Meine Rolle verschiebt sich vom Tippen zum Lesen und Prüfen.

Seit etwa drei Monaten läuft bei mir GitHub Copilot im Editor mit. Ich stand auf der Warteliste, bin irgendwann freigeschaltet worden und habe es seitdem in Visual Studio Code ausprobiert. Es gibt auch eine Erweiterung für Neovim, aber im Alltag war es bei mir der Editor, den ich ohnehin offen habe.

Meine Erwartungen waren zwiespältig. Einerseits wollte ich wissen, ob es mehr ist als eine bessere Autovervollständigung. Andererseits fand ich die Idee, dass ein Programm mir Code vorschreibt, ein wenig unheimlich. Nach einigen Wochen ist die Antwort: Es ist mehr als Autovervollständigung, aber weniger als ein Kollege.

Was da eigentlich passiert

GitHub hat Copilot am 29. Juni als Technical Preview vorgestellt. Dahinter steckt Codex, ein Modell von OpenAI, das auf natürlicher Sprache und sehr viel öffentlichem Quellcode trainiert wurde. Man schreibt einen Kommentar oder den Anfang einer Funktion, und der Editor blendet grau einen Vorschlag ein. Mit der Tabulatortaste übernimmt man ihn, mit etwas anderem ignoriert man ihn.

Wichtig für das eigene Bild davon: Das Ding versteht den Code nicht so, wie ich es tue. Es sagt voraus, was an dieser Stelle wahrscheinlich als Nächstes kommt. Das ist oft verblüffend gut und manchmal völlig daneben, und das Gemeine ist, dass beides gleich selbstsicher aussieht.

Wo es mir wirklich Zeit spart

Am besten funktioniert es bei Dingen, die ich schon hundertmal geschrieben habe. Boilerplate zum Beispiel: Getter, Konstruktoren, das Gerüst einer Klasse, die Konfiguration eines Loggers. Hier lese ich den Vorschlag, nicke und mache weiter. Ähnlich bei Mappings, wenn ich Felder eines Objekts in ein anderes übertrage. Das ist Fleißarbeit, bei der ich ohnehin nur noch halb denke, und da hilft es.

Auch bei Tests ist es angenehm. Hat man einen Testfall geschrieben, schlägt es meist plausible weitere Fälle vor, die ich anpassen kann. Natürlich muss ich prüfen, ob sie wirklich etwas testen und nicht nur das Offensichtliche bestätigen. Aber als Startpunkt spart das Tipparbeit.

Überraschend nützlich fand ich es bei regulären Ausdrücken. Ich schreibe einen Kommentar, was der Ausdruck tun soll, oder ich lasse mir einen vorhandenen erklären. Das ist kein Ersatz dafür, ihn selbst zu verstehen, aber es ist ein guter erster Blick, besonders bei fremdem Code, bei dem jemand vor Jahren ein kryptisches Muster hinterlassen hat.

Wo es gefährlich wird

Bei Logik wird es schnell dünn. Sobald eine Funktion mehr tut als die offensichtliche Standardaufgabe, schlägt Copilot Code vor, der gut aussieht und subtil falsch ist. Grenzfälle, Reihenfolgen, Fehlerbehandlung: Alles das passiert nicht im Verständnis, sondern in der Wahrscheinlichkeit. Ich habe gelernt, bei jedem Vorschlag zu fragen, ob ich ihn auch akzeptiert hätte, wenn ihn ein Kollege im Review vorgelegt hätte. Mit dieser Frage sortiere ich ziemlich viel aus.

Dazu kommen veraltete APIs und erfundene Methoden. Es kann passieren, dass ein Vorschlag eine Methode aufruft, die es so gar nicht gibt, oder eine Bibliotheksfunktion nutzt, die längst als veraltet gilt. Ein Compiler fängt das manchmal ab, aber nicht immer, besonders in dynamischen Sprachen. Das Training liegt zeitlich zurück, und die Welt der Bibliotheken bewegt sich schneller.

Am meisten Sorge macht mir die Sicherheit. Stellt euch vor, ihr schreibt eine Funktion, die Daten aus einer Datenbank liest, und bekommt als Vorschlag eine SQL-Abfrage, die den Benutzerwert einfach in den Text hineinklebt. Das wäre eine klassische SQL-Injection. Ich schildere das als Beispiel für das Risiko, nicht als einzelnes Erlebnis, denn darum geht es: Das Muster ist in öffentlichem Code so verbreitet, dass ein Modell es leicht als „normal“ lernt. Dazu passt, dass im Sommer eine wissenschaftliche Untersuchung veröffentlicht wurde, die sich genau mit sicherheitsrelevanten Szenarien beschäftigt und dabei überraschend viele unsichere Vorschläge fand. Ich habe sie nicht nachgerechnet und nenne deshalb keine Zahlen, aber das Ergebnis passt zu dem, was ich mir ohnehin vorstellen konnte.

Trainingsdaten, Lizenzen und die Frage der Herkunft

Es gibt eine Diskussion, die mich beschäftigt: Woher kommt der Code, mit dem das Modell gelernt hat? Nach allem, was bekannt ist, stammt er aus öffentlichen Repositories. Dort liegt aber nicht nur freizügig lizenzierter Code, sondern auch solcher unter strengeren Lizenzen wie der GPL, die bestimmte Bedingungen an die Weitergabe knüpft.

GitHub weist darauf hin, dass Vorschläge nur selten wörtlich Trainingsdaten wiedergeben, und das klingt plausibel. Aber „selten“ ist keine Garantie. Offen ist für mich, ob und wie das rechtlich zu bewerten ist, wenn doch einmal ein größeres Stück deckungsgleich auftaucht. Ich bin kein Jurist und wage keine Prognose. Aber ich bin vorsichtiger bei längeren Vorschlägen geworden und bei Code, der erkennbar ein besonderes Stück Handwerk ist. Bei einem Dreizeiler ist es mir egal, bei einer ganzen Klasse nicht.

Es gibt auch die andere Perspektive: Menschen lernen auch aus fremdem Code, ohne dass jemand jedes Mal Lizenzen prüft. Der Unterschied, den ich spüre, ist der Maßstab. Ein Modell, das aus Millionen Repositories lernt, ist etwas anderes als ein Entwickler, der sich etwas abguckt. Ob das rechtlich einen Unterschied macht, werden wohl andere klären.

Datenschutz und Code, der den Rechner verlässt

Der zweite Punkt ist praktischer. Damit Copilot Vorschläge machen kann, wird Code aus dem Editor an einen Dienst gesendet. Dazu kommt Telemetrie über die Nutzung. Für ein privates Bastelprojekt ist das eine Kleinigkeit. Bei Code, der Kundendaten, Geheimnisse oder Zugangsdaten berührt, sieht das anders aus.

Meine Konsequenz: Ich nutze es nur dort, wo ich mit der Übertragung leben kann, und ich achte darauf, dass keine Schlüssel oder Passwörter in Dateien stehen, die der Editor gerade offen hat. Das sollte ohnehin gelten, wird durch so einen Dienst aber dringlicher. Wer in einem Umfeld mit strengen Vorgaben arbeitet, sollte vor dem Einsatz klären, was gesendet wird und was damit geschieht. Das lässt sich nicht aus dem Bauch beantworten.

Wie sich meine Rolle verschiebt

Das Interessanteste an den drei Monaten ist für mich nicht die Technik, sondern die Veränderung im eigenen Arbeiten. Ich tippe weniger und lese mehr. Statt eine Funktion zu schreiben, beurteile ich einen Vorschlag. Das ist eine andere Tätigkeit, und sie ist nicht unbedingt leichter. Fremden Code zu prüfen verlangt Konzentration, und es ist verführerisch, bei einem gut aussehenden Vorschlag einfach auf Tab zu drücken.

Ich merke, dass ich dadurch bewusster formuliere. Ein klarer Kommentar liefert bessere Vorschläge als ein vager, und manchmal merke ich beim Formulieren, dass ich selbst noch gar nicht weiß, was die Funktion tun soll. Das ist ein unerwarteter Nebeneffekt, den ich schätze.

Gleichzeitig befürchte ich, dass man Fähigkeiten verlernt, wenn man alles vorschlagen lässt. Gerade Berufseinsteiger könnten Code übernehmen, den sie nicht verstehen. Das ist keine neue Gefahr, siehe Copy und Paste von Antwortseiten, aber es geht schneller und unauffälliger.

Was offen bleibt

Ob und wie Copilot später kostet, ist bislang nicht bekannt. Ich möchte darüber nicht spekulieren. Klar ist nur, dass ich meine Arbeitsweise nicht von etwas abhängig machen will, dessen Bedingungen ich nicht kenne. Eine Vorschau ist eine Vorschau.

Mein Zwischenstand lautet: nützlich als Beschleuniger für Routine, gefährlich als Autorität. Ich behalte es vorerst bei, aber mit der Haltung, dass jeder Vorschlag ein Entwurf ist, den ich verantworte. Wenn ihr es auch ausprobiert habt, würde mich interessieren, wo es euch geholfen hat und wo es euch hereingelegt hat.

Beitragsbild: GitHub-Copilot-Logo von GitHub, gemeinfrei (via Wikimedia Commons; unverändert auf eigenem Hintergrund). GitHub Copilot ist eine Marke von GitHub, Inc.

$ whoami
Christian Ackermann

Softwareentwickler (C++, C, Java, C#) aus der Oberpfalz, bloggt seit 2001 über Linux, Technik und Kochen.