Codecov-Hack: Secrets in der CI

Keine Zeit? Hier die Kurzversion in 30 Sekunden.
- Codecov hat am 15. April 2021 öffentlich gemacht, dass ihr Bash-Uploader manipuliert war, laut Codecov seit dem 31. Januar.
- Das veränderte Skript schickte Umgebungsvariablen aus CI-Läufen an einen fremden Server, also Tokens, Schlüssel und Zugangsdaten.
- Entdeckt wurde es, weil ein Kunde eine abweichende Prüfsumme bemerkte. Ursache war laut Codecov ein Fehler beim Erstellen ihres Docker-Images.
- Vorbeugen helfen Prüfsummen und festgenagelte Versionen, Secrets nur für Jobs, die sie brauchen, kurzlebige Tokens und begrenzter ausgehender Verkehr.
- Wer betroffen sein könnte, muss alle Secrets rotieren, und das ist mühsamer, als es klingt.
Im Januar habe ich hier darüber geschrieben, was der Fall SolarWinds für Build-Pipelines bedeutet. Damals ging es um einen Angriff auf den Build-Prozess eines Herstellers. Jetzt gibt es einen Fall, der sich viel näher am eigenen Alltag anfühlt, weil fast jeder Entwickler, den ich kenne, irgendwann eine Zeile wie diese in einer CI-Konfiguration stehen hatte:
bash <(curl -s https://codecov.io/bash)Genau dieses Skript ist das Thema. Und es ist ein ziemlich guter Anlass, einmal ehrlich auf die eigenen Secrets in der CI zu schauen.
Was passiert ist
Codecov, ein Dienst für Testabdeckung, hat am 15. April 2021 öffentlich gemacht, dass ihr Bash-Uploader manipuliert worden war. Der Uploader ist das Skript, das in der CI nach dem Testlauf die Abdeckungsdaten an Codecov schickt. Nach Angaben von Codecov war das Skript seit dem 31. Januar 2021 verändert. Die manipulierte Fassung hat zusätzlich die Umgebungsvariablen aus dem CI-Lauf an einen fremden Server geschickt.
Umgebungsvariablen klingen harmlos, sind aber in der CI genau der Ort, an dem man Tokens, Schlüssel und Zugangsdaten ablegt. Wer sein Deployment-Token, den Zugang zur Registry oder einen Cloud-Schlüssel als Variable bereitstellt, damit der Build ihn nutzen kann, hat ihn im selben Prozess, der das Skript ausführt. Das Skript musste nur env lesen und weiterreichen.
Entdeckt wurde es Anfang April, und zwar auf eine fast unspektakuläre Art: Ein Kunde hat bemerkt, dass die Prüfsumme des heruntergeladenen Skripts nicht zu der passte, die Codecov auf GitHub veröffentlicht hatte. Das hat er gemeldet. Nach Codecovs Darstellung lag die Ursache in einem Fehler bei der Erstellung ihres Docker-Images, über den Zugangsdaten abgeflossen sind, die dann zum Verändern des Skripts genutzt werden konnten. Mehr als diese Angaben habe ich nicht, und ich will nicht spekulieren, was darüber hinaus passiert ist. Die Untersuchung läuft offenbar noch.
Warum mich das mehr beunruhigt als gedacht
Ich finde bemerkenswert, dass hier niemand etwas Ausgefallenes gebaut hat. Ein Skript wird bei jedem CI-Lauf frisch aus dem Netz geladen und sofort ausgeführt. Das Vertrauen steckt in einer einzigen Zeile: Ich glaube, dass die Adresse zu jedem Zeitpunkt die richtige Datei liefert. Früher, als Skripte noch lokal im Repository lagen, war das nicht so. Mit curl | bash hat man dem Anbieter faktisch erlaubt, jederzeit beliebigen Code in die eigene Umgebung zu bringen.
Dazu kommt ein zweiter Punkt, den man leicht übersieht: Die Variablen waren da, weil sie für andere Schritte gebraucht wurden. Der Upload-Schritt hat sie nicht gebraucht, aber er hat sie bekommen, weil in vielen CI-Setups jeder Schritt im Job dieselbe Umgebung sieht. Das Skript war also nur der Weg hinaus. Das eigentliche Problem war, dass so viel Wertvolles in Reichweite lag.
Das erinnert mich an das, was ich nach SolarWinds geschrieben habe. Auch dort war die Quelle unauffällig, die Manipulation passierte auf dem Weg. Nur dass es diesmal nicht ein Hersteller war, dessen Update man installiert, sondern ein Werkzeug, das man selbst in den eigenen Build einhängt. Die Lieferkette beginnt nicht erst bei dem, was wir ausliefern, sondern schon bei dem, was wir zum Bauen benutzen.
Skripte aus dem Netz: prüfen, festnageln
Was kann man konkret tun? Beim Thema Skripte habe ich drei Ideen, die ich für sinnvoll halte, ohne zu behaupten, sie seien vollständig.
- Nicht blind ausführen. Statt
curl | bashdas Skript herunterladen, die Prüfsumme gegen einen bekannten Wert vergleichen und erst danach ausführen. Genau so ist der Fall ja aufgefallen, nur eben bei einem aufmerksamen Kunden von Hand. - Version festlegen. Nicht das, was die Adresse gerade liefert, sondern eine bestimmte Version, die ich geprüft habe. Das gilt für Skripte, aber genauso für Docker-Images, Plugins und Actions, die man in die Pipeline einbindet. Ein Update wird dann zu einer bewussten Entscheidung.
- Signaturen prüfen, wo es sie gibt. Eine Prüfsumme, die vom selben Server kommt wie die Datei, schützt nur begrenzt. Eine Signatur mit einem separat bekannten Schlüssel ist stärker. Ich habe gelesen, dass für Signaturen von Software-Artefakten gerade neue Projekte angekündigt wurden, aber das ist alles noch ganz frisch, und ich kann dazu nichts Fundiertes sagen.
Und manchmal ist die ehrlichste Antwort: das Skript ins eigene Repository legen. Dann ist die Änderung sichtbar, im Review und in der Historie. Das kostet etwas Pflege, aber man weiß, was läuft.
Secrets nur dorthin, wo sie gebraucht werden
Der größere Hebel liegt für mich bei den Secrets selbst. Die Frage ist nicht nur, ob ein Skript manipuliert werden kann, denn irgendwann passiert es irgendwo. Die Frage ist, was es dann erbeuten kann.
Dafür gilt: Ein Secret gehört nur in den Job, der es wirklich braucht, und möglichst nur in den einen Schritt. Der Job, der Tests ausführt und Abdeckung hochlädt, braucht keinen Schlüssel für die Produktion. Das Deployment sollte ein eigener Job sein, an eigene Bedingungen geknüpft, etwa nur für einen bestimmten Branch oder nach manueller Freigabe. Die meisten CI-Systeme lassen sich so konfigurieren, es ist nur selten die Voreinstellung.
Pull Requests aus Forks sollten grundsätzlich ohne Secrets laufen. Bei vielen Systemen ist das ohnehin so, aber man sollte das wirklich nachprüfen, statt es zu glauben. Wer fremden Code in einer Umgebung mit Zugangsdaten ausführt, hat einen sehr ähnlichen Fall wie hier, nur mit anderem Anfang.
Dazu gehören kurzlebige Zugangsdaten. Ein Token, das nach dem Lauf oder nach einer Stunde abläuft, ist für einen Angreifer viel weniger wert als eins, das seit zwei Jahren im Tresor der CI liegt. Manche Cloud-Anbieter bieten dafür temporäre Berechtigungen an. Der Aufwand, das einzurichten, lohnt sich, wenn man sich ausmalt, was sonst auf dem Spiel steht.
Rotieren ist keine Kleinigkeit
Wer die Meldung von Codecov gelesen hat und möglicherweise betroffen war, stand vor einer Aufgabe, die sich in einem Satz sagen lässt und in der Praxis lange dauert: alle Secrets rotieren, die in den betroffenen CI-Läufen verfügbar waren. Alle, nicht nur die, bei denen man sich sicher ist.
Das bedeutet zuerst, überhaupt zu wissen, welche es sind. In vielen Projekten verteilen sich Secrets auf Projekteinstellungen, Gruppen, einzelne Pipelines, Dateien auf Runnern. Dann muss jedes einzeln erneuert werden, und die Systeme, die es nutzen, müssen die neuen Werte bekommen. Dabei darf nichts ausfallen, und man will sicher sein, dass der alte Wert wirklich nicht mehr gilt. Ich stelle mir vor, wie viel Zeit allein das Aufspüren kostet, wenn niemand eine Liste führt. Eine gepflegte Übersicht, welches Secret wo liegt und wer es wie erneuert, ist deshalb eine der unspektakulärsten und wertvollsten Vorbereitungen, die ich kenne.
Den Ausgang zumachen
Der letzte Gedanke betrifft den Netzverkehr. Die Daten sind nur deshalb abgeflossen, weil der CI-Runner einfach zu einem beliebigen fremden Server verbinden durfte. In den meisten Setups ist das so, weil niemand sich die Mühe gemacht hat, es einzuschränken. Man kann den ausgehenden Verkehr auf die Ziele beschränken, die der Build wirklich braucht: Paketquellen, Registry, den eigenen Artefaktspeicher. Alles andere wird blockiert oder wenigstens protokolliert.
Das ist nicht trivial, weil Builds gern viele Quellen ansprechen, und am Anfang gibt es sicher Fehlalarme. Aber es hat einen schönen Nebeneffekt: Man erfährt, mit wem der Build eigentlich redet. Ich vermute, das Ergebnis wäre bei vielen von uns eine Überraschung.
Was bleibt
Ich glaube nicht, dass man so etwas komplett verhindern kann. Dienste werden angegriffen, Fehler passieren auch bei sehr sorgfältigen Teams, und Codecov hat den Vorfall immerhin öffentlich gemacht. Aber man kann dafür sorgen, dass ein solcher Vorfall weniger Schaden anrichtet. Das ist die Haltung, die ich daraus mitnehme: davon ausgehen, dass irgendein Werkzeug in der Kette irgendwann kompromittiert wird, und die CI so bauen, dass dann möglichst wenig zu holen ist.
Meine Hausaufgabe für die nächsten Wochen ist banal: alle Pipelines durchgehen, jede Zeile suchen, die etwas aus dem Netz holt und ausführt, und die Liste der Secrets aufräumen. Wie handhabt ihr das? Habt ihr eine Übersicht, wo welche Zugangsdaten liegen, oder würdet ihr beim Rotieren erst einmal suchen müssen?
Beitragsbild: Foto Vorhängeschloss mit Kette von Dori, CC BY 2.5 (via Wikimedia Commons; zugeschnitten auf 16:9).
Christian Ackermann
Softwareentwickler (C++, C, Java, C#) aus der Oberpfalz, bloggt seit 2001 über Linux, Technik und Kochen.