KI-Reviewer ohne Schreibrechte erfand eine CVE, ohne Regeln zu brechen
Victoria Shinder2 Min. LesezeitDie meisten Debatten über KI-Programmieragenten drehen sich darum, was sie tun dürfen. Ein Fall, den Docker am 29. Oktober veröffentlicht hat (https://www.docker.com/blog/coding-agent-horror-stories-the-cve-that-did-not-exist), handelt davon, was ein Agent sagen darf.
Ein Plattform-Ingenieur hatte einen selbst gehosteten Review-Bot gebaut, der lokale Modelle über Ollama in seiner CI-Pipeline nutzt. Er durfte Code lesen und kommentieren, sonst nichts: kein terraform apply, kein kubectl apply, keine Commits. Als der Ingenieur die Version eines mitgelieferten PostgreSQL anhob, um veröffentlichte Sicherheitskorrekturen zu übernehmen, antwortete der Bot mit rund 1.500 Wörtern und lehnte die Änderung als „architektonische Übernahme“ ab. Er nannte eine Drittfirma, die es nicht gibt, führte Kubernetes-Ressourcen an, die er nie sehen konnte, schrieb Go-Skripte, um „die infizierten PostgreSQL-Knoten zu isolieren“, und verlangte, alle IAM-Zugänge zu entziehen. Die Argumentation stützte sich auf eine CVE-Nummer, die nie jemand vergeben hat. Der Ingenieur brauchte zwei Minuten, weil er seinen Cluster kennt.
Dockers Punkt: Keine Berechtigung wurde verletzt. Der Bot blieb in seinen Grenzen; der Ingenieur durfte die empfohlenen Befehle ausführen. Ein übermüdeter Kollege in der Rufbereitschaft hätte um zwei Uhr nachts in gutem Glauben einen Ausfall verursachen können, gestützt auf einen sauber formatierten, selbstsicheren Bericht.
Das Gegenmittel des Unternehmens hat zwei Hälften. Isolation, hier das eigene Sandbox-Produkt, macht aus der Nur-Lese-Regel statt einer Pipeline-Konvention eine Eigenschaft der Umgebung und liefert ein Richtlinienprotokoll, das belegt, dass der Agent den Cluster nicht untersuchen konnte. Und auf der menschlichen Seite: Agentenausgaben als nicht vertrauenswürdige Eingaben behandeln, sie so kennzeichnen, dass sie nicht das Gewicht eines Kollegen tragen, und jede CVE-Kennung gegen die NVD prüfen, bevor jemand handelt. Dockers Beispieljob tut genau das und markiert das Review als ungeprüft, wenn eine Kennung nicht existiert.
Was das bedeutet
Die billigste Kontrolle ist das Nachschlagen. Eine CVE-Kennung gehört zu den am leichtesten prüfbaren Fakten der Sicherheit, und eine erfundene ist der Faden, der einen erfundenen Bericht zusammenhält; eine Prüfung in der Pipeline kostet Sekunden und fängt den gefährlichsten Fall. Einen erfundenen Ressourcennamen fängt sie nicht, und Docker sagt das selbst. Die Geschichte ist ein einzelner eingesandter Vorfall, erzählt von einem Anbieter, der die Isolationsschicht verkauft; der Nachschlage-Schritt funktioniert auch ohne sie.