Zero Wire und CWE-bench v2 zeigen, wohin KI-Sicherheit geht: erst Einordnung, dann der Rest
Serguey Asael Shinder1 Min. LesezeitZwei Veröffentlichungen vom 3. November betrachten dasselbe Problem von zwei Enden. Cloudflare startete Zero Wire, einen Dienst mit verständlichen Lageberichten zu kritischen, aus dem Internet erreichbaren Schwachstellen, und begründete ihn mit der KI-gestützten Suche nach Lücken, die nach eigener Darstellung Zahl und Tempo kritischer Offenlegungen erhöht. Am selben Tag veröffentlichte Collinear AI CWE-bench v2, 100 öffentliche Aufgaben, in denen ein Agent eine echte Schwachstelle in einem Open-Source-Repository finden und beheben muss, ohne es zu beschädigen.
Zusammen gelesen beschreiben sie eine Kette. Vorne kommen mehr Offenlegungen schneller an, als ein Team Herstellerhinweise lesen kann; knapp wird damit die Einordnung: ob eine Lücke ausgenutzt wird, ob es einen Fix gibt und wer hinschauen muss. Die Karten von Zero Wire trennen genau diese Zustände und liefern einen Prompt, den ein Team dem eigenen Agenten zur Prüfung geben kann. Hinten wird der Fix selbst zunehmend etwas, das ein Modell versuchen kann: Das beste Modell in CWE-bench v2 besteht 67,8 % der Aufgaben im ersten Versuch und 81 % in vier.
Derselbe Benchmark zeigt die Grenze. Selbst der Spitzenreiter scheitert an 19 % der Aufgaben bei jedem Versuch, und bewertet wird mit Prüfern, die Verhalten testen statt eines erwarteten Patches. Rails, das am 4. November 21 Sicherheitskorrekturen auslieferte, erinnert daran, wie viel davon noch Release-Management ist: eine Frist für die unterstützte Version drei Tage später und ein Update, das jeder Nutzer einplanen muss.
Was das bedeutet
Die eigentliche Verschiebung liegt darin, wofür Menschen ihre Zeit verwenden. Jeden Hinweis zu lesen und Routine-Patches zu schreiben, wird zuerst automatisiert; zu entscheiden, was für die eigenen Systeme zählt, und die vorgeschlagenen Fixes eines Modells zu prüfen, nicht.