CWE-bench v2 öffnet 100 Sicherheits-Fix-Aufgaben zu 91 CWEs; bestes Modell scheitert bei 19 %
Serguey Asael Shinder1 Min. LesezeitCollinear AI hat CWE-bench v2 veröffentlicht, einen Benchmark für die defensive Seite der KI-Sicherheitsarbeit. Der öffentliche Teil umfasst 100 Aufgaben, die jeder ausführen kann. Ein Agent erhält jeweils einen Checkout eines echten Open-Source-Repositorys und eine kurze Anweisung und muss eine Sicherheitsschwäche finden und beheben, ohne bestehende Funktionen zu brechen. Bewertet wird vollständig programmatisch, die Ergebnisse sind deterministisch und reproduzierbar.
Die 100 Aufgaben decken 91 verschiedene CWE-Klassen ab. Nach Angaben des Teams wurde jede Aufgabe gegen eine Liste von Fragen geprüft, etwa ob die Anweisung wie eine echte Anfrage klingt, ob der Prüfer Verhalten statt der Form eines bestimmten Fixes testet und ob er auswendig gelernte Lösungen wie den bekannten Upstream-Patch zurückweist. Jede Aufgabe wurde zusätzlich von Hand geprüft; ein zurückgehaltener Satz bleibt für Aufgaben, die kein Modell gesehen hat.
Elf Modelle wurden bewertet. Gemini 4 Argon führt mit 67,8 % pass@1 und 81,0 % pass@4, knapp vor Claude Opus 5.5 mit 67,3 % und 78,0 %. 95 Aufgaben löst mindestens ein Modell, doch selbst der Spitzenreiter scheitert an 19 % des Satzes bei jedem Versuch. Bei den Kosten erreicht DeepSeek V4.1 Flash 57,0 % pass@1 für 0,04 Dollar pro Durchlauf, gegenüber 1,83 Dollar für Opus und 3,92 Dollar für Gemini.
Die Aufgaben liegen als Harbor-Tasks mit Docker-Umgebung und deterministischem Prüfer vor und lassen sich direkt aus dem Hugging-Face-Datensatz starten. Sie sind zudem als Reinforcement-Learning-Umgebungen markiert, sodass dieselben Prüfer das Training defensiver Agenten belohnen können.
Was das bedeutet
Für Teams zählt weniger die Bestmarke als der Rest: Ein Fünftel der Aufgaben schlägt das beste Modell jedes Mal. Automatisches Patchen bekannter Schwächeklassen wird gut, und genau bei den verbleibenden Fehlschlägen muss weiter ein Mensch prüfen.