Zwei Starts, zwei Arten Benchmark: einer zum Nachrechnen heute, einer auf Vertrauen bis Monatsende

Victoria Shinder06 October 2026, 22:431 Min. Lesezeit

Zwei Veröffentlichungen vom 6. Oktober kamen mit Leistungsangaben – und zeigen die zwei Wege, auf denen solche Angaben Leser erreichen.

Polars 2.0 veröffentlichte SQL-Benchmarks gegen DuckDB und DataFusion und im selben Beitrag die Bedingungen: Maschinentypen, Engine-Versionen, bester von fünf warmen Läufen, 60 Sekunden Timeout, wie die Daten erzeugt wurden, welche Abfragen ausgeklammert wurden und warum. Dazu nannte das Projekt eine eigene Schwäche, einen konstanten Overhead bei 192 Threads, und stellte ein Repository bereit, mit dem jeder die Tests wiederholen kann. Die Zahlen können falsch sein, aber man kann sie prüfen.

Mistral Large 4 kam mit beeindruckenden Werten bei Programmier- und Sicherheitstests und einer öffentlichen Vorschau-API. Gewichte, Architekturdetails und Post-Training sind für später im Monat versprochen. Bis dahin sind die Zahlen die des Herstellers – und auch die Erklärung für eines der auffälligsten Ergebnisse (mehrere geschlossene Modelle verweigerten eine Aufgabe zum Nachstellen von Schwachstellen und punkteten deshalb nahe null) stammt vom Hersteller.

Was aus dem Unterschied folgt. Keiner ist ein Grund, einen Release abzutun. Aber sie verdienen unterschiedliches Gewicht:

• Eine Angabe mit Methode und Code lässt sich auf eigener Hardware und mit eigenen Daten testen, bevor man etwas ändert. Dafür sind Benchmarks da.
• Eine Angabe ohne beides ist eine Absichtserklärung. Sie hilft zu entscheiden, was man prüfen will, nicht, was man einführt.
• Das Datum zählt. Offene Gewichte Ende Oktober machen Mistrals Zahlen zur ersten Art. Sinnvoll ist jetzt, die für die eigene Arbeit relevanten Tests zu notieren und sie zu fahren, sobald die Gewichte da sind.

Ein Benchmark, den niemand wiederholen kann, ist Werbung, bis ihn jemand wiederholt. Polars hat am ersten Tag dazu eingeladen; Mistral hat es versprochen.