Mistral Large 4 mit offenen Gewichten: 1 Bio. Parameter, 49 Mrd. aktiv
Victoria Shinder2 Min. LesezeitDie Gewichte von Mistral Large 4, Spitzname Le Chonk, sind seit dem 29. Oktober auf Hugging Face verfügbar, drei Wochen nachdem Mistral das Modell vorgestellt und eine Veröffentlichung bis Monatsende versprochen hatte. Es ist ein Mixture-of-Experts-Modell mit insgesamt rund einer Billion Parametern, davon 49 Milliarden pro Token aktiv, verarbeitet Text und Bilder, erzeugt Text und hat ein Kontextfenster von einer Million Token. Unsloth und das llama.cpp-Team haben neben den offiziellen Checkpoints GGUF-Fassungen veröffentlicht.
Die Lizenz ist kein reines MIT. Mistral nennt sie Mistral Ecosystem Open-Weight License, eine MIT-Ableitung, die das Anbieten des Modells als gehosteten Dienst beschränkt.
Architektonisch beschreibt der Hugging-Face-Beitrag zwei getrennte Arten von Sparsity. Ein Router wählt pro Token vier von 128 Experten plus einen gemeinsamen Experten, der immer mitläuft, und ein Sparse-Attention-Indexer nach DeepSeek-Art wählt über Multi-head Latent Attention bis zu 2.048 frühere Positionen pro Anfrage. Der Decoder hat 72 Schichten; Bilder laufen durch einen Pixtral-Encoder mit 1,6 Milliarden Parametern.
Mistral stellt Sicherheit nach vorn. Im Cyber Index von Artificial Analysis, bei dem ein Modell eine echte Schwachstelle in Open-Source-Code nachstellen und dann beheben muss, erreicht Large 4 82 %; mehrere geschlossene Modelle kommen laut Mistral nahe null, weil sie die Aufgabe verweigern. Bei Cyber-Prompts aus JailbreakBench, StrongREJECT und AgentHarm liegt die durchschnittliche Ablehnungsquote den Angaben zufolge höher als bei jedem anderen offenen Modell. Beim Programmieren nennt der Beitrag 61,7 % in DeepSWE v1.1 und 28,3 % in Terminal-Bench 4; Stand 29. Oktober liegt das Modell im Intelligence Index von Artificial Analysis auf Platz fünf der offenen Modelle.
Was das bedeutet
Für Teams, die Schwachstellendaten nicht an eine API schicken dürfen, ist ein selbst betreibbares Modell, das nachstellt und patcht, genau der Punkt, und offene Gewichte erlauben es, das Ablehnungsverhalten selbst zu messen, statt einer Beschreibung zu glauben. Die Benchmark-Zahlen sind die Auswahl von Mistral und Hugging Face; wer Zugang weiterverkaufen will, sollte zuerst die Lizenz lesen, nicht die Parameterzahl.