LFM2.5-24B-A2B: Liquid AI stellt offenes 24B-MoE mit 2B aktiven Parametern vor
Serguey Asael Shinder2 Min. LesezeitLiquid AI hat am 13. Oktober 2026 im Hugging-Face-Blog LFM2.5-24B-A2B vorgestellt: ein Mixture-of-Experts-Sprachmodell mit insgesamt 24 Milliarden Parametern, von denen pro Token rund 2 Milliarden aktiv sind. Es erscheint mit offenen Gewichten, zusammen mit dem Basismodell LFM2.5-24B-A2B-Base.
Was sich gegenüber LFM2-24B-A2B ändert. Die Architektur bleibt: 40 Schichten, 64 Experten je MoE-Block mit Top-4-Routing und dieselbe Mischung aus kurzen gegateten Faltungen und Grouped-Query-Attention. Das Kontextfenster wächst von 32K auf 131K Tokens; eine Erweiterung des Tokenizers verdoppelt das Vokabular von 65K auf 128K Tokens, was die Autoren mit besserer Tokenisierung nicht-lateinischer Schriften begründen. Die größere Verhaltensänderung: Das neue Modell ist ein reines Reasoning-Modell und schreibt vor jeder Antwort eine ausdrückliche Gedankenkette.
Wie trainiert wurde. Das Pre-Training wurde von etwa 17 auf 33 Billionen Tokens ausgeweitet. Im Mid-Training kamen 2 Billionen Tokens mit 32K Kontext hinzu, gewichtet auf Reasoning, Mathematik, Code, Befolgen von Anweisungen und mehrsprachige Texte, dazu 300 Milliarden Tokens mit 131K Kontext für lange Dokumente. Das Post-Training läuft in fünf Stufen, darunter zwei Runden On-Policy-Distillation über mehrere Domänen und Reinforcement Learning innerhalb von Agenten-Umgebungen, die der Beitrag benennt: OpenClaw, Hermes Agent, Pi und OpenCode.
Was die Zahlen sagen – und wer sie ausgewählt hat. Liquid AI vergleicht das Modell mit Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it und Nemotron-3.5-Lightning auf 16 Benchmarks. Nach eigener Darstellung führt es auf fünf von acht Tool-Use- und Agenten-Benchmarks oder liegt gleichauf – auf LiveClaw meldet der Hersteller 48,09 gegenüber 38,19 für Qwen – sowie auf allen drei Benchmarks zum Befolgen von Anweisungen. Die Grenzen nennt derselbe Beitrag: Größere Modelle bleiben bei wissenslastigen Tests wie GPQA Diamond, HLE und AA-Omniscience und bei Code-Benchmarks wie SWE-Bench Verified und SciCode vorn; die Autoren empfehlen für solche Aufgaben Retrieval. Alle Ergebnisse stammen vom Anbieter und wurden mit vLLM ermittelt.
Tempo und Einsatz. Gemeldet werden 184 Tokens/s auf einem Apple M5 Max, 114 Tokens/s auf einem Ryzen AI Max+ 395 und bei hoher Parallelität über 21.000 Ausgabe-Tokens/s auf einer einzelnen NVIDIA B300. Unterstützung gibt es ab dem ersten Tag in llama.cpp, MLX, vLLM, SGLang und ONNX; vorausgesetzt wird transformers ab Version 5.0. Der Beitrag zeigt den Betrieb hinter einem OpenAI-kompatiblen Endpunkt für lokale Agenten.
Für Teams, die Agenten auf dem Gerät prüfen, ist der Tausch interessant, den die Autoren selbst beschreiben: billige Reasoning-Tokens gegen schwächeres Faktenwissen – die Arbeit verlagert sich damit auf Retrieval statt auf ein größeres Modell.
Quelle: Hugging-Face-Blog (Liquid AI), „Run fast, private agents on-device with LFM2.5-24B-A2B“ — https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b