Fuenf Rust-Aenderungen sparten 100 Terabyte im DNS-Cache von Cloudflare

Serguey Asael Shinder23 September 2026, 17:432 Min. Lesezeit

Cloudflare hat die Darstellung des DNS-Caches hinter seinem Resolver 1.1.1.1 im Arbeitsspeicher neu entworfen, berichtete InfoQ am 23. September 2026. Der gemessene Platzbedarf je Eintrag sank um 56 Prozent und gab flottenweit rund 100 TB Arbeitsspeicher frei. Dieselbe Arbeit an Big Pineapple, der DNS-Plattform von Cloudflare, hob den Einfuegedurchsatz um 43 Prozent und senkte die Nachschlagelatenz um 19 Prozent. Big Pineapple haelt jederzeit mehr als 250 Milliarden Cache-Eintraege.

Der Systemingenieur Sebastiaan Neuteboom formulierte es auf LinkedIn so: «Man spart nicht jeden Tag 100 Terabyte Arbeitsspeicher.»

Es waren fuenf aufeinanderfolgende Aenderungen an der Cache-Darstellung, in Rust:

• Vec und String ersetzt durch Box<[T]> und Box<str> fuer Daten, die nach dem Einfuegen feststehen — 64 Byte je Eintrag, allein mehr als 15 TB flottenweit;
• Answer-, Authority- und Additional-Records in eine Liste zusammengefuehrt mit kompakten Indizes;
• boolesche Werte in Bitflags gepackt;
• Owner-Namen weggelassen, wenn sie der abgefragten Domain entsprechen, und aus dem Cache-Schluessel rekonstruiert;
• Record-Daten zusammenhaengend gespeichert statt je Variante einzeln alloziert.

Am schwersten waren Rust-Enums. Cloudflare boxte zunaechst die groesseren Varianten, doch die getrennten Allokationen brachten Mehraufwand und schadeten der Speicherlokalitaet.

Was daran bemerkenswert ist

Der groesste Einzelgewinn kam vom Entfernen von Kapazitaet, nicht von Daten. Vec und String fuehren ein Kapazitaetsfeld und Platz zum Wachsen mit; ist ein Eintrag einmal geschrieben und wird nie umdimensioniert, ist diese Mechanik reiner Ballast. Vierundsechzig Byte je Eintrag klingt nach nichts und sind in dieser Groessenordnung 15 Terabyte — genau das ist die Lehre darueber, wo man sucht, wenn die Zeilenzahl riesig und jede Zeile klein ist.

Die Enum-Episode ist der ehrliche Teil des Berichts, und ein von InfoQ zitierter Reddit-Kommentar setzt den Vorbehalt an die richtige Stelle: «Viele dieser Speichertricks zahlen sich erst bei Cloudflares Anfragevolumen aus; in kleinerem Massstab kann die zusaetzliche Indirektion durch das Boxen von Varianten der Cache-Lokalitaet mehr schaden als nuetzen.»

So liest man die ganze Liste richtig. Der Durchsatz stieg, waehrend der Speicherbedarf sank — das Zeichen dafuer, dass es Lokalitaetsgewinne waren und kein Tausch von Platz gegen Zeit. Aber das Vorzeichen dieses Tauschs dreht sich mit der Groesse, und nichts davon uebertraegt sich auf einen Dienst mit ein paar Millionen Eintraegen.