Cloudflare Basin, die Iceberg-Analyseplattform auf R2, ist allgemein verfügbar
Serguey Asael Shinder1 Min. LesezeitCloudflare hat seine vor einem Jahr angekündigte Datenplattform allgemein verfügbar gemacht und in Cloudflare Basin umbenannt. Es handelt sich um eine serverlose Analyseplattform auf Basis von Apache Iceberg, dem offenen Tabellenformat für Data Lakes, mit Speicherung im Objektspeicher R2.
Basin besteht aus drei Teilen, jeweils umbenannte frühere Produkte. Basin Pipelines, vormals Cloudflare Pipelines, empfängt Ereignisse aus Workers, per HTTP oder aus Cloudflare Logpush, transformiert sie mit SQL und schreibt sie als Iceberg-Tabellen oder Dateien in R2. Basin Catalog, vormals R2 Data Catalog, verwaltet Iceberg-Metadaten und pflegt Tabellen automatisch: Es verdichtet Metadaten und Datendateien und erzeugt Statistiken für die Abfrageplanung. Basin SQL, vormals R2 SQL, ist eine serverlose verteilte SQL-Engine, die anhand dieser Statistiken Abfragen in kleinere Aufgaben zerlegt und auf Workers verteilt.
Cloudflares Argument stützt sich auf Offenheit und Datenabfluss. Weil die Daten als Iceberg gespeichert sind, lassen sie sich mit jeder kompatiblen Engine lesen und schreiben; der Beitrag nennt PyIceberg, DuckDB, Snowflake und Apache Spark. Diese Portabilität funktioniere in der Praxis nur, weil R2 keine Gebühren für ausgehende Daten erhebt, sodass dieselben Daten aus anderen Werkzeugen, Regionen und Clouds genutzt werden können.
Nach eigenen Angaben haben Cloudflares Abrechnungs- und Infrastrukturteams die Plattform schon in der Beta genutzt, für Abrechnungskennzahlen und Infrastruktur-Telemetrie; zitiert wird zudem ein Kunde, der damit eine Lösung aus S3 und Athena ersetzt hat. Im vergangenen Jahr habe man an Tempo, Offenheit und Kosten gearbeitet; Katalog, Pipeline und erste Abfrage seien in Sekunden eingerichtet.
Warum das wichtig ist
Iceberg auf günstigem Objektspeicher ist zum Standardaufbau für Analysen geworden, die länger leben sollen als eine einzelne Abfrage-Engine. Eine Plattform, die Daten in einem offenen Format hält und für das Auslesen nichts berechnet, senkt die Kosten eines Wechsels – sonst der übliche versteckte Preis verwalteter Analysedienste.