Databricks, das Daten- und KI-Unternehmen, stellt mit Lakehouse//RT die Echtzeit-Weiterentwicklung des Databricks Lakehouse vor. Mit Lakehouse//RT können Unternehmen Echtzeitanalysen direkt auf den verwalteten Delta Lake- und Apache Iceberg™-Daten ausführen. Dadurch entfällt die Einrichtung separater Serversysteme zur Erzielung von Millisekunden-Performance. Lakehouse//RT basiert auf Reyden, einer neuen Rechen-Engine, die speziell für die Anforderungen moderner, agiler Unternehmen an Parallelität und Latenz entwickelt wurde, und ist ab sofort als Beta-Version verfügbar.

Das Echtzeit-Lakehouse

Jahrelang hatten Unternehmen, die geringe Latenz bei hoher Parallelität benötigten, nur eine Option: eine separate Echtzeit-Serving-Schicht neben dem Lakehouse einzurichten. Diese Serving-Schicht bringt jedoch Anbieterabhängigkeit, erhöhte Infrastrukturkosten, fragmentierte Governance und Daten mit sich, die nie wirklich in Echtzeit vorliegen, da es sich immer um eine Kopie handelt. Dies zwingt Unternehmen zu einem Kompromiss: entweder Latenz akzeptieren oder den Stack fragmentieren. Für Menschen ist das ein Problem. Aber für Agenten funktioniert das nicht. Agenten sind ständig aktiv, denken in Schleifen, und ihre Handlungsfähigkeit hängt vollständig von ihrer Fähigkeit ab, komplexe Unternehmensdaten schnell abzufragen.

Lakehouse//RT wurde entwickelt, um diesen Kompromiss zu beseitigen. Es fragt Delta- und Iceberg-Tabellen direkt im verwalteten Lakehouse ab und ermöglicht so KI-Agenten und Menschen den Zugriff auf aktuelle, vollständige und vertrauenswürdige Daten, ohne diese kopieren oder verschieben zu müssen. Seine Ausführungs-Engine ist darauf ausgelegt, Zehntausende gleichzeitiger Nutzer und Agenten zu unterstützen und dabei eine konstant niedrige Latenz aufrechtzuerhalten.

Bei Standard-Analyse-Benchmarks liefert Lakehouse//RT eine Latenz von unter 100 Millisekunden bei 12.000 Abfragen pro Sekunde, und Kunden haben eine bis zu 16-mal bessere Performance festgestellt als bei ihren bestehenden spezialisierten Echtzeit-Serving-Stacks. Durch den Wegfall der Notwendigkeit einer separaten Serving-Schicht beseitigt Lakehouse//RT auch die damit verbundenen Kosten, CDC- und Synchronisationspipelines, Governance-Lücken und die Abhängigkeit von proprietären Lösungen.

„In den letzten zehn Jahren haben wir die wichtigsten Workloads des modernen Daten-Stacks auf einer einzigen offenen Grundlage vereint: Data Engineering und Data Science mit Spark sowie Data Warehousing mit Photon und dem Lakehouse“, sagt Ali Ghodsi, Mitbegründer und CEO von Databricks. „Lakehouse//RT vervollständigt das Spektrum der Engines und bietet die Millisekunden-Geschwindigkeitsschicht, die sich die Nutzer wünschen und die Agenten benötigen. So wie wir bewiesen haben, dass das beste Data Warehouse ein Lakehouse ist, ist nun auch die beste Echtzeit-Analyse-Engine das Lakehouse.“

Ein Blick ins Innere von Lakehouse//RT

Lakehouse//RT wurde für die spezifischen Anforderungen der Echtzeit-Bereitstellung in großem Maßstab entwickelt:

• Millisekunden-Latenz, in jeder Größenordnung: Das vollständig asynchrone Ausführungsmodell von Reyden liefert Antwortzeiten von nur 10 Millisekunden bei kleineren Datensätzen und 100 Millisekunden bei größeren, ohne dass die Latenz zunimmt, selbst wenn der Durchsatz in die Zehntausende steigt. Und im Gegensatz zu Engines, die nur für einfache Abfragen optimiert sind, wendet Lakehouse//RT modernste Performancetechniken auf die gesamte Bandbreite analytischer Komplexität an.
• Offenes, geregeltes, einheitliches System: Jede Abfrage läuft innerhalb des Governance-Frameworks von Unity Catalog ab, einschließlich Richtlinien, Berechtigungen und Audits. Es muss keine separate Governance-Ebene gepflegt werden, und es gibt keine Lücken zwischen der Bereitstellung von Analysen und dem übrigen Unternehmensdatenbestand.
• Aktuelle Daten, keine Konfiguration: Lakehouse//RT fragt Delta- und Iceberg-Tabellen direkt ab – ohne proprietäre Formate, ohne Datenkopien und ohne Erfassungspipelines. Teams richten es auf eine beliebige vorhandene Tabelle aus und beginnen innerhalb von Minuten mit der Abfrage von Live-Daten.

Kundenstimmen

„Die Suche nach Bedrohungen erfordert eine konstant niedrige Latenz, selbst wenn die Nutzung über Benutzer und Agenten hinweg skaliert“, sagt Chris Kopek, Head of Data Platforms bei Cisco. „Was wir bei Lakehouse//RT sehen, ist eine Millisekunden-Performance bei Live-Daten mit einer 5-fachen Verbesserung der Antwortzeit, was den Weg ebnet, diese Workloads auf unserem Lakehouse auszuführen, anstatt ein separates Servingsystem zu unterhalten.“

„Unsere Plattform bedient Hunderte von Abfragen pro Sekunde für Echtzeit-Leistungsdaten über unseren gesamten Kundenstamm hinweg, sodass Latenz und Konsistenz direkten Einfluss darauf haben, wie Kunden unser Produkt erleben“, erklärt Kayvon Raphael, Senior Director, Engineering bei Magnite.

„Mit Lakehouse//RT erzielen wir bei unseren zentralen Dashboard-Abfragen durchweg eine Leistung von unter 200 Millisekunden. Dass wir dies erreichen können, während alles innerhalb unseres eigenen Data Lake verwaltet wird, reduziert die Komplexität der Verwaltung unserer Datenpipeline und der Bereitstellung von Endanwender-Applikationen erheblich.“

Verfügbarkeit

Lakehouse//RT ist jetzt als Beta-Version verfügbar. Lesen Sie mehr über Lakehouse//RT im Databricks-Blog.