Databricks, das Daten- und KI-Unternehmen, baut seine Führungsposition im Bereich der einheitlichen Governance mit leistungsstarken neuen Funktionen aus. Unity Catalog bietet nun vollständige Unterstützung für Apache Iceberg™-Tabellen, einschließlich nativer Unterstützung für die Apache Iceberg REST Catalog-APIs. Unity Catalog ist nun der einzige Katalog, der externen Engines das Lesen und Schreiben mit detaillierter Governance in leistungsoptimierten, von Iceberg verwalteten Tabellen ermöglicht, wodurch Lock-Ins vermieden werden und eine nahtlose Interoperabilität gewährleistet ist. Databricks führt außerdem zwei neue Verbesserungen ein, die Unity Catalog für Business-Anwender erweitern. Geschäftskennzahlen und KPIs sind die Grundlage für die Unternehmensführung und können nun mit Unity Catalog Metrics als optimale Datenressourcen definiert werden. Darüber hinaus wird die Daten- und KI-Erkennung für Geschäftsanwender durch einen neuen, kuratierten internen Marktplatz verbessert, der die wertvollsten Daten, KI- und KI/BI-Ressourcen, nach Geschäftsbereichen geordnet, anzeigt. Alle diese Ressourcen werden durch automatisierte Datenintelligenz ergänzt, sodass jedes Team die richtigen Daten finden, diesen vertrauen und darauf reagieren kann.

Mit Unity Catalog müssen Nutzer sich nicht mehr zwischen Formaten entscheiden

Unity Catalog basiert auf offenen Standards und ist für alle Tabellenformate und Engines ausgelegt. Mit der öffentlichen Vorschau des vollständigen Apache Iceberg-Supports geht Databricks nun noch einen Schritt weiter und vereint die Ökosysteme Apache Iceberg und Delta Lake in einem einzigen Governance-Ansatz.

Die Vorschau bietet drei neue Funktionen: Erstens können Unternehmen Apache Iceberg-verwaltete Tabellen erstellen, die jede Iceberg-kompatible Engine über die Iceberg REST Catalog API von Unity Catalog lesen und schreiben kann. Diese Iceberg-verwalteten Tabellen profitieren von der vollen Leistungsfähigkeit von Unity Catalog: bestes Preis-Leistungs-Verhältnis mit KI-gestützter prädiktiver Optimierung sowie einheitliche Governance und Durchsetzung von Richtlinien sowohl innerhalb von Databricks als auch über externe Engines hinweg, darunter Trino, Snowflake, Amazon EMR usw. Zweitens ermöglichen die bahnbrechenden Lakehouse-Federation Capabilities von Unity Catalog den nahtlosen Zugriff auf Iceberg-Tabellen, die in externen Katalogen verwaltet werden, sodass diese Tabellen zusammen mit nativen Tabellen entdeckt und verwaltet werden können. Drittens profitieren Iceberg-Tabellen von allen Vorteilen des Delta Sharing-Ökosystems, einschließlich der nahtlosen organisationsübergreifenden Freigabe von Iceberg-Tabellen. Diese Funktionen beseitigen formatabhängige Datensilos – kein anderer Katalog in der Branche bietet diese Funktionen.

Eine wachsende Kluft zwischen Datenplattformen und Geschäftsanwendern

Während Datenplattformen für technische Anwender rasante Fortschritte gemacht haben, sind Teams in anderen Unternehmensbereichen nach wie vor von den Systemen abgeschnitten, die ihre Entscheidungen beeinflussen. Technische Teams konzentrieren sich auf Tabellen, Dateien, Rechenleistung und Code, während Geschäftsanwender mit BI-Tools und KI-Chatbots arbeiten und sich auf KPIs und Geschäftsmetriken in ihren Geschäftsbereichen konzentrieren. Diese grundlegend unterschiedlichen Sprachen führen dazu, dass Geschäftsanwender unsicher sind, welchen Daten sie vertrauen können, oder sich bei grundlegenden Fragen an die Data Engineers wenden müssen. Ohne eine einheitliche Grundlage für den geschäftlichen Kontext sehen sich Unternehmen mit doppelter Arbeit, Entscheidungsunfähigkeit und einer anhaltenden Kluft zwischen Daten und Maßnahmen konfrontiert.

Eine einzige Quelle für Kennzahlen im gesamten Unternehmen

Um diesem Bedarf gerecht zu werden, bringt Unity Catalog Metrics die traditionell in BI-Tools eingebetteten Definitionen von Geschäftskennzahlen in die Datenplattform. Dies sorgt für Konsistenz und Genauigkeit beim Verständnis der Business Perfomance durch alle Mitarbeiter des Unternehmens. Im Gegensatz zu proprietären Bl-Semantikschichten sind Unity Catalog Metrics vollständig über SQL adressierbar, sodass alle Mitarbeiter des Unternehmens - unabhängig vom verwendeten Tool - dieselbe Ansicht der Metriken haben. Unity Catalog Metrics ist ab sofort für alle Kunden als Public Preview verfügbar und wird im Laufe dieses Sommers allgemein verfügbar sein.

Eine einheitliche Grundlage für den Kontext: Von der geführten Entdeckung zu intelligenten Erkenntnissen

Um vertrauenswürdige Daten für Geschäftsanwender wirklich nutzbar zu machen, führt Databricks neue Unity Catalog-Funktionen ein, die intuitive Erkennung mit integrierter Intelligenz verbinden. Eine neue Discover-Erfahrung bietet einen kuratierten internen Marktplatz für zertifizierte Datenprodukte – organisiert nach Geschäftsbereichen wie Vertrieb, Marketing oder Finanzen und angereichert mit Dokumentation, Angaben zu Eigentumsrechten, Tagging und Nutzungsinformationen. Automatisierte, intelligente Empfehlungen in Verbindung mit Tools zur Datenverwaltung durch Datenverwalter stellen sicher, dass die wertvollsten Assets – Metriken, Dashboards, Tabellen, KI-Agenten, Genie-Spaces usw. – über einen Self-Service-Workflow ohne manuelle Genehmigungen oder technische Unterstützung einfach erkundet, verstanden, als vertrauenswürdig eingestuft und abgerufen werden können. Unity Catalog Discover befindet sich derzeit in der Private Preview.

Unity Catalog bietet nun auch intelligente Funktionen für die gesamte Benutzererfahrung und zeigt Datenqualitätssignale, Nutzungsmuster, Beziehungen zwischen Assets sowie Zertifizierungs- und Verfallsstatus an, damit Benutzer schnell die Vertrauenswürdigkeit und Relevanz bewerten können. Mit dem in Unity Catalog integrierten Databricks-Assistant können sie Fragen in natural language stellen und fundierte, kontextbezogene Antworten auf der Grundlage von kontrollierten Metriken erhalten – so wird die Suche zu einer geführten Reise, bei der Daten zugänglich, erklärbar, vertrauenswürdig und sofort einsatzbereit sind.

„Wir haben vor vier Jahren mit Unity Catalog die Kategorie Unified Governance geschaffen“, so Matei Zaharia, Mitbegründer und CTO von Databricks. „Mit diesen Updates für Unity Catalog bieten wir nun den branchenweit besten Katalog für Apache Iceberg und alle offenen Tabellenformate und den einzigen, der das Lesen und Schreiben in verwalteten Tabellen von externen Engines aus ermöglicht – für einen wirklich offenen Unternehmenskatalog. Unabhängig davon, für welches Tabellenformat sich unsere Kunden entscheiden, stellen wir sicher, dass es zugänglich, optimiert und verwaltet ist. Und mit unserem erweiterten Fokus auf Geschäftsanwender stellen wir sicher, dass wir unser Versprechen einhalten, Daten und KI für jeden Anwender im Unternehmen demokratisch zugänglich zu machen.“

Zitate von Kunden und Partnern

„Bei Riskified möchten wir alle unsere Daten in einem offenen Format speichern und benötigen einen einzigen Katalog, der mit allen von uns verwendeten Tools verbunden werden kann“, sagt Hen Ben-Hemo, Data Platform Architect bei Riskified. „Mit Unity Catalog können wir Iceberg-Tabellen schreiben, die für jeden Iceberg-Client vollständig offen sind, wodurch das gesamte Lakehouse-Ökosystem erschlossen und unsere Architektur zukunftssicher wird.“

„Unity Catalog Metrics bietet uns einen zentralen Ort, um geschäftliche KPIs zu definieren und die Semantik teamübergreifend zu standardisieren, sodass alle mit denselben vertrauenswürdigen Definitionen in Dashboards, SQL und KI-Anwendungen arbeiten.“ – Richard Masters, Vice President, Data & AI, Virgin Atlantic.

„Unity Catalog Metrics bietet eine spannende Möglichkeit, Konsistenz, Vertrauen und Kontrolle bei der Definition und Nutzung von Geschäftsmetriken bei Zalando zu etablieren. Es ist ein vielversprechender Beitrag zu einheitlichen, datengesteuerten Entscheidungen in unseren BI-Dashboards, Notebooks und anderen Tools.“ – Timur Yuere, Engineering Manager, Zalando.

„Unity Catalog Metrics bietet Tableau-Kunden eine spannende Möglichkeit, den Wert einer zentralisierten Governance mit Databricks Unity Catalog zu nutzen. Durch unsere tiefe Integration und die Erweiterung unserer Roadmap mit Databricks freuen wir uns, unseren Kunden dabei zu helfen, Hindernisse bei der Nutzung von Databricks zur Definition ihrer wichtigsten Geschäftsmetriken zu beseitigen.“ – Nicolas Brisoux, Sr. Director Product Management Tableau.

„Wir freuen uns über die Partnerschaft mit Databricks zur Integration von Unity Catalog Metrics in Sigma. Damit erhalten Business Teams direkten Zugriff auf vertrauenswürdige, standardisierte Geschäftsmetriken in ihren Dashboards, sodass alle Entscheidungen auf der Grundlage einheitlicher Definitionen treffen können, ohne bei jeder Frage auf die Data Teams angewiesen zu sein.“ – Dillion Morrison, VP of Product, Sigma Computing

Verfügbarkeit

Databricks stellt die öffentliche Vorschau der vollständigen Apache Iceberg-Unterstützung in Unity Catalog vor. Unity Catalog Metrics ist ab sofort für alle Kunden als Public Preview verfügbar und wird im Laufe dieses Sommers allgemein verfügbar sein. Unity Catalog Discover befindet sich derzeit in Private Preview.