Was ist ein Data Lakehouse?

Skalierbarkeit und Flexibilität in der Datenverwaltung

Data Lakehouses lassen sich nahtlos skalieren, um wachsende und heterogene Datenmengen zu verarbeiten, und bieten Unternehmen die nötige Agilität, um sich an dynamische Datenlandschaften anzupassen.

Microsoft OneLake in Fabric ist ein offener Data Lake, der unbegrenzt skalierbar ist, strukturierte und unstrukturierte Daten aufnehmen und enorme Datenmengen verarbeiten kann – bei gleichzeitiger Optimierung der Leistung über verschiedene Analyse-Engines hinweg.

Data Lakehouses verfügen über robuste Sicherheitsvorkehrungen zum Schutz sensiblen Daten. OneLake nutzt beispielsweise branchenführende Sicherheits- und Governance-Tools, um die Datenqualität in Ihrer Organisation sicherzustellen und dafür zu sorgen, dass nur befugte Personen die erforderlichen Zugriffsrechte dafür haben. So bleibt Ihre Organisation konform mit Branchenvorschriften und ist gleichzeitig vor unautorisiertem Zugriff geschützt.

Durch kosteneffiziente Cloud-Speicher und optimierte Datenverarbeitung bieten Data Lakehouses eine erschwingliche Lösung zur Speicherung und Analyse großer Datenmengen, sowohl strukturierter als auch unstrukturierter Art. Microsoft Fabric senkt die Kosten zusätzlich, indem es einen einzigen Speicher- und Kapazitätspool bereitstellt, die für alle Workloads genutzt werden kann.

Indem sie Datenwissenschaftler und Analysten befähigen, Echtzeitanalysen an Streaming-Daten durchzuführen, unterstützen Data Lakehouses Organisationen dabei, schnell und proaktiv auf sich ändernde Bedingungen zu reagieren. Workloads wie Fabric-Echtzeitintelligenz können Streaming-Daten aufnehmen, transformieren, in Echtzeit abfragen und daraufhin Aktionen auslösen.

Die Data Lakehouse-Architektur besteht aus mehreren Schlüsselkomponenten, die im Zusammenspiel ein einheitliches System zur Verwaltung und Analyse von Daten bilden. Im Folgenden finden Sie eine detaillierte Aufschlüsselung der einzelnen Komponenten:

1. Datenerfassung. Die Datenerfassungsebene ist für das Sammeln von Daten aus verschiedenen Quellen verantwortlich, darunter Datenbanken, Anwendungen, IoT-Geräte und externe APIs, sowohl im Batch- als auch im Echtzeitmodus. Mit Fabric Data Factory lassen sich Datenflüsse und Pipelines zur Erfassung, Aufbereitung und Transformation von Daten aus vielfältigen Quellen implementieren. Diese Ebene stellt sicher, dass alle relevanten Daten – strukturierte, semi-strukturierte und unstrukturierte – für Analysen verfügbar sind und damit eine umfassende Sicht auf die Datenlandschaft der Organisation möglich ist.

2. Speicherung. Die Speicherebene dient als Grundlage des Data Lakehouse. Sie verarbeitet große Mengen an Rohdaten mit skalierbaren und kosteneffizienten Speicherlösungen. Diese Ebene ermöglicht die Speicherung von Daten im Rohformat und unterstützt verschiedene Datentypen wie Text, Bilder und Videos, wodurch die Notwendigkeit starrer Schemata entfällt und folglich eine höhere Skalierbarkeit gewährleistet ist.

3. Metadaten. Die Metadatenebene katalogisiert Datenressourcen und pflegt Schemainformationen, die die Datenqualität für effiziente Abfragen sicherstellen. Datenteams erhalten ein besseres Verständnis des Kontexts und der Struktur der Daten, mit denen sie arbeiten, und erzielen so effektivere Erkenntnisse.

4. API. Die API-Ebene fungiert als Schnittstelle, über die Entwickler, Datenwissenschaftler und Analysten auf Daten zuzugreifen und mit ihnen interagieren. Diese Ebene ist entscheidend, da sie es verschiedenen Anwendungen und Benutzern ermöglicht, mit den Daten zu arbeiten, ohne dass tiefgehende technische Kenntnisse der zugrunde liegenden Architektur benötigt werden.

5. Verbrauch. Die Verbrauchsebene gibt jedem Benutzer die Tools und Plattformen an die Hand, um Daten zu analysieren und zu visualisieren. Dazu gehören Business Intelligence (BI)-Tools wie Power BI sowie Data Science- und Machine Learning-Workloads wie Fabric Data Science, die die im Lakehouse gespeicherten Daten nutzen. Die Verbrauchsebene wandelt Rohdaten in umsetzbare Erkenntnisse um und befähigt Stakeholder in der gesamten Organisation, datengestützte Entscheidungen zu treffen.

Egal, ob Sie bestehende Daten migrieren oder eine völlig neue Lösung einrichten, die Implementierung eines Data Lakehouse umfasst mehrere kritische Schritte. Im Folgenden finden Sie eine schrittweise Übersicht des Prozesses, einschließlich zentraler Aspekte, die zu berücksichtigen sind:

1. Bewerten Sie die Landschaft. Zuerst sollten Sie alle Ihre bestehenden Datenquellen identifizieren, einschließlich Datenbanken, Anwendungen und externer Datenfeeds. Um die Speicheranforderungen zu verstehen, sollten Sie die Daten in diesen Quellen als strukturiert, semi-strukturiert oder unstrukturiert kategorisieren.

2. Definieren Sie Anforderungen und Ziele. Als Nächstes ist es wichtig, dass Sie Ihre Ziele klar umreißen, damit Sie Ihre Anforderungen auf Grundlage des erwarteten Datenvolumens und -wachstums ermitteln können. Zum Schutz Ihrer sensiblen Daten sollten Sie außerdem die zu erfüllenden Compliance-Anforderungen identifizieren.

3. Wählen Sie den Technologie-Stack. Wählen Sie eine cloudbasierte oder lokale Speicherlösung, die Ihren Anforderungen an ein Data Lakehouse entspricht, und prüfen Sie anschließend die Optionen für Datenverarbeitung und -analyse. Sie sollten auch die Tools auswählen, die Sie für Katalogisierung, Governance und Nachverfolgung der Datenherkunft einsetzen werden.

4. Entwickeln Sie eine Migrationsstrategie. Um Störungen bei der Entwicklung einer Migrationsstrategie zu minimieren, sollten Sie eine schrittweise Migration planen, beginnend mit weniger kritischen Daten. Sie sollten die Datenqualität bewerten, notwendige Bereinigungs- oder Transformationsaufgaben identifizieren und Backup-Strategien festlegen, um die Datenintegrität sicherzustellen.

5. Erstellen Sie Pipelines. Sobald Sie Ihre Migrationsstrategie festgelegt haben, gilt es, Prozesse für die Datenerfassung aus Batch- und Echtzeitquellen mithilfe von APIs einzurichten. Um die Datenerfassung weiter zu optimieren, sollten Sie auch den Einsatz von Automatisierungstools wie Microsoft Power Automate in Betracht ziehen, um manuelle Eingriffe zu reduzieren.

6. Konfigurieren Sie das Speichermanagement. Bei der Konfiguration des Speichersystems sollten Sie dies gemäß der festgelegten Struktur für jeden Datentyp vornehmen. Sie müssen Praktiken für das Metadatenmanagement einführen, um die Auffindbarkeit der Daten sicherzustellen, und außerdem Zugriffsberechtigungen und Sicherheitsprotokolle zum Schutz der Daten festlegen.

7. Etablieren Sie ein Analyse-Framework. An diesem Punkt sollten Sie Ihre BI- und Analysetools, wie Power BI, für Berichterstellung und Datenvisualisierung verbinden. Sie müssen den Entwicklern zudem die notwendigen Frameworks, Tools und Zugangspunkte für maschinelles Lernen und erweiterte Analysen bereitstellen.

8. Überwachen, optimieren und iterativ anpassen. Nach Abschluss der Implementierung sollten Sie regelmäßig die Leistung bewerten sowie Speicher- und Verarbeitungskapazitäten mithilfe von End-to-End-Überwachungsfunktionen wie in Fabric analysieren. Sie sollten außerdem einen Feedback-Mechanismus mit den Benutzern einrichten, um Potenziale zur Verbesserung und Optimierung zu erkennen.

Die weltweit führenden Organisationen nutzen Data Lakehouse-Architekturen, um ihre Daten effizienter zu nutzen, Entscheidungsprozesse zu verbessern und Innovationen in ihren Betriebsabläufen voranzutreiben. Im Folgenden finden Sie einige bemerkenswerte Beispiele erfolgreicher Implementierungen:

1. Einheitlicher Datenbestand
Das niederländische Unternehmen Flora Food Group aus der Lebensmittellieferkette strebte die Konsolidierung mehrerer Analysetools auf einer einzigen, effizienteren Plattform an. Daher entschied es sich für Fabric, um Berichterstattung, Datentechnik, Data Science und Sicherheitsfunktionen in einer Lösung zu vereinen. Durch die Verknüpfung sämtlicher Datenströme konnte das Unternehmen seine Plattformarchitektur vereinfachen, die Kosten senken und seinen Kunden detailliertere sowie zeitnahe Einblicke bieten, was wiederum die Servicequalität und Kundenzufriedenheit steigerte.

2. Erweiterte Analysen und maschinelles Lernen
Als zweitgrößter Flughafen Australiens stand der Flughafen Melbourne vor der Aufgabe, seine Datenanalysekapazitäten auszubauen, um den Betrieb effizienter zu gestalten und den Passagieren ein besseres Reiseerlebnis zu bieten. Mit der Einführung von Fabric gelang es der Organisation, Daten aus einer Vielzahl von Datenquellen, darunter Park-, Verkaufs- und Flughafenbetriebssysteme, zu konsolidieren sowie datenbasierte Erkenntnisse einem breiteren Kreis technischer und nicht-technischer Business-Benutzer zugänglich zu machen. Infolgedessen konnte der Flughafen seine Leistungseffizienz in allen datenbezogenen Abläufen um 30 % steigern.

3. KI und Deep Learning
Als Unternehmen für digitale Innovation hatte Avanade das Ziel, die strategischen Entscheidungsprozesse innerhalb seiner Organisation mithilfe von KI-Technologien zu verbessern. Durch die Vereinheitlichung seines Datenbestands mit Fabric und die Schulung von über 10.000 Mitarbeitenden im Bereich Datenanalyse legte Avanade die Grundlage, um Benutzern die Akzeptanz von KI-Anwendungen zu erleichtern. Mit den erworbenen Fertigkeiten waren die Benutzer in der Lage, maßgeschneiderte KI-Lösungen zu entwickeln, einschließlich verschiedener Dashboards, die auf natürlicher Sprache und Copilot in Power BI basieren.

4. Echtzeiterkenntnisse
Dener Motorsport, der führende Veranstalter des Porsche Carrera Cup Brasil, hatte die Aufgabe, sowohl Ingenieuren als auch Zuschauern umfassende und aktuelle Daten zur Fahrzeugleistung und -reparatur bereitzustellen. Durch die Einführung von Fabric und die Implementierung der darin integrierten Funktionen für Echtzeitanalyse, -speicherung und -berichterstattung konnte die Organisation die Stakeholder besser mit umsetzbaren Erkenntnissen in Echtzeit versorgen. Bei einem kürzlich stattgefundenen Rennen gelang es den Ingenieuren, einen sich ankündigenden Motorschaden in einem Porsche-Rennwagen zu erkennen, woraufhin sie das Fahrzeug im Sinne der Sicherheit aus dem Wettbewerb nahmen.