Wat is een data lakehouse?

Schaalbaarheid en flexibiliteit in gegevensbeheer

Data lakehouses kunnen naadloos opschalen om groeiende gegevensvolumes over diverse gegevenstypes te accommoderen, waardoor bedrijven de wendbaarheid hebben om zich aan te passen aan veranderende gegevenslandschappen.

Microsoft OneLake in Fabric is een open data lake dat oneindig kan schalen, gestructureerde en ongestructureerde gegevens kan opnemen en enorme hoeveelheden gegevens kan verwerken, terwijl de prestaties over analyse-engines worden geoptimaliseerd.

Data lakehouses bevatten robuuste beveiligingsmaatregelen om gevoelige gegevens te beschermen. OneLake, bijvoorbeeld, gebruikt toonaangevende beveiligings- en governancehulpprogramma's om de kwaliteit van de gegevens van jouw organisatie te waarborgen, en ervoor te zorgen dat alleen de juiste mensen de juiste toegang tot die gegevens hebben. Dit helpt jouw organisatie om compliant te blijven met de regelgeving in de sector en beschermd te zijn tegen ongeautoriseerde toegang.

Door kosteneffectieve cloudopslag en geoptimaliseerde gegevensverwerking bieden data lakehouses een betaalbare oplossing voor het opslaan en analyseren van grootschalige gegevens, al dan niet gestructureerd. Microsoft Fabric verlaagt verder de kosten door een enkele capaciteits- en opslagpool te bieden die voor elke workload kan worden gebruikt.

Door datawetenschappers en analisten de mogelijkheid te geven om real-time analyses op streamingsgegevens uit te voeren, stellen data lakehouses organisaties in staat om snel en proactief te reageren op veranderende omstandigheden. Workloads zoals Fabric Real-Time Intelligence kunnen streaminggegevens opnemen en transformeren, in real-time query's uitvoeren en in reactie daarop acties in gang zetten.

De architectuur van een data lakehouse bestaat uit verschillende belangrijke componenten die samenwerken om een uniform systeem voor het beheren en analyseren van gegevens te creëren. Hier is een gedetailleerde uiteenzetting van elk onderdeel:

1. Gegevensopname. De gegevensopname-laag is verantwoordelijk voor het verzamelen van gegevens uit verschillende bronnen, waaronder databases, toepassingen, IoT-apparaten en externe API's, zowel batchgewijs als in real-time. Fabric Data Factory maakt het mogelijk om gegevensstromen en pijplijnen te implementeren voor het opnemen, voorbereiden en transformeren van gegevens uit een rijke set van bronnen. Deze laag zorgt ervoor dat alle relevante gegevens - gestructureerd, semi-gestructureerd en ongestructureerd - beschikbaar is voor analyse, wat een uitgebreid overzicht van het landschap van de organisatie biedt.

2. Opslag. De opslaglaag dient als de basis van het data lakehouse en verwerkt grote volumes ruwe gegevens met behulp van schaalbare en kosteneffectieve opslagoplossingen. Deze laag maakt het mogelijk om gegevens in hun ruwe formaat op te slaan, waardoor verschillende gegevenstypes, zoals tekst, afbeeldingen en video's, kunnen worden geaccommodeerd terwijl de noodzaak voor rigide schema's wordt geëlimineerd, zodat de gegevens schaalbaarder kunnen zijn.

3. Metadata. De metadata-laag catalogiseert gegevensassets en onderhoudt schema-informatie, wat zorgt voor gegevenskwaliteit voor efficiënte querying. Gegevensteams kunnen de context en structuur van de gegevens waarmee ze werken begrijpen, wat resulteert in effectievere inzichten.

4. API. De API-laag biedt de interface die ontwikkelaars, gegevenswetenschappers en analisten gebruiken om toegang te krijgen tot en interactie te hebben met gegevens. Deze laag is cruciaal omdat het verschillende toepassingen en gebruikers in staat stelt om met de gegevens te werken zonder dat het diepgaande technische kennis van de onderliggende architectuur vereist.

5. Verbruik. De verbruikslaag omvat de hulpprogramma's en platforms die elke gebruiker de mogelijkheid geven om gegevens te analyseren en te visualiseren. Dit omvat business intelligence (BI) hulpprogramma's zoals Power BI, evenals gegevenswetenschap en machine learning workloads zoals Fabric Data Science, die gebruik maken van de gegevens die in het lakehouse zijn opgeslagen. De verbruikslaag zet ruwe gegevens om in bruikbare inzichten, waardoor belanghebbenden in de hele organisatie in staat worden gesteld om gegevensgestuurde beslissingen te nemen.

Of je nu je gegevens migreert of een geheel nieuwe oplossing opzet, het implementeren van een data lakehouse doorloopt een aantal kritieke stappen. Hier is een stapsgewijs overzicht van het proces, inclusief belangrijke overwegingen:

1. Creëer een overzicht. Eerst wil je al je bestaande gegevensbronnen identificeren, waaronder databases, toepassingen en externe feeds. Om de opslagvereisten te begrijpen, begin je met het categoriseren van de gegevens in die bronnen als gestructureerd, semi-gestructureerd of ongestructureerd.

2. Definieer vereisten en doelstellingen. Vervolgens is het essentieel dat je je doelen duidelijk omschrijft, wat je zal helpen om je behoeften te bepalen op basis van het gegevensvolume en de groei die je verwacht. Om je gevoelige gegevens te beschermen, wil je ook de compliance-eisen identificeren waaraan je moet voldoen.

3. Kies tech-stack. Kies een cloud- of on-premises opslagoplossing die voldoet aan de behoeften van jouw data lakehouse, en evalueer vervolgens de opties voor gegevensverwerking en analyses. Selecteer hier ook de hulpprogramma's die je gaat gebruiken voor catalogisering, governance en het traceren van de herkomst.

4. Ontwikkel je migratiestrategie. Om verstoring te minimaliseren bij het ontwikkelen van een migratiestrategie, plan je een gefaseerde migratie, te beginnen met minder kritieke gegevens. Het doel hier is om de gegevenskwaliteit te evalueren, noodzakelijke opschoon- of transformatietaken te identificeren en back-upstrategieën te bepalen om de integriteit van de gegevens te waarborgen.

5. Maak pijplijnen. Zodra je je migratiestrategie hebt vastgesteld, is het tijd om processen op te zetten voor batch- en realtime gegevensinvoerbronnen met behulp van API's. Om gegevensopname verder te stroomlijnen, wil je misschien ook overwegen om handmatige tussenkomst te verminderen met automatiseringshulpprogramma's zoals Microsoft Power Automate.

6. Configureer opslagbeheer. Bij het configureren van het opslagsysteem volg je de gedefinieerde structuur voor elk gegevenstype. Definieer metadata-beheerpraktijken om de vindbaarheid van gegevens te waarborgen, en toegangsrechten en beveiligingsprotocollen om gegevens te beschermen.

7. Bepaal het analyse-framework. Op dit punt koppel je, voor rapportage en visualisatie, je BI- en analysehulpprogramma's zoals Power BI. Vergeet niet om de ontwikkelaars te voorzien van de nodige frameworks, hulpprogramma's en toegangspunten voor machine learning en geavanceerde analyses.

8. Monitor, optimaliseer en herhaal. Na de implementatiefase is het zaak regelmatig de prestaties te beoordelen en de opslag- en verwerkingscapaciteiten te evalueren met een end-to-end monitoringfunctionaliteit zoals Microsoft Fabric die biedt. Zet ook een feedbackmechanisme met gebruikers op om verbeterings- en optimalisatiegebieden te identificeren.

De beste organisaties ter wereld gebruiken data lakehouse-architecturen om het gebruik van hun gegevens te optimaliseren, besluitvorming te verbeteren en innovatie in hun operaties te stimuleren. Hier zijn een paar opmerkelijke voorbeelden van succesvolle implementaties:

1. Eén centrale bron
Het in Nederland gevestigde voedseldistributiebedrijf Flora Food Group streefde ernaar om meerdere analysehulpmiddelen te consolideren in één, meer efficiënt platform, dus overwogen ze Fabric om hun rapportage, data-engineering, datawetenschap en beveiligingskanalen in één oplossing te verenigen. Door al hun gegevensstromen te verbinden, kon het bedrijf zijn platformarchitectuur vereenvoudigen, kosten verlagen en meer gedetailleerde en tijdige inzichten aan zijn klanten bieden, wat de het serviceniveau en de klanttevredenheid verbeterde.

2. Geavanceerde analyses en machine learning
Melbourne Airport, de op één na drukste luchthaven in Australië, moest zijn gegevensanalysecapaciteiten upgraden om de operationele efficiëntie en de passagierservaring te verbeteren. Door Fabric te adopteren, was de organisatie in staat om gegevens te consolideren uit een breed scala aan gegevensbronnen, waaronder parkeer-, verkoop- en operationele systemen van de luchthaven, en de toegang tot gegevensgestuurde inzichten voor zowel technische als niet-technische zakelijke gebruikers uit te breiden. Als resultaat heeft de luchthaven 30% meer prestatie-efficiëntie behaald in alle gegevensgerelateerde operaties.

3. AI en deep learning
Het digitale innovatiebedrijf Avanade streefde ernaar om de strategische besluitvormingsprocessen binnen hun organisatie te verbeteren met behulp van AI-technologieën. Door hun gegevensgebouw te harmoniseren met Fabric en meer dan 10.000 medewerkers op te leiden in gegevensanalyse, legt Avanade de basis voor gebruikers om AI gemakkelijker te adopteren. Gebruikers konden de vaardigheden die ze hadden geleerd gebruiken om aangepaste AI-oplossingen te ontwikkelen, waaronder verschillende dashboards die zijn gebouwd op natuurlijke taal en Copilot in Power BI.

4. Realtime inzichten
Dener Motorsport, de belangrijkste organisator van de Porsche Carrera Cup Brasil, had de taak om uitgebreide, actuele gegevens over autoprestaties en -reparaties ter beschikking te stellen aan zowel ingenieurs als bezoekers. Door Fabric te adopteren en de realtime analyses, opslag- en rapportagefuncties te implementeren, kon de organisatie belanghebbenden beter ondersteunen met bruikbare, realtime inzichten. Bij een recente race konden ingenieurs zelfs een defect in een motor in een Porsche-raceauto identificeren, en namen de auto in het belang van de veiligheid uit de wedstrijd.