Co je datové transakční jezero?

Škálovatelnost a flexibilita řízení dat

Datová transakční jezera lze hladce škálovat, aby vyhovovala rostoucím objemům dat s různými typy dat, což podnikům poskytuje možnost pružně se přizpůsobovat měnícím se datovým prostředím.

Microsoft OneLake v Microsoft Fabricu je otevřené datové transakční jezero, které může nekonečně škálovat, přijímat strukturovaná a nestrukturovaná data a zpracovávat obrovské množství dat, přičemž optimalizuje výkon napříč analytickými nástroji.

Datová transakční jezero zahrnují robustní bezpečnostní opatření na ochranu citlivých dat. OneLake například používá špičkové nástroje pro zabezpečení a řízení, aby zajistil kvalitu dat vaší organizace a to že k těmto datům mají správný přístup pouze správní lidé. Pomůže vaší organizaci zajistit soulad s oborovými předpisy a chránit se před neoprávněným přístupem.

Díky nákladově efektivnímu cloudovému úložišti a optimalizovanému zpracování dat nabízejí datová transakční jezera cenově dostupné řešení pro ukládání a analýzu velkých objemů dat, jak strukturovaných, tak nestrukturovaných. Microsoft Fabric dále snižuje náklady tím, že poskytuje jediný fond kapacity a úložiště, který lze využívat pro každou úlohu.

Díky tomu, že datoví vědci a analytici mohou analyzovat streamovaná data v reálném čase, datová transakční jezera umožňují organizacím rychle a proaktivně reagovat na měnící se podmínky, jakmile nastanou. Úlohy jako Inteligence v reálném čase ve Fabricu dokážou přijímat a transformovat streamovaná data, dotazovat se v reálném čase a spouštět akce jako reakci.

Architektura datového transakčního jezera se skládá z několika klíčových komponent, které spolupracují na vytvoření sjednoceného systému pro správu a analýzu dat. Zde je podrobný přehled jednotlivých komponent:

1. Příjem dat. Vrstva příjmu dat odpovídá za shromažďování dat z různých zdrojů, včetně databází, aplikací, IoT zařízení a externích rozhraní API, jak dávkově, tak v reálném čase. Datová továrna Fabricu umožňuje implementovat datové toky a kanály pro příjem, přípravu a transformaci dat napříč bohatou sadou zdrojů. Tato vrstva zajišťuje, že všechna relevantní data – strukturovaná, polostrukturovaná i nestrukturovaná – jsou k dispozici k analýze, a poskytuje komplexní pohled na prostředí organizace.

2. Úložiště. Vrstva úložiště slouží jako základ datového transakčního jezera, který zpracovává velké objemy nezpracovaných dat pomocí škálovatelných a nákladově efektivních úložných řešení. Tato vrstva umožňuje ukládat data v jejich nezpracované formátu, takže podporuje různé typy dat, jako jsou texty, obrázky a videa, a zároveň eliminuje potřebu rigidních schémat, takže je možné data lépe škálovat.

3. Metadata. Vrstva metadat katalogizuje datové zdroje a uchovává informace o schématech, což zajišťuje kvalitu dat pro účely efektivního dotazování. Datové týmy dokážou pochopit kontext a strukturu dat, s nimiž pracují, a dosahovat tak efektivnějších poznatků.

4. Rozhraní API. Vrstva API poskytuje rozhraní, které vývojáři, datoví vědci a analytici používají k přístupu k datům a interakci s nimi. Tato vrstva je zásadní, protože umožňuje různým aplikacím a uživatelům pracovat s daty, aniž by byly vyžadovány hluboké technické znalosti o podkladové architektuře.

5. Spotřeba. Vrstva spotřeby zahrnuje nástroje a platformy, které každému uživateli umožňují analyzovat a vizualizovat data. Zahrnuje to nástroje pro business intelligence (BI) jako Power BI a dále úlohy v oblasti datové vědy a strojového učení jako Datové vědy ve Fabricu, jež využívají data uložená v transakčním jezeře. Vrstva spotřeby přetváří nezpracovaná data na akční přehledy, což umožňuje zúčastněným stranám v celé organizaci činit rozhodnutí založená na datech.

Ať už migrujete svá data, nebo nastavujete zcela nové řešení, implementace datového transakčního jezera zahrnuje několik kritických kroků. Zde je podrobný přehled postupu včetně klíčových záležitostí, které je nutné brát v potaz:

1. Posuďte prostředí. Nejprve byste měli identifikovat všechny své stávající datové zdroje, včetně databází, aplikací a externích zdrojů. Abyste pochopili požadavky na úložiště, měli byste klasifikovat data v těchto zdrojích jako strukturovaná, polostrukturovaná či nestrukturovaná.

2. Definujte požadavky a cíle. Dále je nezbytné jasně vymezit své cíle, což vám pomůže určit vaše potřeby na základě očekávaného objemu dat a růstu. Abyste chránili vaše citlivé údaje, identifikujte požadavky na dodržování předpisů, které budete muset dodržovat.

3. Zvolte technologie. Zvolte cloudové nebo místní úložiště, které podporuje potřeby vašeho datového transakčního jezera, a poté zhodnoťte možnosti pro zpracování a analýzu dat. Dále vyberte nástroje, které budete používat pro katalogizaci, řízení a sledování rodokmenu dat.

4. Vypracujte strategii migrace. Abyste minimalizovali narušení při vypracovávání strategie migrace, naplánujte fázovou migraci, která začíná méně kritickými daty. Měli byste zhodnotit kvalitu dat, identifikovat potřebné úkoly čištění nebo transformace a stanovit zálohovací strategie pro zajištění integrity dat.

5. Vytvořte kanály. Jakmile stanovíte svou migrační strategii, je čas nastavit procesy pro dávkový příjem dat a příjem dat v reálném čase pomocí API. Abyste dále zjednodušili příjem dat, můžete také zvážit implementaci automatizačních nástrojů, jako je Microsoft Power Automate, jimiž omezíte manuální zásahy.

6. Nakonfigurujte správu úložiště. Při konfiguraci systému úložiště budete chtít postupovat podle definované struktury pro každý typ dat. Budete potřebovat zavést postupy správy metadat, abyste zajistili zjistitelnost dat, a také budete muset definovat přístupová oprávnění a bezpečnostní protokoly pro ochranu dat.

7. Zaveďte analytickou architekturu. V tuto chvíli budete chtít propojit své BI a analytické nástroje, jako je Power BI, pro účely vytváření sestav a vizualizace. Také budete muset poskytnout vývojářům potřebné architektury, nástroje a přístupové body pro strojové učení a pokročilou analýzu.

8. Monitorujte, optimalizujte a iterujte. Jakmile dokončíte implementaci, budete chtít pravidelně hodnotit výkon či posuzovat možnosti úložiště a zpracování pomocí komplexní monitorovací funkce, jako je ta, kterou najdete v Microsoft Fabricu. Také budete chtít zavést mechanismus zpětné vazby od uživatelů, abyste identifikovali oblasti pro zlepšení a optimalizaci.

Největší světové organizace používají architektury datových transakčních jezer k optimalizaci využití dat, zlepšení rozhodování a podpoře inovací v celém provozu. Zde je několik pozoruhodných příkladů úspěšných implementací:

1. Jediný správný zdroj
Nizozemská společnost zabývající se dodávkami potravin Flora Food Group se snažila konsolidovat několik analytických nástrojů do jedné efektivnější platformy, a proto zvolila Fabric, aby sjednotila vykazování, datové inženýrství, datovou vědu a bezpečnostní kanály do jednoho řešení. Spojením všech datových steamů dokázala společnost zjednodušit architekturu své platformy, snížit náklady a nabídnout zákazníkům podrobnější a včasnější přehledy, což zlepšilo poskytování služeb a spokojenost zákazníků.

2. Pokročilá analýza a strojové učení
Letiště Melbourne, druhé nejrušnější letiště v Austrálii, potřebovalo zdokonalit své analytické schopnosti, aby zlepšilo provozní efektivitu a možnosti cestujících. Díky zavedení Fabricu dokázala organizace konsolidovat data z široké škály datových zdrojů, včetně parkování, prodeje a provozních systémů letiště, a také rozšířit přístup k datově řízeným přehledům pro technické i netechnické obchodní uživatele. V důsledku toho letiště dosáhlo 30% zvýšení efektivity ve všech operacích souvisejících s daty.

3. AI a hluboké učení
Společnost Avanade zaměřená na digitální inovace se snažila zlepšit procesy strategického rozhodování v organizaci pomocí technologií AI. Spojením své datové infrastruktury s Fabricem a proškolením více než 10 000 zaměstnanců v oblasti analýzy dat položila společnost Avanade základy pro snadnější přijetí AI uživateli. Uživatelé dokázali využít dovednosti, které se naučili, k vývoji přizpůsobených řešení AI, včetně různých řídicích panelů postavených na přirozeném jazyce a Copilotu v Power BI.

4. Přehledy v reálném čase
Společnost Dener Motorsport, přední organizátor Porsche Carrera Cup Brasil, dostala za úkol poskytovat komplexní a aktuální data o výkonu a opravách vozidel jak technikům, tak zákazníkům. Díky zavedení Fabricu a implementaci jeho funkcí pro analýzu v reálném čase, úložiště a vytváření sestav, dokázala organizace lépe podporovat zúčastněné strany pomocí akčních přehledů v reálném čase. Při nedávném závodě byli technici dokonce schopni identifikovat selhávající motor v závodním voze Porsche, což je přimělo k vyřazení daného vozu z bezpečnostních důvodů.