数据湖屋的定义
数据湖屋是一种统一的数据管理架构，结合了数据湖和数据仓库的特性，可以存储和分析结构化和非结构化数据。它支持灵活的数据引入、高级分析和机器学习，同时确保数据安全和优化性能。
什么是数据湖屋？
概括了解数据湖屋的好处和实施过程。
关键要点
- 了解数据湖屋模型的概况及其在当今数据驱动环境中的重要性。
- 探索数据湖屋的优势，包括可伸缩性、增强的安全性、更佳的性能以及支持各种数据分析。
- 了解构成数据湖屋架构的关键组件。
- 获取逐步指导，了解实施数据湖屋架构的最佳方法。
- 了解全球顶尖组织如何使用数据湖屋架构来提升性能。
数据湖屋概述
当今数据驱动的组织不断寻求创新的方法来利用他们的数据。最新的进展之一是数据湖屋，这是一种架构框架，能够无缝融合数据湖和数据仓库的优势于一个平台。此模型使组织能够存储大量的结构化、半结构化和非结构化数据，然后利用这些数据进行处理、分析并获得见解，而无需进行大量的数据转换。
数据湖屋对现代数据战略至关重要，因为它们足够灵活，能够支持广泛的用例。它们使数据团队能够直接使用原始数据运行复杂的查询和机器学习模型，使企业在日益以数据为驱动的环境中更容易获得见解并推动决策。数据湖屋还使数据流连接变得更容易，能够消除孤岛，促进更大的协作，同时保持数据治理、安全性和性能等基本特性。
数据湖屋对现代数据战略至关重要，因为它们足够灵活，能够支持广泛的用例。它们使数据团队能够直接使用原始数据运行复杂的查询和机器学习模型，使企业在日益以数据为驱动的环境中更容易获得见解并推动决策。数据湖屋还使数据流连接变得更容易，能够消除孤岛，促进更大的协作，同时保持数据治理、安全性和性能等基本特性。
数据湖屋的优势
数据管理中的可伸缩性和灵活性
数据湖屋可以无缝缩放，以适应不同数据类型不断增长的数据量，为企业提供适应不断变化的数据环境的敏捷性。Fabric 中的 Microsoft OneLake 是一个开放的数据湖，能够无限缩放，引入结构化和非结构化数据，并处理海量数据，同时优化分析引擎的性能。
增强的数据治理和安全特性
数据湖屋采取强大的安全措施来保护敏感数据。例如，OneLake 使用行业领先的安全和治理工具来确保组织数据的质量，并确保只有正确的人才能正确访问这些数据。这有助于你的组织遵守行业法规，防止未经授权的访问。
成本效益和性能效率
通过经济高效的云存储和优化的数据处理，数据湖屋为存储和分析大规模数据（包括结构化和非结构化数据）提供了经济实惠的解决方案。Microsoft Fabric 通过提供一个可用于所有工作负载的单一容量和存储池，进一步降低了成本。
支持各种数据分析和机器学习应用
通过让数据科学家和分析师能够对流数据进行实时分析，数据湖屋使组织能够快速、主动地响应不断变化的情况。像 Fabric 实时智能这样的工作负载可以引入和转换流数据，实时查询，并触发响应操作。
数据湖屋架构
数据湖屋架构由多个关键组件组成，这些组件共同创建一个统一的系统来管理和分析数据。以下是每个组件的详细分解：
1. 引入。引入层负责从各种来源收集数据，包括数据库、应用程序、IoT 设备和外部 API，支持批量和实时收集。Fabric 数据工厂允许你实现数据流和管道，以便从丰富的数据源中引入、准备和转换数据。此层可确保所有相关数据（结构化、半结构化和非结构化数据）都可用于分析，从而全面了解组织的现状。
2. 存储。存储层是数据湖屋的基础，利用可缩放且经济高效的存储解决方案处理大量原始数据。此层允许以原始格式存储数据，可容纳文本、图像和视频等各种数据类型，同时消除了对僵化模式的需求，使数据更具可伸缩性。
3. 元数据。元数据层对数据资产进行编目并维护架构信息，确保数据质量，实现高效查询。数据团队可以理解他们所处理数据的上下文和结构，获得更有效的见解。
4. API。API 层提供开发人员、数据科学家和分析师访问数据和与数据交互的接口。这一层至关重要，因为它允许不同的应用程序和用户处理数据，而不需要深厚的底层架构技术知识。
5. 消耗。消耗层包括让每个用户能够分析和可视化数据的工具和平台。这包括商业智能 (BI) 工具，如 Power BI，以及数据科学和机器学习工作负载，如 Fabric 数据科学，它们使用存储在湖屋中的数据。消耗层将原始数据转化为可操作的见解，赋能整个组织的利益相关者做出数据驱动的决策。
1. 引入。引入层负责从各种来源收集数据，包括数据库、应用程序、IoT 设备和外部 API，支持批量和实时收集。Fabric 数据工厂允许你实现数据流和管道，以便从丰富的数据源中引入、准备和转换数据。此层可确保所有相关数据（结构化、半结构化和非结构化数据）都可用于分析，从而全面了解组织的现状。
2. 存储。存储层是数据湖屋的基础，利用可缩放且经济高效的存储解决方案处理大量原始数据。此层允许以原始格式存储数据，可容纳文本、图像和视频等各种数据类型，同时消除了对僵化模式的需求，使数据更具可伸缩性。
3. 元数据。元数据层对数据资产进行编目并维护架构信息，确保数据质量，实现高效查询。数据团队可以理解他们所处理数据的上下文和结构，获得更有效的见解。
4. API。API 层提供开发人员、数据科学家和分析师访问数据和与数据交互的接口。这一层至关重要，因为它允许不同的应用程序和用户处理数据，而不需要深厚的底层架构技术知识。
5. 消耗。消耗层包括让每个用户能够分析和可视化数据的工具和平台。这包括商业智能 (BI) 工具，如 Power BI，以及数据科学和机器学习工作负载，如 Fabric 数据科学，它们使用存储在湖屋中的数据。消耗层将原始数据转化为可操作的见解，赋能整个组织的利益相关者做出数据驱动的决策。
实施数据湖屋
无论是迁移数据还是设置全新的解决方案，实施数据湖屋都涉及几个关键步骤。以下是该过程的分步概述，包括主要注意事项：
1. 评估现状。首先，你需要识别所有现有数据源，包括数据库、应用程序和外部数据源。为了了解存储需求，你需要将这些来源中的数据分类为结构化、半结构化或非结构化。
2. 定义需求和目标。接下来，你需要清晰地列出目标，这将帮助你根据预期的数据量和增长确定需求。为了保护敏感数据，你还需要确定需要满足的合规要求。
3. 选择技术栈。选择支持数据湖屋需求的云或本地存储解决方案，然后评估数据处理和分析选项。你还需要选择用于编目、治理和世系跟踪的工具。
4. 制定迁移策略。在制定迁移策略时，为了最大限度地减少中断，需要计划分阶段迁移，从不太关键的数据开始。你应该评估数据质量，确定必要的清理或转换任务，并制定备份策略以确保数据完整性。
5. 创建管道。制定了迁移策略后，应该使用 API 为批量和实时数据引入源设置流程。为了进一步简化数据引入，你可能还想考虑实施自动化工具，如 Microsoft Power Automate，以减少人工干预。
6. 配置存储管理。在配置存储系统时，你需要根据每种数据类型的定义结构进行配置。你需要建立元数据管理做法，以确保数据可发现性，同时还需要定义访问权限和安全协议以保护数据。
7. 建立分析框架。此时，需要连接 BI 和分析工具（如 Power BI），以进行报告和可视化。还需要为开发人员提供机器学习和高级分析所需的框架、工具和接入点。
8. 监控、优化和迭代。实施完成后，需要定期评估性能，并使用端到端监控功能（如 Fabric 中的监控功能）评估存储和处理能力。还需要与用户建立反馈机制，以确定需要改进和优化的地方。
1. 评估现状。首先，你需要识别所有现有数据源，包括数据库、应用程序和外部数据源。为了了解存储需求，你需要将这些来源中的数据分类为结构化、半结构化或非结构化。
2. 定义需求和目标。接下来，你需要清晰地列出目标，这将帮助你根据预期的数据量和增长确定需求。为了保护敏感数据，你还需要确定需要满足的合规要求。
3. 选择技术栈。选择支持数据湖屋需求的云或本地存储解决方案，然后评估数据处理和分析选项。你还需要选择用于编目、治理和世系跟踪的工具。
4. 制定迁移策略。在制定迁移策略时，为了最大限度地减少中断，需要计划分阶段迁移，从不太关键的数据开始。你应该评估数据质量，确定必要的清理或转换任务，并制定备份策略以确保数据完整性。
5. 创建管道。制定了迁移策略后，应该使用 API 为批量和实时数据引入源设置流程。为了进一步简化数据引入，你可能还想考虑实施自动化工具，如 Microsoft Power Automate，以减少人工干预。
6. 配置存储管理。在配置存储系统时，你需要根据每种数据类型的定义结构进行配置。你需要建立元数据管理做法，以确保数据可发现性，同时还需要定义访问权限和安全协议以保护数据。
7. 建立分析框架。此时，需要连接 BI 和分析工具（如 Power BI），以进行报告和可视化。还需要为开发人员提供机器学习和高级分析所需的框架、工具和接入点。
8. 监控、优化和迭代。实施完成后，需要定期评估性能，并使用端到端监控功能（如 Fabric 中的监控功能）评估存储和处理能力。还需要与用户建立反馈机制，以确定需要改进和优化的地方。
数据湖屋的示例
全球顶尖组织正在使用数据湖屋架构来优化数据的使用，提升决策能力，并推动运营创新。以下是几个成功实施的显著示例：
1. 单一事实来源
总部位于荷兰的食品供应链公司 Flora Food Group 希望将多个分析工具整合到一个更高效的平台中，因此他们转向了 Fabric，以将报告、数据工程、数据科学和安全渠道整合到一个解决方案中。通过连接所有数据流，该公司简化了其平台架构，降低了成本，并为客户提供了更详细、更及时的见解，从而提升了服务交付和客户满意度。
2. 高级分析和机器学习
墨尔本机场，澳大利亚第二繁忙的机场，需要升级其数据分析能力，以提高运营效率和乘客体验。通过采用 Fabric，该组织整合了来自各种数据源（包括停车场、销售和机场运营系统）的数据，并扩大了技术和非技术业务用户对数据驱动见解的访问。最终，机场所有数据相关业务的性能效率提高了 30%。
3. AI 和深度学习
数字创新公司 Avanade 旨在利用 AI 技术增强其组织内的战略决策过程。通过使用 Fabric 统一数据资产，并对 10,000 多名员工进行数据分析培训，Avanade 为用户更轻松地采用 AI 奠定了基础。用户能够利用所学技能开发定制的 AI 解决方案，包括在 Power BI 中使用自然语言和 Copilot 构建不同的仪表板。
4. 实时见解
Dener Motorsport，保时捷卡雷拉杯巴西的主要组织者，负责向工程师和客户提供全面、最新的汽车性能和维修数据。通过采用 Fabric 并实施其实时分析、存储和报告功能，该组织更好地为利益相关者提供了可操作的实时见解。在最近的一场比赛中，工程师甚至识别出了一辆保时捷赛车的故障发动机，促使他们出于安全考虑将其撤离。
1. 单一事实来源
总部位于荷兰的食品供应链公司 Flora Food Group 希望将多个分析工具整合到一个更高效的平台中，因此他们转向了 Fabric，以将报告、数据工程、数据科学和安全渠道整合到一个解决方案中。通过连接所有数据流，该公司简化了其平台架构，降低了成本，并为客户提供了更详细、更及时的见解，从而提升了服务交付和客户满意度。
2. 高级分析和机器学习
墨尔本机场，澳大利亚第二繁忙的机场，需要升级其数据分析能力，以提高运营效率和乘客体验。通过采用 Fabric，该组织整合了来自各种数据源（包括停车场、销售和机场运营系统）的数据，并扩大了技术和非技术业务用户对数据驱动见解的访问。最终，机场所有数据相关业务的性能效率提高了 30%。
3. AI 和深度学习
数字创新公司 Avanade 旨在利用 AI 技术增强其组织内的战略决策过程。通过使用 Fabric 统一数据资产，并对 10,000 多名员工进行数据分析培训，Avanade 为用户更轻松地采用 AI 奠定了基础。用户能够利用所学技能开发定制的 AI 解决方案，包括在 Power BI 中使用自然语言和 Copilot 构建不同的仪表板。
4. 实时见解
Dener Motorsport，保时捷卡雷拉杯巴西的主要组织者，负责向工程师和客户提供全面、最新的汽车性能和维修数据。通过采用 Fabric 并实施其实时分析、存储和报告功能，该组织更好地为利益相关者提供了可操作的实时见解。在最近的一场比赛中，工程师甚至识别出了一辆保时捷赛车的故障发动机，促使他们出于安全考虑将其撤离。
结论
不断演变的数据分析环境
由于数据的指数增长以及对实时见解日益增长的需求，越来越多的组织正在从传统数据仓库转向更灵活的解决方案。
通过提高敏捷性、可伸缩性、运营效率和数据团队之间的协作，数据湖屋使企业能够充分发挥数据的潜力。通过打破孤岛并提供对不同数据类型的更便捷访问，数据湖屋使企业能够进行创新并迅速应对市场变化，这对现代数据管理至关重要。
开始免费试用 Fabric
借助 Microsoft Fabric（一个统一的数据管理和分析平台，可在人工智能时代推动转型与创新）为组织赋能。
上手十分简单。不需要 Azure 帐户，而是可以直接在 Fabric 平台上注册。
了解详情
上手十分简单。不需要 Azure 帐户，而是可以直接在 Fabric 平台上注册。
了解详情
常见问题解答
- 与传统数据仓库主要以高度组织化的方式处理结构化数据不同，数据湖屋可以容纳来自各种来源的结构化、半结构化和非结构化数据，从而实现更灵活的数据引入和处理。
- 组织内的各方利益相关者（包括数据分析师、数据科学家、商业智能专业人员和决策者）可使用数据湖屋中的数据来获取见解、做出明智决策和提升业务价值。
- 数据中心是一个中央存储库，可汇集各种来源的数据，用于报告和商业智能目的。数据湖屋是一个更全面的平台，存储结构化、半结构化和非结构化数据，支持实时见解、机器学习和其他形式的高级分析。
- 数据湖屋中的原始数据通常以其原生格式（不做任何修改或转换）存储在 Apache Hadoop 等分布式文件系统中。这样，在处理大量不同数据时，就有了更大的灵活性和可伸缩性。