数据仓库是用于帮助组织做出决策的大量业务数据集合。数据仓库的概念自 1980 年代就已存在，当时开发它的目的是帮助将数据从仅支持运营转变为支持揭示商业智能的决策支持系统。数据仓库中的大量数据来自不同的地方，如营销、销售、财务等内部应用；面向客户的应用程序；和外部合作伙伴系统等。

在技​​术层面上，数据仓库会定期从这些应用程序和系统中提取数据；然后，数据经过格式化和导入过程以匹配仓库中已有的数据。数据仓库存储这些处理过的数据，以便决策者可以访问。数据拉取发生的频率或数据的格式等将根据组织的需求而有所不同。

数据仓库的一些好处

使用数据仓库来协助其分析和商业智能的组织看到了许多实质性的好处：

• 更好的数据 ——将数据源添加到数据仓库使组织能够确保他们从该源收集一致且相关的数据。他们不需要怀疑数据在进入系统时是否可以访问或不一致。这确保了更高的 数据质量和数据完整性，以做出合理的决策。
• 更快的决策 ——仓库中的数据格式一致，可以随时进行分析。它还提供分析能力和更完整的数据集，以根据确凿的事实做出决策。因此，决策者不再需要对预感、不完整的数据或质量差的数据做出回应，也不再需要冒着交付缓慢和不准确结果的风险。

数据仓库不是什么

1. 它不是数据库

很容易将数据仓库与数据库混淆 ，因为这两个概念有一些相似之处。但是，主要区别在企业需要对大型数据集合执行分析时生效。数据仓库用于处理此类任务，而数据库则不是。这是一张比较图，可以说明两者之间的区别：

2. 它不是数据湖

尽管它们都是为业务分析目的而构建的，但数据湖和数据仓库之间的主要区别在于，数据湖以原始格式存储来自所有数据源的所有类型的原始、结构化和非结构化数据，直到需要为止。相比之下，数据仓库以更有条理的方式将数据存储在文件或文件夹中，便于报告和数据分析。

3. 它不是数据集市

数据仓库有时也与数据集市混淆 。但是数据仓库通常更大，包含更多种类的数据，而数据集市的应用受到限制。

数据集市通常是仓库的子集，旨在为特定应用程序轻松地将特定数据交付给特定用户。简单来说，可以将数据集市视为单一主题，而数据仓库涵盖多个主题。

数字世界的规模每年都在翻倍，预计到 2020 年将达到 44 万亿 GB。高达 90% 的数据是非结构化或半结构化的，这带来了双重挑战：找到一种方法来存储所有这些数据并保持快速处理数据的能力。这就是数据湖的用武之地。

什么是数据湖？

数据湖是一个中央存储库，它以原始的粒度格式保存来自许多来源的大数据。它可以存储结构化、半结构化或非结构化数据，这意味着数据可以以更灵活的格式保存以备将来使用。存储数据时，数据湖会将其与标识符和元数据标签相关联，以加快检索速度。

Pentaho 的 CTO James Dixon 创造了术语“数据湖”，指的是数据湖中数据的临时性质，而不是存储在传统数据仓库系统中的干净和处理过的数据。

数据湖通常配置在一组廉价且可扩展的商品硬件上。这允许将数据转储到湖中，以防以后需要它而不必担心存储容量。集群可以存在于本地或云中。

数据湖很容易与数据仓库混淆，但它们具有一些明显的区别，可以为合适的组织带来巨大的好处——尤其是在大数据和大数据流程继续从本地迁移到云的情况下。

数据湖的好处

数据湖的工作原理称为schema-on-read。这意味着在存储之前没有需要将数据拟合到其中的预定义模式。只有在处理过程中读取数据时，才会根据需要将其解析并调整为模式。此功能可节省大量通常用于定义架构的时间。这也使数据能够以任何格式按原样存储。

数据科学家可以使用数据湖更快、更准确地访问、准备和分析数据。对于分析专家来说，这个庞大的数据池——以各种非传统格式提供——提供了访问数据的机会，用于各种用例，如情感分析或欺诈检测。

数据湖与数据仓库

数据湖和数据仓库的基本目的和目标相似，因此很容易混淆：

• 两者都是整合组织中各种数据存储的存储库。
• 两者的目标都是创建一个可以输入各种应用程序的一站式数据存储。

但是，两者之间存在根本区别，使它们适用于不同的场景。

• 读时模式与写时模式——数据仓库的模式在存储之前定义和结构化（在写入数据时应用模式）。相比之下，数据湖没有预定义的模式，这允许它以其原生格式存储数据。所以在数据仓库中，大部分数据准备通常发生在处理之前。在数据湖中，它发生在稍后实际使用数据时。
• 复杂与简单的用户可访问性——由于数据在存储之前没有以简化的形式组织，数据湖通常需要一位对各种数据及其关系有透彻了解的专家来阅读它。 相比之下，技术和非技术用户都可以轻松访问数据仓库，因为它具有明确定义和文档化的架构。即使是团队中的新成员，也可以很快开始使用仓库。
• 灵活性 vs 刚性——对于数据仓库，不仅最初定义模式需要时间，而且在未来需求发生变化时需要大量资源来修改它。但是，数据湖可以轻松适应变化。此外，随着对存储容量需求的增加，在数据湖集群上扩展服务器变得更加容易。

有关这种区别的更多信息，并帮助确定哪个最适合您的组织，请参阅“数据湖与数据仓库”。→

云数据湖还是本地？

数据湖传统上在本地实施，存储在 HDFS 上，处理 (YARN) 在Hadoop 集群上。Hadoop 具有可扩展性、低成本，并以其数据本地性（数据和计算驻留在一起）的固有优势提供了良好的性能。

但是，创建本地基础架构存在挑战：

• 空间——庞大的服务器占用空间，转化为更高的成本。
• 设置— 采购硬件和设置数据中心并不简单，可能需要数周或数月才能开始。
• 可扩展性——如果需要扩展存储容量，由于空间需求的增加和高级执行官的成本批准，这需要时间和精力。
• 估计需求——由于可扩展性在本地并不容易，因此在项目开始时正确估计硬件需求变得很重要。随着数据每天不系统地增长，这是一项艰巨的任务。
• 成本— 事实证明，本地成本估算高于云替代方案。

另一方面，云数据湖有助于克服这些挑战。云中的数据湖是：

• 更容易、更快速地开始。云不是一种大爆炸的方法，而是允许用户逐步开始。
• 使用即付即用模式，具有成本效益。
• 随着需求的增长更容易扩展，从而消除了估计需求和获得批准的压力。

节省的房地产也增加了成本效益。

了解 BeachBody 如何通过云数据湖提高其数据架构和劳动力的可扩展性：

云数据湖挑战

当然，使用云数据湖存在挑战。由于安全风险，一些组织不喜欢将机密和敏感信息存储在云中。尽管大多数基于云的数据湖供应商多年来都保证安全并增加了保护层，但数据窃取的不确定性仍然迫在眉睫。

另一个实际挑战是一些组织已经建立了数据仓库系统来存储其结构化数据。他们可能会选择将所有数据迁移到云中，或者探索一种混合解决方案，该解决方案使用通用计算引擎访问来自仓库的结构化数据和来自云的非结构化数据。

数据治理是另一个问题。数据湖不应成为难以涉足的数据沼泽。Talend 的平台可确保数据湖保持清洁和可访问。

ETL 和 ELT 有很多共同点。就其核心而言，每种集成方法都可以将数据从源移动到数据仓库。该差值这两个谎言之间在数据转换以及如何将数据的多少，被保留在工作数据仓库。在本文中，我们将更详细地考虑 ETL 和 ELT，以帮助您确定哪种数据集成方法适合您的业务。 

ETL - 提取、转换、加载

提取/转换/加载 (ETL)是一种集成方法，它从远程源提取信息，将其转换为定义的格式和样式，然后将其加载到数据库、数据源或数据仓库中。

ELT - 提取、加载、转换

提取/加载/转换 ( ELT ) 类似地从一个或多个远程源提取数据，然后将其加载到目标数据仓库中，而无需任何其他格式。ELT 过程中的数据转换发生在目标数据库中。ELT 对远程来源的要求较少，只需要原始和未准备好的数据。

ELT 的演变

ELT 已经存在了一段时间，但重新对Apache Hadoop等工具产生了兴趣 。 像转换 PB 级原始数据这样的大型任务被分成多个小作业，进行远程处理，然后返回加载到数据库中。

处理能力的改进，尤其是虚拟集群，减少了拆分作业的需要。过去分布在云端、处理和返回的大数据任务现在可以在一个地方处理。

每种方法都有其优点。在规划数据架构时，IT 决策者在选择 ETL 或 ELT 时必须考虑内部能力和云技术日益增长的影响。 

ELT 的工作原理（以及何时使用）

与 ETL 不同，提取/加载/转换是从无限数量的来源收集信息、将它们加载到处理位置并将它们转换为可操作的商业智能的过程。

• 提取——第一步，提取，在两种数据管理方法中的工作方式相似。来自虚拟基础架构、软件和应用程序的原始数据流被完全或根据预定义的规则摄取。
• 负载——这是 ELT 从它的 ETL 表兄弟分支出来的地方。ELT 不是交付大量原始数据并将其加载到临时处理服务器进行转换，而是将其全部交付到它最终将存在的站点。这缩短了提取和交付之间的周期，但意味着在数据变得有用之前还有很多工作要做。
• 转换— 数据库或数据仓库对数据进行排序和规范化，将部分或全部数据保留在手边，并可用于自定义报告。存储这么多数据的开销更高，但它带来了更多的机会，可以几乎实时地为相关商业智能定制挖掘数据。

ELT 什么时候是正确的选择？

取决于公司现有的网络架构、预算以及它已经利用云和大数据技术的程度，并非总是如此。但是，当以下三个重点领域中的任何一个或所有领域都至关重要时，答案可能是肯定的。

当摄取速度是第一要务时

因为 ELT 不必等待数据在异地工作然后加载，（数据加载和转换可以并行发生）摄取过程要快得多，提供原始信息的速度比 ETL 快得多。

当更多的英特尔更好的英特尔

将数据转化为商业智能的优势在于能够将隐藏的模式转化为可操作的信息。通过保留所有历史数据，组织可以沿着时间线、销售模式、季节性趋势或任何对组织变得重要的新兴指标进行挖掘。由于数据在加载之前没有进行转换，因此您可以访问所有原始数据。通常，云数据湖有一个原始数据存储，然后是一个精炼（或转换）的数据存储。例如，数据科学家更喜欢访问原始数据，而业务用户更喜欢商业智能的规范化数据。>

当你知道你需要扩展时

当您使用 Hadoop 等高端数据处理引擎或云数据仓库时，ELT 可以利用原生处理能力实现更高的可扩展性。

ETL 和 ELT 都是从原始数据生成商业智能的历史悠久的方法。但是，与几乎所有技术一样，云正在改变企业应对 ELT 挑战的方式。