DNB挪威最大的金融服务集团被誉为整个地区最值得信赖的金融机构。在原文中,DNB数据工程实践中心团队–客户洞察部运营负责人Saleem Pothiwala,软件工程师Jones Mabea Agwata数据工程师Bikram Rout分享数据转换的最佳实践。
1、背景
在DNB,一般都会致力于实施数据工程最佳实践,以可靠的方式提供干净,可用和准时的数据。我们将其视为客户洞察力和数据分析计划成功的主要标准。我们使用数据来生成报告,见解,大屏,其他下游系统的提要,并提供数据以获取机器学习分析。
数据工程据工程领域BI以及数据仓库的保护伞。 DNB客户关系的运作Saleem Pothiwala
2、方案
在DNB,我们使用 StreamSets 作为数据处理器工具。数据处理器将根据工作负载增加和收缩,并使用数据收集器和转换器为我们提供最好的EtL和ELT功能。当然在集群中也是必不可少的。Control Hub编排一切。
在设计和构建数据管道时,数据工程师有责任考虑广泛的依赖和要求。
这是我们的高级架构图: