ETL死了吗?? 做了 英语教学 接管或新事物取代它的位置? 近年来,随着组织对其分析基础设施进行现代化改造,这个问题出现了很多. 分析领域正在发生巨大的变化,但并不总是清楚这种变化会给ETL带来什么影响. 简短的回答? 不,ETL没有死. 但今天的ETL管道看起来与几十年前不同. 组织可能不需要完全抛弃ETL, 但他们确实需要仔细评估其当前的角色,并了解如何更好地利用它来适应现代分析环境.
在这篇文章中,七乐彩宝宝软件下载将深入研究传统ETL的挑战,以及它与传统ETL的比较 英语教学,以及组织如何进行补充 ETL工具 并采用数据准备技术进行处理. 继续阅读以了解更多信息,或下载七乐彩宝宝软件下载关于ETL“死亡”的电子书。EOL代表ETL? 云计算中数据争论的未来.”
传统ETL在现代组织中的问题
首先,ETL究竟是什么意思? ETL是指三个步骤(提取), 变换, 用于将来自多个源的数据集成到一个集中的存储库中. 大约25年前, 创建ETL工具是为了自动化检索和清理数据所需的大量繁琐的编码工作. 当时, ETL被设计用来处理通常结构良好的数据, 通常源于组织想要报告的各种操作系统或数据库. 为一组特定的用户构建了特定的ETL管道. 最终的结果是成功的——与手工编写代码相比,使用ETL获得的生产率提高是不可否认的.
今天,围绕ETL的许多体系结构和数据都发生了变化. 数据仓库不再是常见的最终目标,而更常见的是数据湖. 数据本身变得越来越大,越来越混乱. 即使是历史上定义得很清楚的用例,本质上也是实验性的. 也许最大的区别在于,它不是为少数商业团体提供数据, ETL管道被期望服务于组织中各种各样的用户. 每个用户都需要以不同方式清理和转换的不同数据. 但有一个共同点——他们都希望数据速度快, 他们正在处理的用例数量呈指数级增长.
传统的ETL管道一直在努力扩展对这些新兴分析用例所需的自助服务敏捷性的支持. ETL工具是为IT用户构建的, 不是业务用户, 这通常会让业务用户排队等待数据清理, 来回传递规格,直到收到所需的输出. 与此同时, IT团队, 一旦被认为是所有数据操作的目标最终用户, 正在努力摆脱ETL中业务用户渴望承担的一些清理和标准化任务. 具有讽刺意味的是, 许多组织现在认为ETL管道是他们分析工作的瓶颈——就像他们25年前看待代码的方式一样.
ETL和 英语教学:将ETL与英语教学解耦
传统ETL可能被认为是一个瓶颈,但这并不意味着它是无价的. 设计ETL工具和过程来解决的基本挑战仍然存在, 即使周围的许多因素已经发生了变化. 例如, 在基本层面上, 组织仍然需要从遗留系统中提取(E)数据,并将其加载到数据湖中. 他们仍然需要转换(T)这些数据以用于分析项目. “ETL”工作需要完成——但是可以改变的是完成工作的顺序和支持这项工作的新技术.
而不是ETL管道,许多组织正在采取“英语教学”的方法. 什么是ETL? ETL 是一种传统的数据集成类型,它代表提取、转换、加载. 数据是从其来源提取的, 转换成可用的格式, 并加载到系统中进行分析. 分析师通常使用此过程来构建数据仓库. ETL 从20世纪70年代开始流行,一直流行到90年代, 但是随着现代数据的创新, 包括云, 它的流行已经减少了. 在这些创新中,一些公司也采用了类似的流程 英语教学. 英语教学 代表提取,加载,转换. 七乐彩宝宝软件下载将研究为什么使用它通常更好 英语教学 在转换前加载.
这 英语教学 方法遵循了更大的IT趋势. 而IT架构在历史上是建立在单一的筒仓中, 许多组织正在解耦相同的组件,以便它们与组件独立地工作 英语教学 过程. 解耦技术意味着更少的前期工作(栈不需要在部署时了解所有可能的用途和结果)和更高效的维护. 数据移动和数据准备之间的清晰分离(通常通过 英语教学 过程)也有它自己的特殊好处:
- 减少摩擦. 加载数据的人员或流程不负责在加载时将其转换为规范. 将转换推迟到数据加载之后,可以激励采购和共享数据. 它还保留了数据的原始保真度.
- 更多的控制. 将数据加载到共享存储库中使IT能够在单个API和授权框架下管理组织的所有数据. 至少在文件粒度上,只有一个控制点.
- 更具灵活性和透明度. 当原始数据为特定用例“浓缩”时,信息可能会丢失. 相比之下, 未转换的数据可以用于不同的目的而重用,并为审计和遵从性留下记录.
用数据准备补充数据转换
解耦ETL过程 英语教学 是很重要的一步. 但许多组织甚至走得更远. 他们不仅将他们的ETL管道转换为 英语教学,而是用数据准备平台代替“T”(变换). 为什么? 因为解耦ETL有很多好处, 但就其本身而言, 它仍然没有解决传统ETL成为瓶颈的核心原因——业务用户对数据访问的高需求. 英语教学 也解决不了这个问题.
数据准备七乐彩宝宝软件使一组新的用户能够访问数据, 探索它,评估它的内容和质量, 并准备好使用,同时甚至处理传统ETL的一些转换功能. 数据准备 是为用户设计的,不像ETL. 为业务用户搭建数据准备平台, 不是它, 并结合可视化技术和机器学习,以使数据转换过程尽可能直观. 现代数据准备平台的例子包括改变yx 设计师云和 谷歌云数据, 它允许任何数据专业人员转换他们需要的数据,同时将准备数据的总时间缩短多达90%. 云中的数据准备和ETL 能否在现代环境中结合这两种过程的优点.
ETL的新开始
构建ETL要解决的核心问题至今仍然存在, 因此,它仍然是许多分析体系结构中的重要组成部分. 但是组织需要淘汰那些不能(也从来没有被设计成)满足业务用户需求的遗留ETL方法. 用数据准备平台补充ETL步骤是确保业务用户拥有所需数据的最佳方式, 当他们需要的时候, 同时还与IT部门合作.
了解更多有关ETL和数据准备应如何携手工作以及组织正在制定的新操作顺序的信息, 下载七乐彩宝宝软件下载关于ETL“死亡”的电子书, “EOL代表ETL? 云计算中数据争论的未来.”