中台数据标签_只需六步,看透数据中台架构

原题:只需走六步,就能看透数据中心的结构

本文通过介绍数据中心框架,了解数据中心的总体框架、所包含的模块和模块之间的关系以及运行机制。

中台数据标签

作者| Brian Merchant

译者|谭光明,责任篇|屠敏

数据中心的目标是继续使用数据,通过数据中心提供的工具、方法和运行机制改变数据的服务能力,使数据在业务中更加便利。 下图显示了数据中心的整体体系结构图,它是底层存储计算平台和高级数据应用程序之间的一系列系统。 数据中心可以隔离基础存储平台计算技术的复杂性,减少技术人员的需求,降低数据使用成本。 通过数据中心的数据聚合、数据开发模块建立企业数据资产。 通过资产管理和管理、数据服务将数据资产转变为数据服务能力,为企业业务服务。 数据安全系统、数据运营系统保障数据中心的长期健康、持续运行。

中台数据标签

整个数据中心的体系结构图

收集数据

数据聚合是数据中心数据访问的入口。 数据中心本身几乎不生成数据,所有数据都来自商业系统、日志、文件、网络等,这些数据分布在不同的网络环境和存储平台中,难以利用,难以创造商业价值。 数据聚合是数据中心必须提供的核心工具,能够简单地将各种异构网络、异构数据源的数据集中存储到数据中心,并准备后续的加工建模。 数据采集方式一般是从数据库同步、嵌入点、网络爬虫、消息队列等收敛的时效性出发,分为离线批量收敛和实时收集。

数据开发

通过数据收集模块收集到中心的数据不会经过任何处理,基本上是以数据的原始状态堆积起来的,因此业务还很难使用。 数据开发是一系列数据加工和加工过程管理的工具,有经验的数据开发、算法建模人员可以利用数据加工模块提供的功能,快速将数据加工成业务有价值的形式,提供业务。 数据开发模块主要面向开发、分析人员,提供脱机、实时、算法开发和任务管理、代码发布、运输、监视、警告等列集成工具,易于使用,提高效率。

资料资产系统

有数据汇集、数据开发模块,中心已经拥有传统的数库平台基本能力,可以汇集数据和开发各种数据,构建企业的数据资产系统。 到目前为止,数据资产系统是中台血肉,开发、管理、使用都是数据。 在大数据时代,数据量大、增长快、对业务数据的依赖程度越来越高,必须考虑数据的完整性和重用性。 垂直烟囱式数据和数据服务建设方式不长。 不同企业的业务不同,数据建设的内容也不同,但建设方法相似。 数据必须统一建设。 笔者建议按照粘贴数据的原始数据、统一数据库、标签数据、应用数据的标准进行统一建设。

资料资产管理

用数据资产系统构筑的数据资产是偏置技术的数据系统,业务负责人难以理解。 资产管理是企业全员更好理解的方法,向企业全员展示企业的数据资产(当然要考虑权限和安全管理)。 数据资产管理包括管理和展示数据资产目录、元数据、数据质量、数据血缘、数据生命周期等,以更直观的方式表现企业的数据资产,提高企业的数据意识。

数据服务系统

利用数据集约、数据开发建设企业数据资产,利用数据管理表现企业数据资产,但没有发挥数据的价值。 数据服务系统是将数据转化为服务能力,通过数据服务使数据参与业务,激活整个数据中心的系统,数据服务系统是数据中心的存在价值。 企业数据服务千变万化,中台产品可以拥有一些标准服务,但难以满足企业服务要求,大部分服务需要以中台能力迅速定制。 数据中心的服务模块并非具有很多服务,而是提供快速的服务生成能力和服务管理、认证、计量等功能。

运营系统和安全系统

通过以前的数据聚合、数据开发、数据资产、资产管理和数据服务,完成了整个数据中心的构建和建设,在企业中也发挥了一定的价值。 运行系统和安全系统是数据中心健康可持续运行的基础,否则数据中心就像一般项目一样,一期构建平台,建设一部分数据,试一两个应用场景后停下来,不能正常运行,不能持续运行 这完全达不到建设数据中心的目标。

什么是数据中心? 什么样的公司需要建设数据中心? 数据中心体系结构和设计是什么?建立数据中心的系统方法是什么?完整的数据中心包括哪些组件? 如何实现从0到1的数据中心? 数据中心应该如何运营? 数据中心的安全性是如何保证的?

……………

所有这些问题都可以在本书中找到答案!

☞2019中国区块链开发者大会圆满闭幕! 十大烧心的核心技术演讲都收到了!

大家都在看

相关专题