什么是边缘Data Fabric?为什么重要?

云计算
为了有效应对全平台数据管理问题,越来越多的企业开始关注Data Fabric(数据管理架构),尤其是随着数据量在边缘计算场景的不断增加,以Data Fabri为核心的数据管理架构已成为事实标准。

技术的进步带来商业模式的改变,越来越多的企业正利用数据技术,获得核心竞争力。比如:通过对数据的有效分析,建立更丰富的业务场景;通过更全面的数据挖掘,获得更及时、准确的市场洞察力等。预计,企业通过数据“借力使力”的趋势,将会一直持续下去。


数据分析机构IDC预测:到2025年,全球数据圈的规模将增加两倍。可能很多人会觉得,这不是啥新鲜事,因为自从大数据概念被提出以来,每年都有大量被创建、采集或者是复制的数据集合。只不过,现在有一个新的变化,就是更强调数据的来源和流动性。

换言之,在移动互联网、物联网和边缘计算的影响下,实时数据大幅增长,导致企业大量创建和复制数据的需求增加。另外,数据处理和分析的行为往往是在设备、网关和云中的各个点进行。所以,当前的大数据已被分布式流动式数据概念取代。当然,大的趋势不会变,最终会有越来越多的数据转化成有效商机,特别是人机互动产生的数据,能带来新的商业模式的变革 。

为了拥有更多可利用的数据,企业需要有一种更有效的方法,来管理跨平台数据问题。尤其是从边缘到云端的数据,要有能够处理、存储和优化不同来源数据的能力,并且要按照不同的类型、维度、有效性对数据进行分类。企业要把云、边缘数据和企业内部数据打通,包括借助人工智能和机器学习模型不断优化,最终形成一个完整的业务逻辑和流程。此种背景下,全面数据管理成为一大挑战!

为了有效应对全平台数据管理问题,越来越多的企业开始关注Data Fabric(数据管理架构),尤其是随着数据量在边缘计算场景的不断增加,以Data Fabri为核心的数据管理架构已成为事实标准。

什么是Data Fabri?

根据定义来看,Data Fabri可以把分布在不同区域的数据通过一个自适应、灵活和安全的架构,进行集中管理。这种架构的优势是,不仅让用户更轻松、透明地访问数据,还能拥有实时、一致性的数据访问体验。同时,这种集成的数据架构本身,使得运营商能够跨不同平台管理数据,包括迁移和访问不同流程、不同地理位置、不同结构以及不同形式的数据。

本质上讲,Data Fabri既是数据进出不同平台的“管道”和“转换器”,也是企业数据运营战略的新方法。用户可以充分发挥云、本地和边缘端的优势,集中管理任意位置的数据,包括:本地数据中心、公有云、私有云以及在边缘运行的多种类型的网关和设备上的数据。

如何将Data Fabric应用于边缘计算?

边缘计算虽然是云计算的延伸版,将计算从云端迁移到临近用户的一端处理,从一定程度上避免了数据在网络中的长距离传播,但在网络边缘生成和实时数据处理仍是一大挑战,尤其随着边缘设备的多样化,本身就存在着一定的复杂性。

比如:在工业设备联网过程中,我们往往采用智能设备,包括使用PLC联网模块,远程控制工厂中的工作流程;同时,通过传感器、RFID标签确定货物和集装箱的位置。过去,这些行为和流程都在本地的数据中心完成;但是现在,需要迁移到云中进行处理。并且,有些处理可能会发生在网关的一侧。

由于数据中心是物理机部署,在架构的灵活性调整方面,体验会差一些;但云可以,因为云是虚拟化应用,可灵活调配资源。如果我们仔细分析下云的定义,就会明白为什么Data Fabric成为用户的必需品。云,虽然带来了资源的弹性扩缩容能力,但与数据中心一样,也是用户处理与应用程序相关的数据。确实,我们不必关心Salesforce云、Oracle云或者其他任何云所在的实际位置,但我们的数据必须在各种云之间有效传输,能满足不同的业务操作,让数据永久性保存。由于不同云平台的管理本身就存在复杂性,企业必须确定哪些数据在哪个区域完成,并且每个应用程序都要对应一个操作,每个操作都有相应的数据处理和内存管理权限。而Data Fabric的重点是应对各种复杂性问题,比如把Spark作为云中数据架构的关键要素,支持不同云平台之间的数据流转。

边缘计算正在成为云计算的“新阵地”,所以需要和云技术一样的标准,同时在边缘端设计特定的网络架构时,还要考虑到与5G 、WLAN 6等技术结合。其实。边缘端和云一样,每个设备上都运行着更丰富、更智能的应用程序以及网关,最终让数据中心无处不在,我们可以在工厂车间、衣帽间、飞机上、货轮上等任意位置运行和管理核心数据。而实现这一切的前提是,要在云、本地以及边缘端构建Data Fabric新型数据管理架构。

构建Edge Data Fabric 的关键点有哪些?

为了处理边缘设备提出的数据需求,在构建Edge Data Fabric时,必须遵守几个核心准则:

(1) 要能够访问不同的网络端口,包括:http、mttp、无线电网络、制造网络等;

(2) 要能在多种操作环境中运行,最重要的是符合 POSIX标准;

(3) 引入API和关键协议方案,包括使用 REST API 最新协议;

(4) 提供 JDBC/ODBC 数据库连接能力;

(5) 具备处理流数据的能力,能够支持Spark、Kafka等。

Edge Data Fabric正处于拐点

虽然,边缘计算的起源可以追溯到1990年代内容交付网络时代,但真正迎来市场的拐点是现在!

为了让企业获得真正的智慧化能力,我们必须摆脱传统的“客户端-服务器”的局限,在边缘端处理业务。可以说,单一位置数据集中的时代已经一去不复返了,未来大多数数据将停留在边缘。而随着边缘端智能化进程的加快,我们的业务也会变得更自动化,企业将通过自动化的策略和手段来处理各种问题,或者把机器学习 (ML)和其他自动化流程与业务进行关联。

可能有人会问,企业为什么不把所有的业务迁移至云端?很简单,这样做需要大量的带宽!每次数据流量的激增都会带来贷款的增加。另外,不把数据迁移到云的一个重要原因是,会出现延迟,即便是在5G网络下,也解决不了网络延迟问题。还有,数据隐私和安全问题,也会催生Edge Data Fabric的加速落地。

附:原文链接:https://www.eweek.com/cloud/edge-data-fabric/

 

责任编辑:赵宁宁 来源: IT168网站
相关推荐

2020-09-15 15:53:31

边缘计算云计算5G

2021-06-02 10:52:01

HTTP3Linux

2019-11-18 10:36:26

边缘计算5G数据

2014-07-24 09:50:55

Unix开源系统

2023-07-11 10:33:48

净零度碳排放

2022-08-24 15:03:21

数据智能数据分析

2022-05-11 15:08:16

加密货币私钥安全

2023-03-22 15:11:00

数据中心5G边缘计算

2021-11-29 11:40:46

FPGA芯片数据中心

2022-11-15 14:52:09

虚拟孪生数字孪生

2020-12-07 09:03:47

边缘计算开发物联网

2017-09-20 07:57:38

AWG电缆导线

2010-10-26 13:44:15

2022-08-22 13:17:19

智能建筑楼宇自控物联网

2022-12-29 10:16:12

观察性系统监视

2023-10-08 14:36:59

2020-03-22 08:56:01

数字孪生物联网IOT

2023-07-20 10:59:04

2021-09-26 11:42:46

Zigbee智能家居网络技术

2018-05-16 08:00:47

点赞
收藏

51CTO技术栈公众号