如何应对大数据时代存储挑战?青云QingCloud带来答案

当下,随着企业数字化发展进入到深水区,数据已经成为企业核心生产要素,数据的存储、管理、迭代、应用都变得越发重要。  尤其是随着各行业&ldq

当下,随着企业数字化发展进入到深水区,数据已经成为企业核心生产要素,数据的存储、管理、迭代、应用都变得越发重要。

  尤其是随着各行业“云化”和数字化转型的不断深入,越来越多的企业基于云原生技术来构建、管理应用,充分利用云的优势来助力业务创新,而存储系统一直以来都是基础设施软件中的核心之一。

  场景和算力推动存储行业发生变革

  目前,海量应用的兴起,数据量呈现爆炸式增长,数据类型也更加多样复杂。据IDC预测,全球数据量预计2025年将达到175ZB,其中非结构化数据占比将高达80%。

  另据Gartner预测,到2025年有75%的企业所生成的数据会在数据中心或云之外进行创建或处理。此外,数据的类型也在发生变化,随着技术的各种深入应用,视频、音频、影像等各种非结构化数据的增长更为迅速。

  数字经济时代到来,也让我们日常生产和生活发生改变,青云科技(qingcloud.com,股票代码:688316)存储产品总监冯相东曾分享道:“在自动驾驶汽车行业,其出货量已经达到3000多万辆,一辆自动驾驶汽车满负荷做测试的情况下,每天可以产生的数据量可以达到数TB甚至数十TB。再比如,全球物联网终端的设备数量,现在已经达到100多亿,通常情况下,一家智慧工厂每天产生的数据量都可以达到PB级。除此之外,还有大量AR/VR的终端设备、5G 基站,这些设备都在不断采集和产生新的数据。”

  上述数据体现出场景和算力的变化:

  首先是场景的变化。过去二三十年,企业从最早期阶段的传统OA应用、数据库,到后来的互联网时代、移动互联网时代,再到近几年的5G、AI、IoT,甚至类似元宇宙的概念,其实场景是在不断发生变化的。新应用层出不穷,随之不断产生新的数据形态,导致针对这些数据分析的需求也是在不断变化的。

  在变化过程中,存储作为整个数据管理的核心,其重要性也越来越明显。这也说明场景的变化影响整个存储产业往前演进。

  还有另外一个维度,就是算力的变化。算力的演进对存储形态变化也起到非常重要的影响作用,最初计算能力的承载,大部分使用物理机,后来会使用到虚拟化、云计算,再后来,开始越来越多地转向容器平台、云原生。

  在场景和算力推动整个存储形态往前变革的基础上,还有这些年大家一直在讨论的热点话题,也是和存储紧密相关的,就是如何让数据更好地流动起来。

  在数据流动的完整链条里,我们可以看到从最初的采集、处理到后面的归档、再利用、销毁,都会涉及存储与大数据技术、存储与AI计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。

青云自研存储能力几何?

  目前,青云经过整个存储产品的演进,QingStor产品线主要有两款核心产品构成:一是QingStor NeonSAN,二是QingStor U10000。

  首先是QingStor NeonSAN,它主要面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。

  作为一款分布式块存储,其整个设计原则是为I/O极致性能而设计的。所以它有几个关键性能的指标,比如NeonSAN最短的I/O时延可以控制在50微秒左右;只需要3台NeonSAN的节点,就可以给到业务100万的IOPS。

  而QingStor U10000主要面向非结构化数据的场景,这里主要包括各种影像数据、音视频数据、数据湖、大数据、物联网等场景。

  该产品设计初衷就是帮助客户更好实现海量数据的价值挖掘,产品的核心特点包括,同时提供对象、文件、大数据接口,不同协议之间实现数据无损访问互通;单存储桶支持100多亿个对象,并且性能不会随之下降。

  两款产品有各自面向的专业场景,有各自专业的分工,这也意味着,青云没有用一种架构同时满足结构化和非结构化的数据场景。因为从专业技术的视角来看,一种存储架构不可能同时做到既能满足极致的性能设计要求,也能满足海量数据吞吐、计算、并发利用的需求。青云希望通过专业的存储分工能更好地服务专业的场景。

  其中,U10000是青云在多年存储技术积累基础上的一次产品全面升级。它继承了原来青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代。

  冯相东表示:“QingStor U10000相比于之前的QingStor对象存储和文件存储,除了产品力的全面继承,主要在以下几个方面有一些明显的提升:实现数据协议的互通,功能和性能的增强,整个算力平台对接的强化。”

  我们可以看到,U10000的基本架构主要包括接入服务层、存储服务层和统一运维管理平台三大模块。

  而除了核心架构以外,QingStor U10000平台还具备了三大核心特点:

  首先是U10000作为面向海量非结构化数据的存储平台,最基本的特点是首先具备了支撑海量数据存储的能力,同时保证提供卓越的性能。

  其次,U10000具备多协议无损互通,从而实现数据的访问和流通的高效,包括统一索引架构,提供多种存储能力、多协议存储接口供选择、协议互通,让数据分析更高效。

  最后是与算力的无缝对接,让数据点石成金。得益于青云多年的积累,U10000具备丰富的数据处理的功能特性,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合,最终让数据实现点石成金。

  针对于企业关注的数据安全方面,U10000也从元数据和存储数据的分层设计、多重访问安全机制、智能预警机制,以及功能服务的运维监控平台等几个维度来保障数据安全。

  我们发现,通过U10000的发布,青云让存储产品更落地场景,旨在帮企业解决业务问题,而不仅仅是增强IT能力。

 写在最后

  一直以来,青云对软件定义存储的思考不是孤立的,他们会把核心聚焦在如何满足算力对存储的需求这个维度上,让存储更好地赋能算力。

  总结下来,青云经过数年的积累,以核心技术为基石,打造了一条完整的、富有竞争力的分布式存储产品线,并已全面兼容业内主流国产化平台。另外,由于云厂商的自带基因,其存储产品在和云原生技术的结合上,有自己先天的优势。