加入收藏 | 设为首页 | 会员中心 | 我要投稿 武汉站长网 (https://www.027zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 云计算 > 正文

阿里云袁经凯:混合云场景下的高性能存储

发布时间:2018-08-14 03:43:25 所属栏目:云计算 来源:DOIT
导读:其核心的内容是:如何将本地传统的存储系统与公共云更好地融合在一起,使得用户无需关心数据的物理位置,只需要聚焦具体的业务实现。为此,不得不从技术手段克服很多问题,特别是本地和云端的数据自由流动,以及面向应用的存储性能一致性等。在具体实践中
副标题[/!--empirenews.page--]

其核心的内容是:如何将本地传统的存储系统与公共云更好地融合在一起,使得用户无需关心数据的物理位置,只需要聚焦具体的业务实现。为此,不得不从技术手段克服很多问题,特别是本地和云端的数据自由流动,以及面向应用的存储性能一致性等。在具体实践中,阿里云实现了分布式的高性能存储网关,但这个网关跟我们原来认识的网关又不一样,究竟有什么不一样呢?我们还是来看看,他是怎么说的吧。

以下是现场速记:

微信图片_20180807175120

大家好,我叫袁经凯,我来自阿里云,主要负责阿里云混合云存储架构方面的一些工作。这两天我们听到了许多关于高性能存储介质和Fabric优化的内容。今天我的主题是混合云场景下的的高性能存储,尝试从另外一个角度看待不断演进的高性能介质,也即是在具体场景下,特别是在和云结合的场景下,如何拥抱高性能存储带来的变化?以及相衍生的新的存储产品形态等,这是我们当前考虑的问题。

我们首先回顾一下过去存储介质的发展,从早期的Hard Drive,到后来的SSD,以及最新的Persistent Memory(持久内存)。Hard Drive大概在十毫秒左右的时延,到SSD是亚毫秒的时延,到Persistent Memory(持久内存)直接到了纳秒级的时延表现,可以看到整个存储介质是在快速的进化当中。而从另外一个角度讲,我们对存储介质的性能行为定义也在发生着变化。不光是单纯的IOPS或者Throughput,现在也更加关注性能的可靠性和稳定性方面。

而存储介质只是存储系统的一部分,存储系统的不同的部署形态对整个存储性能也有很大的影响或约束。早期单机的类似DAS直连的形态,性能受限于外部总线的发展;在数据中心的部署下,会看到SAN或者NAS的存储形态,性能行为也受到Fabric的影响,如Ethernet、FC,InfiniBand和NVMe over fabric等;而在云环境下,特别是在混合云环境下,数据在公共云和专有云中之间自由流动,如何从用户的角度实现统一的数据视图以及统一的存储性能表现,是一个比较大的挑战。

我们看一下云环境下工作负载的部署策略。从传统的观点来说,云端提供计算和存储的弹性,适合动态或较难预测的工作负载,同时提供更好的运维管理能力;而私有的数据中心更多是IO或计算密集的场景,或者是对时延要求比较高的形态,这也是传统架构的特点。

而如今,公共云在快速的演进当中,整个公共云的存储生态也在不断的扩展,覆盖更丰富的业务负载。例如,性能上阿里云发布了百万IOPS和亚毫秒时延的ESSD;而存储形态上,提供OSS对象存储,容量型及性能型NAS,弹性的块存储服务等;而从上层的数据层面来看,提供缓存、消息队列,以及RDS,NoSQL等多样的数据服务。

但显而易见的是,未来很长时间都会是公共云、专有云共存的形态。所以,如何实现公共云和专有云之间数据的自由流动,如何做到业务无感知,用户不需要关注数据的位置,实现数据的融合和自由迁移非常重要。

微信图片_20180807175124

理想状态下,公共云和专有云之间的连接应该是如图所示的状态,使得公共云的计算侧能访问线下的数据,线下计算能访问线上的存储,存储和存储之间能实现统一的管理,这是我们需要做到的。

微信图片_20180807175129

这是当前最常见的线下存储和线上存储之间的互联状态。将传统的存储阵列进行扩展,提供了与云相集成的能力,从而充分利用云端存储在弹性和低成本,以及安全和高可靠性上的优势,使得存储阵列承载高性能场景之外更多的业务形态,这是非常直观的需求。

微信图片_20180807175132

传统存储有分层和缓存的概念,以及容量层和性能层等这样的分层结构。很自然,我们可以把当前云端存储,例如阿里云OSS存储看作新的存储层次。通过引入云缓存、云分层、云备份等服务,可以按策略实现数据在本地的高性能存储以及云端的自由放置,从而实现存储在成本,安全和高可用上的优化,这是一个直接的云集成解决方案。

微信图片_20180807175136

另外,我们经常会遇到的“Cloud Burst”问题,需要云上弹性的计算能力解决云下动态的数据处理需求。这时候线上的计算和线下的存储如何互联,如何保持像线下计算访问线下存储那样的一致的性能行为,是要解决的一个问题。

微信图片_20180807175138

当前的一个解决方案是“Colocation”的部署方式。线下的IDC实现企业托管的高性能存储阵列和公共云高速连接PoP点的直接互联,从而保证云上计算服务对线下存储的低时延访问,使得计算能平滑迁移到云端。

当然,这种场景有一些限制,受限于公共云高速连接以及IDC机房的地域分布限制,同时也无法支持跨域访问。而且还需要了解用户的用户场景对SLA的要求,然后根据链路时延进行评估和可行性分析。

微信图片_20180807175144

这是一个基于“Colocation“的典型的云分析业务场景。用户在边缘侧(Edge Storage)进行数据收集;边缘侧与Colocation服务下的高性能存储通过数据复制服务进行数据交互;而高性能存储和ECS计算实例之间,基于高速的数据访问,反复迭代计算生成训练模型,然后将模型同步到边缘侧,在边缘进行推断。

(编辑:武汉站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读