RDMA 能给数据中心带来什么

数据中心现状

随着“新基建”将 5G、人工智能、工业互联网列为新型基础领域大数据数据存储，机器学习、智能语音交互、自动驾驶等一大批基于高性能计算的应用层出不穷，这些应用带来了数据的爆炸式增长，给数据中心的处理能力带来了很大的挑战。

计算、存储和网络是推动数据中心发展的三驾马车。计算随着 CPU、GPU 和 FPGA 的发展，算力得到了极大的提升。存储随着闪存盘（SSD）的引入，数据存取时延已大幅降低。但是网络的发展明显滞后，传输时延高，逐渐成为了数据中心高性能的瓶颈。

在数据中心内，70% 的流量为东西向流量（服务器之间的流量），这些流量一般为数据中心进行高性能分布式并行计算时的过程数据流，通过 TCP / IP 网络传输。如果服务器之间的 TCP / IP 传输速率提升了，数据中心的性能自然也会跟着提升。

下面我们就来看看服务器之间数据 TCP / IP 传输的过程，了解下“时间都去哪了”，才好“对症下药”。

服务器间的 TCP / IP 传输

在数据中心，服务器 A 向服务器 B 发送数据的过程如下：

1、CPU 控制数据由 A 的 App Buffer 拷贝到操作系统 Buffer。

2、CPU 控制数据在操作系统（OS）Buffer 中添加 TCP、IP 报文头。

3、添加 TCP、IP 报文头后的数据传送到网卡（NIC），添加以太网报文头。

4、报文由网卡发送，通过以太网络传输到服务器 B 网卡。

5、服务器 B 网卡卸载报文的以太网报文头后，将其传输到操作系统 Buffer。

6、CPU 控制操作系统 Buffer 中的报文卸载 TCP、IP 报文头。

7、CPU 控制卸载后的数据传输到 App Buffer 中。

从数据传输的过程可以看出，数据在服务器的 Buffer 内多次拷贝，在操作系统中需要添加 / 卸载 TCP、IP 报文头，这些操作既增加了数据传输时延，又消耗了大量的 CPU 资源，无法很好得满足高性能计算的需求。

那么，如何构造高吞吐量、超低时延和低 CPU 开销的高性能数据中心网络呢？RDMA 技术可以做到。

什么是 RDMA

RDMA（ Remote Direct Memory Access，远程直接地址访问技术 ）是一种新的内存访问技术，可以让服务器直接高速读写其他服务器的内存数据，而不需要经过操作系统 / CPU 耗时的处理。

RDMA 不算是一项新技术，已经广泛应用于高性能（HPC）科学计算中。随着数据中心高带宽、低时延的发展需求，RDMA 也开始逐渐应用于某些要求数据中心具备高性能的场景中。举个例子，2021 年某大型网上商城的双十一交易额再创新高，达到 5000 多亿，比 2020 年又增长了近 10%。如此巨大的交易额背后是海量的数据处理，该网上商城采用了 RDMA 技术来支撑高性能网络，保障了双十一的顺畅购物。

下面我们一起来看看 RDMA 让网络实现低时延的绝招吧。

RDMA 将服务器应用数据直接由内存传输到智能网卡（固化 RDMA 协议），由智能网卡硬件完成 RDMA 传输报文封装，解放了操作系统和 CPU。

这使得 RDMA 具有两大优势：

三大 RDMA 网络

目前，大致有三类 RDMA 网络，分别是 InfiniBand、RoCE（RDMA over Converged Ethernet，RDMA 过融合以太网）和 iWARP（RDMA over TCP，互联网广域 RDMA 协议）。RDMA 最早专属于 Infiniband 网络架构，从硬件级别保证可靠传输，而 RoCE 和 iWARP 都是基于以太网的 RDMA 技术。

InfiniBandRoCEiWARP

Infiniband 技术先进，但是价格高昂，应用局限在 HPC 高性能计算领域，随着 RoCE 和 iWARPC 的出现，降低了 RDMA 的使用成本，推动了 RDMA 技术普及。

在高性能存储、计算数据中心中采用这三类 RDMA 网络，都可以大幅度降低数据传输时延，并为应用程序提供更高的 CPU 资源可用性。其中 InfiniBand 网络为数据中心带来极致的性能，传输时延低至百纳秒，比以太网设备延时要低一个量级。RoCE 和 iWARP 网络为数据中心带来超高性价比，基于以太网承载 RDMA，充分利用了 RDMA 的高性能和低 CPU 使用率等优势，同时网络建设成本也不高。基于 UDP 协议的 RoCE 比基于 TCP 协议的 iWARP 性能更好，结合无损以太网的流控技术，解决了丢包敏感的问题，RoCE 网络已广泛应用于各行业高性能数据中心中。

结语

随着 5G、人工智能、工业互联网等新型领域的发展，RDMA 技术的应用会越来越普及，RDMA 将成为助力数据中心高性能的一大功臣。

（编辑：武汉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!