2023年，，，，，，是AI人为智能技术全面爆红的一年。。。。。。。

以ChatGPT、GPT-4、文心一言为代表的AIGC大模型，，，，，，集文本撰写、代码开发、诗词创作等职能于一体，，，，，，展示出了超强的内容出产能力，，，，，，带给人们极大震撼。。。。。。。

AIGC，，，，，，AI-Generated Content（人为智能出产内容）

作为一个通讯老司机，，，，，，除了AIGC大模型自身之表，，，，，，幼枣君越发关注的，，，，，，是模型背后的通讯技术。。。。。。。到底是一张怎么的壮大网络，，，，，，在支持着AIGC的运行？？？？？？？？此表，，，，，，AI海潮的全面来袭，，，，，，将对传统网络带来怎么的刷新？？？？？？？？

AIGC，，，，，，到底必要多大的算力？？？？？？？？

多所周知，，，，，，数据、算法和算力，，，，，，是人为智能发展的三大根基身分。。。。。。。

前面提到的几个AIGC大模型，，，，，，之所以那么严害，，，，，，不仅是由于它们背后有海量的数据投喂，，，，，，也由于算法在不休进化升级。。。。。。。更沉要的是，，，，，，人类的算力规模，，，，，，已经发展到了肯定水平。。。。。。。壮大的算力基础设施，，，，，，齐全可能支持AIGC的推算需要。。。。。。。

AIGC发展到此刻，，，，，，训练模型参数从千亿级飙升到了万亿级。。。。。。。为了实现这么大规模的训练，，，，，，底层支持的GPU数量，，，，，，也达到了万卡级别规模。。。。。。。

以ChatGPT为例，，，，，，他们使用了微软的超算基础设施进行训练，，，，，，听说动用了10000块V100 GPU，，，，，，组成了一个高带宽集群。。。。。。。一次训练，，，，，，必要亏损算力约3640 PF-days（即每秒1千万亿次推算，，，，，，运行3640天）。。。。。。。

一块V100的FP32算力，，，，，，是0.014 PFLOPS（算力单元，，，，，，蹬宗每秒1千万亿次的浮点运算）。。。。。。。一万块V100，，，，，，那就是140 PFLOPS。。。。。。。

也就是说，，，，，，若是GPU的利用率是100%，，，，，，那么，，，，，，实现一次训练，，，，，，就要3640÷140=26（天）。。。。。。。

GPU的利用率是不成能达到100%，，，，，，若是按33%算（OpenAI提供的如果利用率），，，，，，那就是26再翻三倍，，，，，，蹬宗78天。。。。。。。

能够看出，，，，，，GPU的算力、GPU的利用率，，，，，，对大模型的训练有很大影响。。。。。。。

那么问题来了，，，，，，影响GPU利用率的最大成分，，，，，，是什么呢？？？？？？？？

答案是：网络。。。。。。。

一万甚至几万块的GPU，，，，，，作为推算集群，，，，，，与存储集群进行数据交互，，，，，，必要极大的带宽。。。。。。。此表，，，，，，GPU集群进行训练推算时，，，，，，都不是独立的，，，，，，而是混归并行。。。。。。。GPU之间，，，，，，有大量的数据互换，，，，，，也必要极大的带宽。。。。。。。

若是网络不给力，，，，，，数据传输慢，，，，，，GPU就要期待数据，，，，，，导致利用率降落。。。。。。。利用率降落，，，，，，训练功夫就会增长，，，，，，成本也会增长，，，，，，用户履历会变差。。。。。。。

业界已经做过一个模型，，，，，，推算出网络带宽吞吐能力、通讯时延与GPU利用率之间的关系，，，，，，如下图所示：

各人能够看到，，，，，，网络吞吐能力越强，，，，，，GPU利用率越高；；；；；；；；通讯动态时延越大，，，，，，GPU利用率越低。。。。。。。

一句话，，，，，，没有好网络，，，，，，别玩大模型。。。。。。。

怎么的网络，，，，，，能力支持AIGC的运行？？？？？？？？

为了应对AI集群推算对网络的调整，，，，，，业界也是想了不少法子的。。。。。。。

传统的应对战术，，，，，，重要是三种：Infiniband、RDMA、框式互换机。。。。。。。我们别离来单一相识一下。。。。。。。

Infiniband组网

Infiniband（直译为“无限带宽”技术，，，，，，缩写为IB）组网，，，，，，搞数据通讯的童鞋应该不会陌生。。。。。。。

这是目前组建高机能网络的最佳蹊径，，，，，，带宽极高，，，，，，能够实现无拥塞和低时延。。。。。。。ChatGPT、GPT-4所使用的，，，，，，听说就是Infiniband组网。。。。。。。

若是说Infiniband组网有什么弊端的话，，，，，，那就是一个字——贵。。。。。。。相比传统以太网的组网，，，，，，Infiniband组网的成本会贵好几倍。。。。。。。这项技术比力封关，，，，，，业内目前成熟的供给商只有1家，，，，，，用户没什么选择权。。。。。。。

RDMA网络

RDMA的全称是Remote Direct Memory Access（远程直接数据存。。。。。。。。。。。。。。它是一种新型的通讯机造。。。。。。。在RDMA规划里，，，，，，利用法式的数据，，，，，，不再经过CPU和复杂的操作系统，，，，，，而是直接和网卡通讯，，，，，，不仅大幅提升了吞吐能力，，，，，，也降低了时延。。。。。。。

RDMA最早提出时，，，，，，是承载在InfiniBand网络中的。。。。。。。此刻，，，，，，RDMA逐步移植到了以太网上。。。。。。。

目前，，，，，，高机能网络的主流组网规划，，，，，，是基于RoCE v2（RDMA over Converged Ethernet，，，，，，基于融合以太网的RDMA）和谈来组建支持RDMA的网络。。。。。。。

这种规划有两个沉要的搭配技术，，，，，，别离是PFC（Priority Flow Control，，，，，，基于优先级的流量节造）和ECN（Explicit Congestion Notification，，，，，，显式拥塞通知）。。。。。。。它们是为了预防链路中的拥塞而产生的技术，，，，，，但是，，，，，，频仍被触发，，，，，，反而会导致发送端暂停发送，，，，，，或降速发送，，，，，，进而拉低通讯带宽。。。。。。。（下文还会提到它们）

框式互换机

国表有部门互联网公司，，，，，，寄但愿于利用选取框式互换机（DNX芯片+VOQ技术），，，，，，来满足构建高机能网络的需要。。。。。。。

DNX：broadcom（博通）的一个芯片系列

VOQ：Virtual Output Queue，，，，，，虚构输出队列

这种规划看似可行，，，，，，但也面对以下几个挑战。。。。。。。

首先，，，，，，框式互换机的扩大能力通常。。。。。。。唬；；；；；；虼笥紫薅攘俗畲蠖丝谑，，，，，，如想做更大规模的集群，，，，，，必要横向扩大多个机框。。。。。。。

其次，，，，，，框式互换机的设备功耗大。。。。。。。唬；；；；；；蚰谙呖ㄐ酒abric芯片、电扇等数量多多，，，，，，单设备的功耗超过2万瓦，，，，，，有的甚至3万多瓦，，，，，，对机柜供电能力要求太高。。。。。。。

第三，，，，，，框式互换机的单设备端口数量多，，，，，，故障域大。。。。。。。

基于以上原因，，，，，，框式互换机设备只适合幼规模部署AI推算集群。。。。。。。

到底什么是DDC

前面说的都是传统规划。。。。。。。既然这些传统规划不能，，，，，，那当然就要想新法子。。。。。。。

因而，，，，，，一种名叫DDC的全新解决规划，，，，，，闪亮登场了。。。。。。。

DDC，，，，，，全名叫做Distributed Disaggregated Chassis（散布式分散式机箱）。。。。。。。

它是前面框式互换机的“分拆版”。。。。。。？？？？？？？？蚴交セ换睦┐竽芰Σ患，，，，，，那么，，，，，，我们索性把它给拆开，，，，，，将一个设备造成多个设备，，，，，，不就OK了？？？？？？？？

框式设备，，，，，，通常分为互换网板（背板）和业务线卡（板卡）两部门，，，，，，相互之间用衔接器衔接。。。。。。。

DDC规划，，，，，，将互换网板造成了NCF设备，，，，，，将业务线卡造成了NCP设备。。。。。。。衔接器，，，，，，则造成了光纤。。。。。。？？？？？？？？蚴缴璞傅闹卫碇澳，，，，，，在DDC架构中，，，，，，也造成了NCC。。。。。。。

NCF：Network Cloud Fabric（网络云治理节造平面）

NCP：Network Cloud Packet Processing（网络云数据包处置）

NCC：Network Cloud Controller（网络云节造器）

DDC从集中式造成散布式之后，，，，，，扩大能力大大加强了。。。。。。。它能够凭据AI集群的大幼，，，，，，矫捷设计组网规模。。。。。。。

我们来举两个例子（单POD组网和多POD组网）。。。。。。。

单POD组网中，，，，，，选取96台NCP作为接入，，，，，，其中NCP下行共18个400G接口，，，，，，掌管衔接AI推算集群的网卡。。。。。。。上行共40个200G接口，，，，，，最大能够衔接40台NCF，，，，，，NCF提供96个200G接口，，，，，，该规模高低行带宽为超速比1.1:1。。。。。。。整个POD可支持1728个400G网络接口，，，，，，依照一台服务器配8块GPU来推算，，，，，，可支持216台AI推算服务器。。。。。。。

单POD组网

多级POD组网，，，，，，规？？？？？？？Ｄ芄槐涞酶。。。。。。。

在多级POD组网中，，，，，，NCF设备要就义一半的SerDes，，，，，，用于衔接第二级的NCF。。。。。。。所以，，，，，，此时单POD选取48台NCP作为接入，，，，，，下行共18个400G接口。。。。。。。

多POD组网

单个POD内，，，，，，能够支持864个400G接口（48×18）。。。。。。。通过横向增长POD（8个），，，，，，实现规模扩容，，，，，，整体最大可支持6912个400G网络端口（864×8）。。。。。。。

NCP上行40个200G，，，，，，接POD内40台NCF。。。。。。。POD内NCF选取48个200G接口，，，，，，48个200G接口分为12个一组上行到第二级的NCF。。。。。。。第二级NCF选取40个平面（Plane），，，，，，每个平面4台NCF-P，，，，，，别离对应在POD内的40台NCF。。。。。。。

整个网络的POD内实现了1.1:1的超速比（北向带宽大于南向带宽），，，，，，而在POD和二级NCF之间实现了1:1的收敛比（南向带宽/北向带宽）。。。。。。。

DDC的技术特点

站在规模和带宽吞吐的角度，，，，，，DDC已经能够满足AI大模型训练对于网络的需要。。。。。。。

然而，，，，，，网络的运作过程是复杂的，，，，，，DDC还必要在时延匹涤注负载平衡性、治理效能等方面有所提升。。。。。。。

基于VOQ+Cell的转发机造，，，，，，匹敌丢包

网络在工作的过程中，，，，，，可能会出现突发流量，，，，，，造成接管端来不及处置，，，，，，引起拥塞和丢包。。。。。。。

为了应对这种情况，，，，，，DDC采取了基于VOQ+Cell的转发机造。。。。。。。

发送端从网络接管到数据包之后，，，，，，会分类到VOQ（虚构输出队列）中存储。。。。。。。

在发送数据包前，，，，，，NCP会先发送Credit报文，，，，，，确定接管端是否有足够的缓存空间处置这些报文。。。。。。。

若是接管端OK，，，，，，则将数据包吩飕成Cells（数据包的幼切片），，，，，，并且动态负载平衡到中央的Fabric节点（NCF）。。。。。。。

若是接管端临时没能力处置报文，，，，，，报文会在发送端的VOQ中暂存，，，，，，并不会直接转发到接管端。。。。。。。

在接管端，，，，，，这些Cells会进行沉组和存储，，，，，，进而转发到网络中。。。。。。。

切片后的Cells，，，，，，将选取轮询的机造发送。。。。。。。它可能充分利用到每一条上行链路，，，，，，确保所有上行链路的传输数据量近似相称。。。。。。。

轮询机造

这样的机造，，，，，，充分利用了缓存，，，，，，能够大幅度削减丢包，，，，，，甚至不会产生丢包情况。。。。。。。数据沉传削减了，，，，，，整体通讯时延更不调换低，，，，，，从而能够提高带宽利用率，，，，，，进而提升业务吞吐效能。。。。。。。

PFC单跳部署，，，，，，预防死锁

前面我们提到，，，，，，RDMA无损网络中引入了PFC（基于优先级的流量节造）技术，，，，，，进行流量节造。。。。。。。

单一来说，，，，，，PFC就是在一条以太网链路上创建 8 个虚构通路，，，，，，并为每条虚构通路指定相应优先级，，，，，，允许单独暂停和沉启其中肆意一条虚构通路，，，，，，同时允许其它虚构通路的流量无中断通过。。。。。。。

PFC能够实现基于队列的流量节造，，，，，，但是，，，，，，它也存在一个问题，，，，，，那就是死锁。。。。。。。

所谓死锁，，，，，，就是多个互换机之间，，，，，，由于环路等原因，，，，，，同时出现了拥塞（各自端口缓存亏损超过了阈值），，，，，，又都在期待对方开释资源，，，，，，从而导致的“僵持状态”（所有互换机的数据流永远梗塞）。。。。。。。

DDC的组网下，，，，，，就不存在PFC的死锁问题。。。。。。。由于，，，，，，站在整个网络的角度，，，，，，所有NCP和NCF能够当作一台设备。。。。。。。对于AI服务器来说，，，，，，整个DDC，，，，，，就是一个互换机，，，，，，不存在多级互换机。。。。。。。所以，，，，，，就不存在死锁。。。。。。。

图

另表，，，，，，凭据DDC的数据转发机造，，，，，，可在接口处部署ECN（显式拥塞通知）。。。。。。。

ECN机造下，，，，，，网络设备一旦检测到RoCE v2流量出现了拥塞（内部的Credit缓和存机造无法支持突发流量），，，，，，就会向服务器端发送CNP（Congestion Notification Packets，，，，，，拥塞通知报文），，，，，，要求降速。。。。。。。

散布式OS，，，，，，提升靠得住性

最后再看看治理节造平面。。。。。。。

前面我们提到，，，，，，在DDC架构中，，，，，，框式设备的治理职能造成了NCC（网络云节造器）。。。。。。。NCC极度沉要，，，，，，若是选取单点式的方式，，，，，，万一出现问题，，，，，，就会导致整网故障。。。。。。。

为了预防出现这样的问题，，，，，，DDC能够取缔NCC的集中节造面，，，，，，构建散布式OS（操作系统）。。。。。。。

基于散布式OS，，，，，，能够基于SDN运维节造器，，，，，，通过尺度接口（Netconf、GRPC等）配置治理设备。。。。。。。这样的话，，，，，，每台NCP和NCF独立治理，，，，，，有独立的节造面和治理面，，，，，，大大提升了系统的靠得住性，，，，，，也越发便于部署。。。。。。。

DDC的商用进展

综上所述，，，，，，相对传统组网，，，，，，DDC在组网规模、扩大能力、靠得住性、成本、部署速度方面，，，，，，占有显著优势。。。。。。。它是网络技术升级的产品，，，，，，提供了一种颠覆原有网络架构的思路，，，，，，能够实现网络硬件的解耦、网络架构的统一、转发容量的扩大。。。。。。。

业界已经使用OpenMPI测试套件进行过框式设备和传统组网设备的对比仿照测试。。。。。。。测试结论是：在All-to-All场景下，，，，，，相较于传统组网，，，，，，框式设备的带宽利用率提升了约20%（对应GPU利用率提升8%左右）。。。。。。。

正是由于DDC的显著能力优势，，，，，，此刻这项技术已经成为行业的沉点发展方向。。。。。。。例如全发国际网络，，，，，，他们就率先推出了两款可交付的DDC产品，，，，，，别离是400G NCP互换机——RG-S6930-18QC40F1，，，，，，以及200G NCF互换机——RG-X56-96F1。。。。。。。

RG-S6930-18QC40F1互换机的高度为2U，，，，，，提供18个400G的面板口，，，，，，40个200G的Fabric内联口，，，，，，4个电扇和2个电源。。。。。。。

RG-X56-96F1互换机的高度为4U，，，，，，提供96个200G的Fabric内联口，，，，，，8个电扇和4个电源。。。。。。。

据悉，，，，，，全发国际网络会持续研发，，，，，，持续推出更多适合智算中心网络场景的产品。。。。。。。

最后的话

AIGC的崛起，，，，，，已经掀起了互联网行业的新一轮技术革命。。。。。。。

我们能够看到，，，，，，越来越多的企业，，，，，，在参与这个赛路，，，，，，参加角逐。。。。。。。这意味着，，，，，，网络基础设施的升级，，，，，，火烧眉毛。。。。。。。

DDC的出现，，，，，，将大幅提升网络基础设施的能力，，，，，，不仅能够有效应对AI革命对网络基础设施提出的挑战，，，，，，更将助力整个社会的数字化转型，，，，，，加快人类数智时期的全面到来。。。。。。。