全发国际

620 点全场景落地 丨 半导体大厂熙泰科技的云桌面安全与提效实战分享
预约直播
铸数基 · 智运维 丨 全发国际乐享3.0智能运维解决规划颁布会
预约直播
全发国际(中国)有限公司官网
产品
< 返回主菜单
产品中心
产品
解决规划
< 返回主菜单
解决规划中心
行业
合作同伴
返回主菜单
选择区域/说话
全发国际(中国)有限公司官网

您订阅的产品有更新,,,,,,,请实时查阅

查看详情
全发国际(中国)有限公司官网 全发国际(中国)有限公司官网

全调度以太网(GSE),,,,,,,中国智算网络新尺度

GSE网络作为一种全调度以太网技术,,,,,,,专为大规模AI训练集群设计,,,,,,,通过按需调度实现无损机能,,,,,,,提供矫捷急剧的部署规划,,,,,,,构建盛开生态,,,,,,,显著提升智算效能和运维履历。。。。。。

  • 全发国际(中国)有限公司官网

    颁布功夫:2024-08-21

  • 全发国际(中国)有限公司官网

    点击量:

  • 全发国际(中国)有限公司官网

    点赞:

分享至

全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网

我想评论

陪伴着智算技术的发展,,,,,,,越来越多的钻研批注在 AI 训练达到肯定规模下能力才会涌现,,,,,,,在AI大模型的扩大定律和涌现能力的驱动下,,,,,,,AI大模型的参数规模越来越大。。。。。。国内表业界已出现多个万亿参数模型,,,,,,,十万亿参数模型在不远的将来也有望问世。。。。。。公开资料批注,,,,,,,GPT-4 的参数体量比 GPT-3 增长了 10 倍,,,,,,,达到 1.8 万亿参数。。。。。。国内的盘古、悟路大模型,,,,,,,其参数规模同样超过了万亿。。。。。。

 

全发国际(中国)有限公司官网

 注:数据截至23年3月,,,,,,,资料起源:北京智源人为智能钻研院,,,,,,,中金公司钻研院

 美国本地功夫7月22日,,,,,,,特斯拉CEO埃隆·马斯克在旗下社交平台X上暗示,,,,,,,xAI团队、X团队、英伟达及其他支持公司已经于本地功夫凌晨4时20分隔始在“孟菲斯超等集群(Memphis Supercluster)”上进行训练。。。。。。“孟菲斯超等集群”由10万个液冷H100 GPU组成,,,,,,,在单个RDMA结构上运行,,,,,,,是“世界上最壮大的人为智能训练集群”,,,,,,,该集群将被用于训练xAI旗下第三代大说话模型Grok-3。。。。。。大规模AI推算从万卡进入到十万卡时期。。。。。。

大规模智算集群必要高机能的网络衔接,,,,,,,以保障各智算节点间的通讯效能、数据吞吐和整个智算集群的算力机能。。。。。。这对智算网络提出了新的挑战。。。。。。

在基础训练模型中,,,,,,,一方面多工作混合部署,,,,,,,传统以太网源端发流直接选取网络“Push”流量模式,,,,,,,不思考网络及接管端的接受能力,,,,,,,导致网络拥塞,,,,,,,使得 GPU 处于期待状态,,,,,,,造成梯度和参数同步过程中算力资源浪费较大,,,,,,,传统的 RoCE 网络有效吞吐仅为 50%;;; ;;另一方面,,,,,,,智算集群网络流量出现出数据流数量少、单流流量大的特点,,,,,,,在传统网络平衡算法下容易引发HASH 矛盾,,,,,,,造成链路丢包,,,,,,,导致训练异常中断,,,,,,,极大影响训练效能。。。。。。时期呼叫 “零丢包”、“高吞吐”、“低时延” 为主题特点的无损智算网络设备,,,,,,,来解决超大规模 AI 推算通讯效能低的问题。。。。。。

 

全发国际(中国)有限公司官网

 

当前全球已商用的智算网络技术,,,,,,,重要有2大门户:

门户1:IB(InfiniBand)网络,,,,,,,是目前市场占有率最高的智算网络解决规划,,,,,,,IB 技术较为封关,,,,,,,市场根基被英伟达垄断,,,,,,,不切合全球盛开生态的产业共识。。。。。。

门户2:RoCE(RDMA over Converged Ethernet)网络,,,,,,,RoCE宽泛利用于必要高带宽和低延长的网络,,,,,,,在传统的通算领域有很高的占有率,,,,,,,但是RoCE在智算网络中存在流量HASH极化的问题,,,,,,,必要辅助以各类平衡调参进行智算网络的适配。。。。。。

 

为了更好的提升智算网络机能,,,,,,,更好的服务于大规模 AI 推算,,,,,,,出现了更多的新型技术门户:

新技术门户1:UEC(Ultra Ethernet Consortium)网络,,,,,,,2023 年 7 月Linux 基金会与全球头部科技企业结合成立 UEC 以太网创新同盟,,,,,,,其首创成员蕴含AMD、Arista、博通、思科、HPE、Intel、Meta、微软、Oracle和Eviden,,,,,,,致力于从物理层、链路层、传输层、软件层改进以太网技术的改革,,,,,,,来满足 AI 推算网络的需要。。。。。。

新技术门户2:GSE(Global Scheduling Ethernet)网络,,,,,,,中国智算中心的建设热潮始于 2020 年,,,,,,,目前已有 40 多个城市在建设或在建智算中心。。。。。。智算中心建设措施加快,,,,,,,但国内的网络技术发展却滞后于 AI 大模型的演进。。。。。。AI 网络技术上的竞争已经成为中美技术博弈的新战场。。。。。。在这样严格的局势下,,,,,,,2023 年 5 月,,,,,,,中国移动结合产业界颁布了全调度以太网(GSE)白皮书,,,,,,,同年8 月全调度以太网推动打算正式开启,,,,,,,标志取拥有中国自主技术的 GSE 门户正式诞生。。。。。。
 

全发国际(中国)有限公司官网

 

GSE 是一个盛开的生态组织,,,,,,,2023 年 9 月,,,,,,,中国移动颁布GSE 互换机原型系统样机。。。。。。2024 年 1 月在移动尝试室实现了GSE 互换机多厂商设备的互联互通测试。。。。。。 

全发国际(中国)有限公司官网

GSE 网络,,,,,,,专为大规模 AI 训练集群打造

按需调度,,,,,,,机能无损

GSE 网络基于 PKTC 容器技术,,,,,,,实现了高精度的网络负载平衡,,,,,,,从底子上改善了传统 AI 算力网络链路的带宽利用率;;; ;;选取基于 DQSQ 的信令申请调度技术,,,,,,,数据流以“Pull”的方式进行转发,,,,,,,突破了传统以太网的机能瓶颈,,,,,,,网络机能提升至 95%以上。。。。。。

全发国际(中国)有限公司官网

在多业务部署场景下,,,,,,,相较于传统 RoCE 网络机能大幅降落,,,,,,,GSE 互换机能维持与单业务场景吃旖的网络转发机能,,,,,,,大幅提升网络效能。。。。。。

 

场景矫捷,,,,,,,急剧部署

GSE纯网侧规划即可满足智算无损需要,,,,,,,可搭配国产 GPU 集成网卡,,,,,,,降低端侧网卡要求。。。。。。GSE技术原生解决了适配分歧大模型训练的网络调参问题,,,,,,,预防了传统RoCE达数天甚至数周的网络参数调优,,,,,,,在算力昂贵、AI大模型竞争强烈的市场中,,,,,,,为客户带来矫捷的算力网络建设规划,,,,,,,缩短了训练调优周期,,,,,,,援手客户急剧抢占市场先机。。。。。。

 

全发国际(中国)有限公司官网

 

全局解耦,,,,,,,盛开生态

GSE 技术系统支持尺度以太网尺度,,,,,,,新增尺度和谈头,,,,,,,实现基于以太报文的转发,,,,,,,实现端到端的多厂家设备互联互通,,,,,,,构建了多厂家充分参加的盛开生态,,,,,,,全面激活国内 AI 产业链,,,,,,,推进智算产业创新发展。。。。。。

 

GSE尺度和谈头

GSE尺度和谈头

 

总结

全发国际网络致力于与 GSE 生态一路打造中国的AIGC智算网络新尺度。。。。。。GSE 网络设备基于尺度以太网在转发架构方面进行技术创新,,,,,,,突破传统以太网的机能瓶颈,,,,,,,拓展智算网络的利用场景,,,,,,,充分满足国产化智算集群网络的需要,,,,,,,为客户带来了三大主题价值:提高智算效能,,,,,,,加强运维履历,,,,,,,盛开生态解耦。。。。。。

有关标签:

全发国际(中国)有限公司官网 全发国际(中国)有限公司官网

点赞

更多技术博文

任何必要,,,,,,,请联系全发国际

全发国际(中国)有限公司官网

返回顶部

收起
全发国际(中国)有限公司官网 文档AI副手
全发国际(中国)有限公司官网 文档评价
该资料是否解决了您的问题?????
您对当前页面的中意度若何?????
不咋滴
极度好
您中意的原因是(多。。。。。。????
您对文档是否还有其它的问题或建议?????
为尽快解决问题,,,,,,,请您留下联系方式以便回复
邮箱
手机号
感激您的反。。。。。。
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
请选择服务项目
关关征询页
售前征询 售前征询
售前征询
售后服务 售后服务
售后服务
定见反馈 定见反馈
定见反馈
更多联系方式
【网站地图】【sitemap】