随着LLM（大说话模型）技术的飞速发展，，，，，市面上出现越来越多的AGI利用，，，，，对话式机械人作为最普遍的利用已经深刻普罗公共的工作和进建中。。。。。。最显著的扭转就是从搜索引擎查问问题，，，，，转变为打开多款对话式机械人的APP进行查问，，，，，而后再综合多个解答进行自己的判断。。。。。。

那么，，，，，“对话式机械人”这类利用是若何凭据用户的输入，，，，，来进行有逻辑的高质量内容输出的呢？？？？？其性质是：先通过大量的“训练”工作使其具备可能理解用户说话、逻辑和思想的能力，，，，，再通过用户给出的输入进行“推理”运算，，，，，进而输出对应的内容与用户进行高质量互动。。。。。。 

一、训练与推理的关系

LLM（大型说话模型）的训练和推理是模型性命周期中的两个关键阶段，，，，，我们能够类比成理论进建和利用实际的结合。。。。。。

1.训练阶段（进建阶段）：

该阶段是模型构建的基础，，，，，决定了模型的质量和利用成效。。。。。。

1）在训练阶段，，，，，LLM通过大量的文本数据进建说话的模式、语法、语义和高低文信息。。。。。。

2）使用深度进建技术，，，，，如神经网络，，，，，模型在训练过程中不休优化其参数，，，，，以提高对文本数据的建模能力。。。。。。

2.推理阶段（利用阶段）：

该阶段不涉及参数更新，，，，，将训练学到的知识利用到现实问题上。。。。。。

1）推理阶段是支使用训练好的模型对新的输入数据进行处置，，，，，以天生输出或做出决策的过程。。。。。。

2）在推理过程中，，，，，模型会接管新的文本输入，，，，，预测或天生文本，，，，，执行翻译，，，，，或者实现其他特定的NLP工作。。。。。。

3.差距性：

1）指标：训练和推理都旨在实现模型的最佳机能，，，，，但训练侧沉于进建，，，，，推理侧沉于利用。。。。。。

2）可用性：训练阶段的成效会直接影响推理阶段了局的可用性。。。。。。

3）资源亏损：训练通常必要大量的推算资源和数据，，，，，而推理则更注沉实时性、成本和可扩大性。。。。。。

4）持续进建：推理阶段的反馈能够用于改进模型，，，，，通过持续进建或增量进建的方式，，，，，使模型适应新的数据和场景。。。。。。
 

二、推理的过程

主流 LLM 根基都是 Decoder Only 的 Transformer 模型，，，，，推理过程能够分为两个阶段：

Transformer 模型结构图

1.“预填充（Prefill）”阶段：

Prefill阶段是模型凭据用户输入的Tokens通过一次前向传布来天生第一个输出 Token。。。。。。在前向传布过程中，，，，，输入的Tokens之间以并行方式执走运算，，，，，所以具备比力高的执行效能。。。。。。

2.“解码（Decoding）”阶段：

在Prefill阶段天生第一个 Token（A）之后起头进入Decoding阶段。。。。。。在Decoding阶段中，，，，，解码器会以自回归的方式逐个天生输出序列的词元。。。。。。在每一步，，，，，它基于已天生的词元和之前的状态来预测下一个词元，，，，，直到天生一个特殊的 Stop Token（或者满足用户设置的某个限度前提，，，，，好比超过肯定的长度） 天生过程就会终场。。。。。。Decoding阶段必要执行屡次前向传布，，，，，并且只能以串行的方式执行，，，，，因而效能相对比力低。。。。。。

两个阶段对算力芯片的要求也分歧，，，，，Prefill阶段为推算密集型，，，，，适合选用高算力 GPU；；；；；；；；Decoding阶段为访存密集型，，，，，相应的能够使用算力不是出格强而访存带宽比力大的 GPU。。。。。。

三、推理的评估指标

针对 LLM 推理服务通常有两种挪用模式，，，，，如下表所述：

类似ChatGPT 一样的 Streaming 方式，，，，，目前利用比力宽泛，，，，，重要由于能够给用户带来更好的交互履历，，，，，不必要长功夫期待即可获得系统反馈，，，，，因而本文以Streaming模式下的评估指标来进行分析。。。。。。

1.首个词元天生功夫（Time To First Token，，，，，简称TTFT）：

在用户输入查问的内容后，，，，，模型天生第一个输出token所必要的功夫。。。。。。

2.单个输出词元的天生功夫（Time Per Output Token，，，，，简称TPOT）：

推理系统凭据用户要求天生后续词元所必要的均匀功夫。。。。。。在人机实时交互的过程中，，，，，让用户得到急剧的响应至关沉要，，，，，延时较高会让客户陷入较长的期待功夫，，，，，大大影响交互履历，，，，，但只有天生速度大于人类的阅读速度就能获得很好的用户履历。。。。。。

3.Decoding吞吐：

通常用来衡量推理服务器在decoding阶段的输出效能，，，，，即decoding阶段的所有Token数量除以该阶段所必要的耗时。。。。。。

4.单卡吞吐：

通常用来衡量推理服务器实现本次推理工作的输出效能，，，，，即在Prefill阶段以及decoding阶段总共天生的Token数量除以整个推理工作所必要的耗时。。。。。。

四、推理机能的影响成分

影响LLM推理机能的因子有很多，，，，，本文沉点分析分歧HBD Size域在分歧集群规模以及分歧推算精度下对推理机能的影响。。。。。。

1.推算精度：

指浮点数（Floating Point Numbers）的分歧精度，，，，，好比FP16、FP8、FP4。。。。。。

2.事俘规模：

实现本次推理工作所必要的GPU卡数量。。。。。。

3.HBD （High Bandwidth Domain）Size：

一个推理事俘内，，，，，通过独立的高速通路形玉成联接的GPU卡的数量。。。。。。（跨服务器通过互换柜互联也算统一个HBD）

我们基于理论建模的和仿真算法，，，，，通过节造变量的对譬喻式，，，，，在保障单一因子变动的前提下去分析推算精度、集群规模以及HBD Size对推理机能的影响。。。。。。

测试模型选取B200算力卡进行仿照仿真，，，，，基于QWen 110B的基础上扩大16个MoE专家，，，，，Batch Size为16，，，，，Token输入序列为32K，，，，，同时如果HBD内通过1.8TB/s的双向带宽互联。。。。。。

如上图数据所示，，，，，发现以下景象：

64张B200的GPU卡规模下，，，，，组成该推理事俘时。。。。。。在上述模型推理中，，，，，HBD Size从8提升至64，，，，，TTFT最大降落46%，，，，，单卡吞吐最大提升41%。。。。。。

因而能够得出结论：HBD Size对推理机能有正面作用，，，，，即高速互联的GPU卡数量越多，，，，，推理机能越强。。。。。。

如上图数据所示，，，，，发现以下景象：

128张B200卡的GPU规模组成推理事俘时，，，，，在上述模型推理中，，，，，HBD Size从8提升至128，，，，，TTFT最大降落57%，，，，，单卡吞吐最大提升59%；；；；；；；；同样证明HBD Size的提升对推理机能有正面作用。。。。。。

对比上述两份数据，，，，，发现以下景象：

从64卡扩大到128卡规模时，，，，，TTFT指标从降落46%变动为降落57%，，，，，收益更显著；；；；；；；；再如单卡吞吐从提升41%变动为提升59%，，，，，收益更显著。。。。。。

因而能够得出结论：当选取更大规模GPU卡时，，，，，HBD Size扩增机遇能收益提升趋于显著。。。。。。

从上述表格数据中，，，，，我们发现以下景象：

同为128卡规模下，，，，，FP16精度下随着HBD Size提升，，，，，Prefill与Decoding阶段的通讯功夫占比逐步降落，，，，，这种景象在FP8和FP4精度下也同样存在。。。。。。

当选取更低推算精度时，，，，，FP16精度下从8卡提升到128卡，，，，，单卡吞吐提升倍率为1.36；；；；；；；；而在FP4精度下从8卡提升到128卡，，，，，单卡的吞吐提升倍率为1.63。。。。。。

因而能够得出结论：在更低的推算精度下，，，，，HBD Size扩增机遇能收益提升趋于显著。。。。。。

五、结论

1、在一样集群规模和同样的推算精度下，，，，，随着HBD Size的提升，，，，，推理机能也随之提升。。。。。。具体阐发为TTFT降低，，，，，Decoding吞吐及单卡吞吐提升。。。。。。

2、在一样推算精度下，，，，，集群规模越大，，，，，HBD Size的提升收益愈发显著。。。。。。具体阐发为TTFT降低幅度更大，，，，，Decoding吞吐及单卡吞吐提升幅度更大。。。。。。

3、在一样集群规模下，，，，，推算精度越低，，，，，HBD Size的提升收益愈发显著。。。。。。具体阐发为Prefill与Decoding阶段的通讯功夫占比逐步降落幅度越慢，，，，，单卡吞吐提升倍率幅度越大。。。。。。

全发国际网络，，，，，作为GenAI时期的全栈服务专家，，，，，致力于为企业提供覆盖IaaS到PaaS的全栈产品及解决规划。。。。。。全发国际产品覆盖高机能网络与GPU算力优化调度，，，，，旨在通过创新技术解决规划，，，，，援手客户实现出产效能的飞跃与运营成本的优化。。。。。。我们坚信，，，，，通过全发国际致力，，，，，可能为客户打造一个越发智能、高效和靠得住的将来。。。。。。让我们携手，，，，，共同索求GenAI时期的每一个机缘。。。。。。