英伟达优化 Kimi K3 推理速度：423 tok/s，同硬件提升 1.68 倍

英伟达通过一项新的 vLLM 上游优化，显著提升了 Kimi K模型在 GBNVL上的推理速度。实验显示，该模型的性能提升了 倍，达到了惊人的 tok/s/user。调研机构 SemiAnalysis 发文对该结果进行了证实。对于采用 vLLM 部署大模型的团队而言，这一改动是一条可行的优化路径。

423 tok/s 与 1.68 倍提升的来源

核心数据仅有一组，均来源于SemiAnalysis的发文：优化后推理速度提升至tok/s/user（每用户每秒每Token），Kimi K数量为亿。测试硬件为GBNVL对比结果是。这意味着，此提升只适用于NVL件上的同条件对照。目前，没有信息表明该提升能推广到其他硬件或模型上。这项优化属于上游vLLM的改动，且部署状态和生效时间未在报道中明确说明。

谁做的、怎么做的：Megakernel 融合

根据 SemiAnalysis 的报道，优化工作由英伟达 CentML 的工程师 Benjamin 完成。技术路径是大规模 Megakernel 融合，采用 Cute DSL 编写解码专用内核。这一步骤就是将解码阶段的多个分散计算步骤整合到一个内核中，从而大幅减少中间的开销。目前，具体融合了哪些算子以及对非解码阶段是否有收益，尚不清楚。

1.2 万行代码与 AI 辅助内核生成

这个 Megakernel 包含了 万行代码，SemiAnalysis 报道称这预示着 AI 辅助生成高级计算内核的未来方向。这是该机构的推断，反映的是对未来趋势的预测。代码规模庞大且需要人工逐行打磨，是这一判断的基础，但报道未提供更多细节支持。

英伟达还在为哪些模型做 vLLM 优化

Kimi K外，英伟达致力于优化其他模型如DeepSeek V但具体进度、优化手段和预期收益尚未公开。