vllm：面向大模型的高吞吐推理与服务引擎

该版本新增多种大模型、视觉检索与多模态模型支持，升级至 PyTorch 2.14.0，并将 CUDA 制品切换为仅提供 13.0 版本。更新重点覆盖推测解码、NVIDIA 与 AMD 解码优化、AWS EFA 多节点镜像及更短镜像名称；使用 CUDA 12.9 的部署需要重点关注兼容性变化。

• 支持 Reflection Beam-1.0、Yandex AliceAI-Foundation-80B-A3B、Recursive Flint、Step-5 Preview 等新模型
• 新增 XPress refiner、FLy 有损验证策略，并调整 DFlash 与 DSpark 的草稿预算处理
• 增加针对 Kimi-K3、DeepSeek-V4.1-Flash、Humming 和 Blackwell 的解码与预填充优化
• 发布 AWS EFA 镜像，并统一使用 vllm/vllm 作为发布镜像别名

该版本加入通用结构化决策端点和基于检查点模板的通用工具、推理解析器，并扩展 NVFP4、FP8 与四比特 KV cache 的硬件和模型覆盖。Model Runner V2 增加多项并行与推测解码能力，同时修复安全问题和默认跨域策略；升级现有部署时应重新检查接口默认值与安全配置。

• 新增 POST /v1/systemone 结构化决策端点
• 新增 hf 工具与推理解析器，可复用模型检查点中的 response_template
• 扩展低精度 KV cache，并推进 Model Runner V2、预填充上下文并行及快速启动
• 修复聊天模板资源消耗、解析器越界与 ZeroMQ 套接字耗尽等安全问题

该版本围绕 DeepSeek-V4.1-Flash 优化注意力、MoE 和分布式执行，并引入可跨引擎重启保留权重的 vllm preload 工具。Model Runner V2、推测解码、大规模服务调度和 HiSparse 稳定性继续推进，同时新增运行中序列上限等控制项；生产采用前应核对旧版运行器兼容路径。

• 将 FlashMLA mega attention 与 V4.1 NVFP4 压缩 KV cache 设为 SM100 默认路径
• 新增 vllm preload 权重缓存守护进程及实验性引擎快照恢复能力
• 扩展 Model Runner V2、DFlash、DSpark、Kimi-K3 与多种推测解码路径
• 改进大型 MoE 服务的并行后端、调度队列和 KV 压力处理

该版本新增 DeepSeek-V4.1-Flash 等模型及 CPU 后端，引入可保存量化后权重并通过 CUDA IPC 复用的持久化权重缓存。HiSparse 增加主机内存层级，Model Runner V2 推进双批重叠和多种推测解码，同时加入 Gumbel-max 生成水印；涉及水印、CPU 推理或快速重启的团队值得重点评估。

• 支持 DeepSeek-V4.1-Flash、DeepSeek-V4-Flash-Vision-Exp、GLM-5.3-Flash 等模型
• 引入每 GPU 持久化权重缓存与 ipc_cache 加载方式
• 新增 Gumbel-max 生成水印、检测能力及按请求退出机制
• 扩展 HiSparse 主机驻留缓存与 Model Runner V2 推测解码支持

该版本将 Model Runner V2 设为所有模型的默认运行器，并继续完善 KV 缓存自动配置、提示词嵌入和推测解码能力。新版本增加多种 MoE 与多模态模型，优化 Kimi-K3、DeepSeek V4 和混合缓存，同时增强强化学习权重同步；升级前需确认 ROCm 特例及旧运行器依赖。

• Model Runner V2 成为所有模型默认运行器，部分 ROCm 模型仍保留 MRV1
• 新增 Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA 与 NemotronH Omni 等模型支持
• 扩展 EAGLE、MTP、DFlash、DSpark 与模型内置推测解码路径
• 改进强化学习权重同步、混合模型前缀缓存和 FlashInfer 归约默认值

本版本由 270 位贡献者完成 584 次提交，主要工作是 Kimi-K3 全栈性能优化、DeepSeek V4 稀疏 MLA 端到端可用、Model Runner V2 的 E/P/D 解耦与权重卸载，以及分层 KV 缓存磁盘落盘与 Rust/gRPC 前端增强，同时该版本包含若干破坏性变更。影响所有正在使用 vLLM 的团队，建议升级前仔细阅读 breaking changes 部分。

• Kimi-K3 引入 DCP、FlashKDA、SiTU、GEMM-RS 等优化并在 ROCm 上可用
• DeepSeek V4 稀疏 MLA、MTP、DSpark 在普通解码与推测解码链路中端到端可用
• 新增磁盘层 KV 缓存卸载与可插拔次级层管理器
• bitsandbytes 改为插件式，Transformers 升级到 5.15.0，移除多个已弃用参数

这是在 v0.27.0 基础上的小补丁版本，仅新增对量化 DSpark Markov heads 的能力。官方说明未提供更多细节，适用于已升级到 v0.27.x 并在 DSpark 推测解码中使用量化 Markov 头的用户。

• 新增支持量化的 DSpark Markov heads
• 官方说明未提供更多细节

本版本包含 561 次提交，由 242 位贡献者完成。一次性接入 Kimi K3 的 Python 与 Rust 前端、AttnRes 算子、DeepGEMM、压缩张量格式、DSpark AR 融合与共享专家分片选项。新增 Qwen3.5、K-EXAONE-2.0、VaultGemma、jina-embeddings-v5 等模型。升级 PyTorch 到 2.13.0、Torchvision 0.28.0 与 Triton 3.7.1，是一次破坏性环境变更；FlashAttention 4 在 SM100 上深化 FP8 KV 与 headdim-256 支持。DeepSeek-V4 在序列

• Kimi K3 一站式接入前后端与算子，并支持共享专家分片
• 升级到 PyTorch 2.13 与 Transformers 新版本，伴随破坏性变更
• Model Runner V2 覆盖嵌入、分类与编码器等非生成负载
• 为 sm_107 Rubin 与 ROCm gfx1250 提供早期支持

该版本由 212 位贡献者提交 411 次提交，全栈支持新的 Inkling 模型族，包括基础建模、分段 CUDA graph、Hopper FA4 相对注意力、MTP=1 推测解码、LoRA 与 ModelOpt NVFP4 量化。DeepSeek-V4 在多厂商侧持续优化，新增专用路由核、fused_topk_bias、ROCm 两阶段压缩器；新增 fp32 lm_head 提升生成头精度。注意力后端支持按 KV cache 组选择与显式滑动窗口。KV 卸载与分层二级存储引入对象存储、副本感知分层、tiering 指标与编码器缓存连接器。Rust 前端补齐多模态视频与音频、原生 vllm-

• 全栈支持 Inkling 模型族与 ModelOpt NVFP4
• DeepSeek-V4 跨厂商性能优化
• KV 卸载与分层二级存储能力成熟
• 新增 head_dtype 用于生成模型 fp32 lm_head

v0.25.1 是一个仅两笔提交的小版本，修复两个影响范围不同的缺陷。一是 TorchCodec 在系统缺少 FFmpeg 时会阻塞模型启动（如 Qwen3-VL-2B-Instruct 服务场景），错误已改为运行时延迟抛出；二是 FlashInfer allreduce + RMSNorm + 静态量化融合在 BF16 残差流配 FP32 RMSNorm 权重的混合精度下会输出重复标记等乱码，现已加入 dtype-match 守卫将不兼容图路由到安全路径。建议尽快合入，特别是部署多模态模型或 NVFP4 量化模型的用户。

• 修复 TorchCodec 在缺少系统 FFmpeg 时阻塞启动的问题，错误延后到运行时抛出
• 给 FlashInfer allreduce + RMSNorm + 静态量化融合加入 dtype-match 守卫，避免混合精度下输出乱码