支持的模型¶

vLLM 支持各种任务中的生成式和池化模型。

对于每个任务，我们列出了在 vLLM 中已实现的模型架构。 在每个架构旁边，我们包含了一些使用它的流行模型。

模型实现¶

vLLM¶

如果 vLLM 原生支持某个模型，其实现可以在 vllm/model_executor/models 中找到。

这些模型就是我们在支持的文本模型和支持的多模态模型中列出的模型。

Transformers¶

vLLM 还支持 Transformers 中可用的模型实现。您应该期望在 vLLM 中使用的 Transformers 模型实现的性能在专用 vLLM 模型实现性能的 <5% 范围内。我们称此功能为"Transformers 建模后端"。

目前，Transformers 建模后端适用于以下内容：

• 模态：嵌入模型、语言模型和视觉语言模型*
• 架构：仅编码器、仅解码器、专家混合
• 注意力类型：全注意力和/或滑动注意力

*视觉语言模型目前仅接受图像输入。视频输入支持将在未来版本中添加。

如果 Transformers 模型实现遵循了编写自定义模型中的所有步骤，那么当与 Transformers 建模后端一起使用时，它将与以下 vLLM 功能兼容：

• 兼容性矩阵中列出的所有功能
• 以下 vLLM 并行化方案的任意组合：
  • 数据并行
  • 张量并行
  • 专家并行
  • 流水线并行

检查建模后端是否为 Transformers 很简单：

from vllm import LLM
llm = LLM(model=...)  # Name or path of your model
llm.apply_model(lambda model: print(type(model)))

如果打印的类型以 Transformers... 开头，那么它正在使用 Transformers 模型实现！

如果某个模型有 vLLM 实现，但您更愿意通过 Transformers 建模后端使用 Transformers 实现，请为离线推理设置 model_impl="transformers" 或为在线服务设置 --model-impl transformers。

自定义模型¶

如果某个模型既不被 vLLM 也不被 Transformers 原生支持，它仍然可以在 vLLM 中使用！

要使模型与 vLLM 的 Transformers 建模后端兼容，它必须：

• 是一个 Transformers 兼容的自定义模型（参见 Transformers - Customizing models）：
  • 模型目录必须具有正确的结构（例如存在 config.json）。
  • config.json 必须包含 auto_map.AutoModel。
• 是一个 vLLM 的 Transformers 建模后端兼容模型（参见编写自定义模型）：
  • 自定义应该在基础模型中完成（例如在 MyModel 中，而不是 MyModelForCausalLM 中）。

如果兼容模型是：

• 在 Hugging Face Model Hub 上，只需为离线推理设置 trust_remote_code=True 或为openai兼容服务器设置 --trust-remote-code。
• 在本地目录中，只需将目录路径传递给 model=<MODEL_DIR> 用于离线推理或 vllm serve <MODEL_DIR> 用于openai兼容服务器。

这意味着，通过 vLLM 的 Transformers 建模后端，可以在 Transformers 或 vLLM 官方支持之前使用新模型！

编写自定义模型¶

本节详细说明了对 Transformers 兼容的自定义模型进行必要的修改，使其与 vLLM 的 Transformers 建模后端兼容。（我们假设已经创建了一个 Transformers 兼容的自定义模型，参见 Transformers - Customizing models）。

要使您的模型与 Transformers 建模后端兼容，它需要：

1. kwargs 从 MyModel 到 MyAttention 的所有模块中传递。
   • 如果您的模型是仅编码器：
     1. 在 MyAttention 中添加 is_causal = False。
   • 如果您的模型是专家混合（MoE）：
     1. 您的稀疏 MoE 块必须有一个名为 experts 的属性。
     2. experts（MyExperts）的类必须要么：
        • 继承自 nn.ModuleList（简单方式）。
        • 或者包含所有 3D nn.Parameters（打包方式）。
     3. MyExperts.forward 必须接受 hidden_states、top_k_index、top_k_weights。
2. MyAttention 必须使用 ALL_ATTENTION_FUNCTIONS 来调用注意力。
3. MyModel 必须包含 _supports_attention_backend = True。

from transformers import PreTrainedModel
from torch import nn

class MyAttention(nn.Module):
    is_causal = False  # Only do this for encoder-only models

    def forward(self, hidden_states, **kwargs):
        ...
        attention_interface = ALL_ATTENTION_FUNCTIONS[self.config._attn_implementation]
        attn_output, attn_weights = attention_interface(
            self,
            query_states,
            key_states,
            value_states,
            **kwargs,
        )
        ...

# Only do this for mixture-of-experts models
class MyExperts(nn.ModuleList):
    def forward(self, hidden_states, top_k_index, top_k_weights):
        ...

# Only do this for mixture-of-experts models
class MySparseMoEBlock(nn.Module):
    def __init__(self, config):
        ...
        self.experts = MyExperts(config)
        ...

    def forward(self, hidden_states: torch.Tensor):
        ...
        hidden_states = self.experts(hidden_states, top_k_index, top_k_weights)
        ...

class MyModel(PreTrainedModel):
    _supports_attention_backend = True

以下是加载此模型时后台发生的情况：

1. 加载配置。
2. 从配置中的 auto_map 加载 MyModel Python 类，并检查模型是否 is_backend_compatible()。
3. 将 MyModel 加载到 vllm/model_executor/models/transformers 中的 Transformers 建模后端类之一，该类设置 self.config._attn_implementation = "vllm" 以便使用 vLLM 的注意力层。

就是这样！

要使您的模型与 vLLM 的张量并行和/或流水线并行功能兼容，您必须在模型的配置类中添加 base_model_tp_plan 和/或 base_model_pp_plan：

from transformers import PretrainedConfig

class MyConfig(PretrainedConfig):
    base_model_tp_plan = {
        "layers.*.self_attn.k_proj": "colwise",
        "layers.*.self_attn.v_proj": "colwise",
        "layers.*.self_attn.o_proj": "rowwise",
        "layers.*.mlp.gate_proj": "colwise",
        "layers.*.mlp.up_proj": "colwise",
        "layers.*.mlp.down_proj": "rowwise",
    }
    base_model_pp_plan = {
        "embed_tokens": (["input_ids"], ["inputs_embeds"]),
        "layers": (["hidden_states", "attention_mask"], ["hidden_states"]),
        "norm": (["hidden_states"], ["hidden_states"]),
    }

• base_model_tp_plan 是一个 dict，它将完全限定的层名称模式映射到张量并行样式（目前仅支持 "colwise" 和 "rowwise"）。
• base_model_pp_plan 是一个 dict，它将直接子层名称映射到 str 的 list 的 tuple：
  • 你只需要为那些不在所有流水线阶段上都存在的层执行此操作
  • vLLM 假设只会有一个 nn.ModuleList，它在流水线阶段之间分布
  • tuple 中第一个元素的 list 包含输入参数的名称
  • tuple 中最后一个元素的 list 包含在你的建模代码中层输出到的变量名称

加载模型¶

Hugging Face Hub¶

默认情况下，vLLM 从 Hugging Face (HF) Hub 加载模型。要更改模型的下载路径，可以设置 HF_HOME 环境变量；更多详细信息，请参阅 他们的官方文档。

要确定给定模型是否原生支持，可以检查 HF 仓库内的 config.json 文件。 如果 "architectures" 字段包含以下列出的模型架构，则应该原生支持。

模型在 vLLM 中使用时并不 需要 原生支持。 Transformers 建模后端 使你能够直接使用其 Transformers 实现运行模型（甚至使用 Hugging Face Model Hub 上的远程代码！）。

from vllm import LLM

# 仅适用于生成模型 (runner=generate)
llm = LLM(model=..., runner="generate")  # 你的模型名称或路径
output = llm.generate("Hello, my name is")
print(output)

# 仅适用于池化模型 (runner=pooling)
llm = LLM(model=..., runner="pooling")  # 你的模型名称或路径
output = llm.encode("Hello, my name is")
print(output)

否则，请参阅 添加新模型 了解如何在 vLLM 中实现你的模型的说明。 或者，你可以 在 GitHub 上开一个 issue 来请求 vLLM 支持。

下载模型¶

如果愿意，你可以使用 Hugging Face CLI 来 下载模型 或从模型仓库下载特定文件：

# 下载模型
huggingface-cli download HuggingFaceH4/zephyr-7b-beta

# 指定自定义缓存目录
huggingface-cli download HuggingFaceH4/zephyr-7b-beta --cache-dir ./path/to/cache

# 从模型仓库下载特定文件
huggingface-cli download HuggingFaceH4/zephyr-7b-beta eval_results.json

列出已下载的模型¶

使用 Hugging Face CLI 来 管理存储在本地缓存中的模型：

# 列出缓存的模型
huggingface-cli scan-cache

# 显示详细（详细）输出
huggingface-cli scan-cache -v

# 指定自定义缓存目录
huggingface-cli scan-cache --dir ~/.cache/huggingface/hub

删除缓存的模型¶

使用 Hugging Face CLI 交互式地 从缓存中删除下载的模型：

# `delete-cache` 命令需要额外的依赖项才能与 TUI 配合使用。
# 请运行 `pip install huggingface_hub[cli]` 来安装它们。

# 启动交互式 TUI 来选择要删除的模型
$ huggingface-cli delete-cache
? 选择要删除的版本：选择了 1 个版本，总计 438.9M。
  ○ 以下都不是（如果选择此项，不会删除任何内容）。
模型 BAAI/bge-base-en-v1.5 (438.9M, 1 周前使用过)
❯ ◉ a5beb1e3: main # 1 周前修改过

模型 BAAI/bge-large-en-v1.5 (1.3G, 1 周前使用过)
  ○ d4aa6901: main # 1 周前修改过

模型 BAAI/bge-reranker-base (1.1G, 4 周前使用过)
  ○ 2cfc18c9: main # 4 周前修改过

按 <space> 选择，<enter> 验证，<ctrl+c> 退出而不修改。

# 选择后需要确认
? 选择要删除的版本：选择了 1 个版本。
? 选择了 1 个版本，总计 438.9M。确认删除？是
开始删除。
完成。删除了 1 个仓库和 0 个版本，总计 438.9M。

使用代理¶

以下是一些使用代理从 Hugging Face 加载/下载模型的提示：

• 为你的会话全局设置代理（或在配置文件中设置）：

export http_proxy=http://your.proxy.server:port
export https_proxy=http://your.proxy.server:port

• 仅为当前命令设置代理：

https_proxy=http://your.proxy.server:port huggingface-cli download <model_name>

# 或直接使用 vllm 命令
https_proxy=http://your.proxy.server:port  vllm serve <model_name>

• 在 Python 解释器中设置代理：

import os

os.environ["http_proxy"] = "http://your.proxy.server:port"
os.environ["https_proxy"] = "http://your.proxy.server:port"

ModelScope¶

要使用 ModelScope 中的模型而不是 Hugging Face Hub，请设置环境变量：

export VLLM_USE_MODELSCOPE=True

并使用 trust_remote_code=True。

from vllm import LLM

llm = LLM(model=..., revision=..., runner=..., trust_remote_code=True)

# 仅适用于生成模型 (runner=generate)
output = llm.generate("Hello, my name is")
print(output)

# 仅适用于池化模型 (runner=pooling)
output = llm.encode("Hello, my name is")
print(output)

功能状态图例¶

• ✅︎ 表示该功能受模型支持。

• 🚧 表示该功能已计划但尚未受模型支持。

• ⚠️ 表示该功能可用但可能存在已知问题或限制。

纯文本语言模型列表¶

生成模型¶

有关如何使用生成模型的更多信息，请参见 此页面。

文本生成¶

这些模型主要接受 LLM.generate API。Chat/Instruct 模型还支持 LLM.chat API。

| MiMoV2FlashForCausalLM | MiMoV2Flash | XiaomiMiMo/MiMo-V2-Flash, 等 | ︎| ✅︎ | | MiniCPMForCausalLM | MiniCPM | openbmb/MiniCPM-2B-sft-bf16, openbmb/MiniCPM-2B-dpo-bf16, openbmb/MiniCPM-S-1B-sft, 等 | ✅︎ | ✅︎ | | MiniCPM3ForCausalLM | MiniCPM3 | openbmb/MiniCPM3-4B, 等 | ✅︎ | ✅︎ | | MiniMaxM2ForCausalLM | MiniMax-M2, MiniMax-M2.1 |MiniMaxAI/MiniMax-M2, 等 | ✅︎ | ✅︎ | | MistralForCausalLM | Ministral-3, Mistral, Mistral-Instruct | mistralai/Ministral-3-3B-Instruct-2512, mistralai/Mistral-7B-v0.1, mistralai/Mistral-7B-Instruct-v0.1, 等 | ✅︎ | ✅︎ | | MistralLarge3ForCausalLM | Mistral-Large-3-675B-Base-2512, Mistral-Large-3-675B-Instruct-2512 | mistralai/Mistral-Large-3-675B-Base-2512, mistralai/Mistral-Large-3-675B-Instruct-2512, 等 | ✅︎ | ✅︎ | | MixtralForCausalLM | Mixtral-8x7B, Mixtral-8x7B-Instruct | mistralai/Mixtral-8x7B-v0.1, mistralai/Mixtral-8x7B-Instruct-v0.1, mistral-community/Mixtral-8x22B-v0.1, 等 | ✅︎ | ✅︎ | | MPTForCausalLM | MPT, MPT-Instruct, MPT-Chat, MPT-StoryWriter | mosaicml/mpt-7b, mosaicml/mpt-7b-storywriter, mosaicml/mpt-30b, 等 | | ✅︎ | | NemotronForCausalLM | Nemotron-3, Nemotron-4, Minitron | nvidia/Minitron-8B-Base, mgoin/Nemotron-4-340B-Base-hf-FP8, 等 | ✅︎ | ✅︎ | | NemotronHForCausalLM | Nemotron-H | nvidia/Nemotron-H-8B-Base-8K, nvidia/Nemotron-H-47B-Base-8K, nvidia/Nemotron-H-56B-Base-8K, 等 | ✅︎ | ✅︎ | | OLMoForCausalLM | OLMo | allenai/OLMo-1B-hf, allenai/OLMo-7B-hf, 等 | ✅︎ | ✅︎ | | OLMo2ForCausalLM | OLMo2 | allenai/OLMo-2-0425-1B, 等 | ✅︎ | ✅︎ | | OLMo3ForCausalLM | OLMo3 | allenai/Olmo-3-7B-Instruct, allenai/Olmo-3-32B-Think, 等 | ✅︎ | ✅︎ | | OLMoEForCausalLM | OLMoE | allenai/OLMoE-1B-7B-0924, allenai/OLMoE-1B-7B-0924-Instruct, 等 | | ✅︎ | | OPTForCausalLM | OPT, OPT-IML | facebook/opt-66b, facebook/opt-iml-max-30b, 等 | ✅︎ | ✅︎ | | OrionForCausalLM | Orion | OrionStarAI/Orion-14B-Base, OrionStarAI/Orion-14B-Chat, 等 | | ✅︎ | | OuroForCausalLM | ouro | ByteDance/Ouro-1.4B, ByteDance/Ouro-2.6B, 等 | ✅︎ | | | PanguEmbeddedForCausalLM |openPangu-Embedded-7B | FreedomIntelligence/openPangu-Embedded-7B-V1.1 | ✅︎ | ✅︎ | | PanguProMoEV2ForCausalLM |openpangu-pro-moe-v2 | | ✅︎ | ✅︎ | | PanguUltraMoEForCausalLM |openpangu-ultra-moe-718b-model | FreedomIntelligence/openPangu-Ultra-MoE-718B-V1.1 | ✅︎ | ✅︎ | | PhiForCausalLM | Phi | microsoft/phi-1_5, microsoft/phi-2, 等 | ✅︎ | ✅︎ | | Phi3ForCausalLM | Phi-4, Phi-3 | microsoft/Phi-4-mini-instruct, microsoft/Phi-4, microsoft/Phi-3-mini-4k-instruct, microsoft/Phi-3-mini-128k-instruct, microsoft/Phi-3-medium-128k-instruct, 等 | ✅︎ | ✅︎ | | PhiMoEForCausalLM | Phi-3.5-MoE | microsoft/Phi-3.5-MoE-instruct, 等 | ✅︎ | ✅︎ | | PersimmonForCausalLM | Persimmon | adept/persimmon-8b-base, adept/persimmon-8b-chat, 等 | | ✅︎ | | Plamo2ForCausalLM | PLaMo2 | pfnet/plamo-2-1b, pfnet/plamo-2-8b, 等 | ✅ | ✅︎ | | Plamo3ForCausalLM | PLaMo3 | pfnet/plamo-3-nict-2b-base, pfnet/plamo-3-nict-8b-base, 等 | ✅ | ✅︎ | | QWenLMHeadModel | Qwen | Qwen/Qwen-7B, Qwen/Qwen-7B-Chat, 等 | ✅︎ | ✅︎ | | Qwen2ForCausalLM | QwQ, Qwen2 | Qwen/QwQ-32B-Preview, Qwen/Qwen2-7B-Instruct, Qwen/Qwen2-7B, 等 | ✅︎ | ✅︎ | | Qwen2MoeForCausalLM | Qwen2MoE | Qwen/Qwen1.5-MoE-A2.7B, Qwen/Qwen1.5-MoE-A2.7B-Chat, 等 | ✅︎ | ✅︎ | | Qwen3ForCausalLM | Qwen3 | Qwen/Qwen3-8B, 等 | ✅︎ | ✅︎ | | Qwen3MoeForCausalLM | Qwen3MoE | Qwen/Qwen3-30B-A3B, 等 | ✅︎ | ✅︎ | | Qwen3NextForCausalLM | Qwen3NextMoE | Qwen/Qwen3-Next-80B-A3B-Instruct, 等 | ✅︎ | ✅︎ | | SeedOssForCausalLM | SeedOss | ByteDance-Seed/Seed-OSS-36B-Instruct, 等 | ✅︎ | ✅︎ | | SolarForCausalLM | Solar Pro | upstage/solar-pro-preview-instruct, 等 | ✅︎ | ✅︎ | | StableLmForCausalLM | StableLM | stabilityai/stablelm-3b-4e1t, stabilityai/stablelm-base-alpha-7b-v2, 等 | | | | Starcoder2ForCausalLM | Starcoder2 | bigcode/starcoder2-3b, bigcode/starcoder2-7b, bigcode/starcoder2-15b, 等 | | ✅︎ | | Step1ForCausalLM | Step-Audio | stepfun-ai/Step-Audio-EditX, 等 | ✅︎ | ✅︎ | | TeleChat2ForCausalLM | TeleChat2 | Tele-AI/TeleChat2-3B, Tele-AI/TeleChat2-7B, Tele-AI/TeleChat2-35B, 等 | ✅︎ | ✅︎ | | TeleFLMForCausalLM | TeleFLM | CofeAI/FLM-2-52B-Instruct-2407, CofeAI/Tele-FLM, 等 | ✅︎ | ✅︎ | | XverseForCausalLM | XVERSE | xverse/XVERSE-7B-Chat, xverse/XVERSE-13B-Chat, xverse/XVERSE-65B-Chat, 等 | ✅︎ | ✅︎ | | MiniMaxM1ForCausalLM | MiniMax-Text | MiniMaxAI/MiniMax-M1-40k, MiniMaxAI/MiniMax-M1-80k, 等 | | | | MiniMaxText01ForCausalLM | MiniMax-Text | MiniMaxAI/MiniMax-Text-01, 等 | | | | Zamba2ForCausalLM | Zamba2 | Zyphra/Zamba2-7B-instruct, Zyphra/Zamba2-2.7B-instruct, Zyphra/Zamba2-1.2B-instruct, 等 | | | | LongcatFlashForCausalLM | LongCat-Flash | meituan-longcat/LongCat-Flash-Chat, meituan-longcat/LongCat-Flash-Chat-FP8 | ✅︎ | ✅︎ |

某些模型仅通过 Transformers 建模后端 支持。下表的目的是确认我们以这种方式正式支持的模型。日志将显示正在使用 Transformers 建模后端，并且您不会看到这是回退行为的警告。这意味着，如果您对下面列出的任何模型有问题，请 创建问题，我们将尽力修复！

池化模型¶

请参阅 此页面 了解如何使用池化模型的更多信息。

嵌入¶

这些模型主要支持 LLM.embed API。

^C 通过 --convert embed 自动转换为嵌入模型。(详情)
* 功能支持与原始模型相同。

如果您的模型不在上述列表中，我们将尝试使用 as_embedding_model 自动转换模型。默认情况下，整个提示的嵌入从对应于最后一个标记的归一化隐藏状态中提取。

分类¶

这些模型主要支持 LLM.classify API。

^C 通过 --convert classify 自动转换为分类模型。(详情)
* 功能支持与原始模型相同。

如果您的模型不在上述列表中，我们将尝试使用 as_seq_cls_model 自动转换模型。默认情况下，类概率从对应于最后一个标记的 softmax 隐藏状态中提取。

交叉编码器 / 重排序器¶

交叉编码器和重排序器模型是接受两个提示作为输入的分类模型的子集。 这些模型主要支持 LLM.score API。

^C 通过 --convert classify 自动转换为分类模型。(详情)
* 功能支持与原始模型相同。

vllm serve BAAI/bge-reranker-v2-gemma --hf_overrides '{"architectures": ["GemmaForSequenceClassification"],"classifier_from_token": ["Yes"],"method": "no_post_processing"}'

vllm serve mixedbread-ai/mxbai-rerank-base-v2 --hf_overrides '{"architectures": ["Qwen2ForSequenceClassification"],"classifier_from_token": ["0", "1"], "method": "from_2_way_softmax"}'

vllm serve Qwen/Qwen3-Reranker-0.6B --hf_overrides '{"architectures": ["Qwen3ForSequenceClassification"],"classifier_from_token": ["no", "yes"],"is_original_qwen3_reranker": true}'

奖励建模¶

这些模型主要支持 LLM.reward API。

令牌分类¶

这些模型主要支持 LLM.encode API。

多模态语言模型列表¶

根据模型的不同，支持以下模态：

• Text (文本)
• Image (图像)
• Video (视频)
• Audio (音频)

支持通过 + 连接的任何模态组合。

• 例如：T + I 表示模型支持纯文本、纯图像和图文结合的输入。

另一方面，通过 / 分隔的模态是互斥的。

• 例如：T / I 表示模型支持纯文本和纯图像输入，但不支持图文结合输入。

请参阅此页面了解如何向模型传递多模态输入。

生成模型¶

有关如何使用生成模型的更多信息，请参阅此页面。

文本生成¶

这些模型主要接受 LLM.generate API。Chat/Instruct 模型还支持 LLM.chat API。

title: "支持的模型" description: "vLLM 支持的模型列表"

支持的模型¶

| Phi4MMForCausalLM | Phi-4-multimodal | T + I⁺ / T + A⁺ / I⁺ + A⁺ | microsoft/Phi-4-multimodal-instruct, etc. | ✅︎ | ✅︎ | | PixtralForConditionalGeneration | Ministral 3 (Mistral format), Mistral 3 (Mistral format), Mistral Large 3 (Mistral format), Pixtral (Mistral format) | T + I⁺ | mistralai/Ministral-3-3B-Instruct-2512, mistralai/Mistral-Small-3.1-24B-Instruct-2503, mistralai/Mistral-Large-3-675B-Instruct-2512 mistralai/Pixtral-12B-2409 etc. | ✅︎ | ✅︎ | | QwenVLForConditionalGeneration^{^} | Qwen-VL | T + I^E+ | Qwen/Qwen-VL, Qwen/Qwen-VL-Chat, etc. | ✅︎ | ✅︎ | | Qwen2AudioForConditionalGeneration | Qwen2-Audio | T + A⁺ | Qwen/Qwen2-Audio-7B-Instruct | | ✅︎ | | Qwen2VLForConditionalGeneration | QVQ, Qwen2-VL | T + I^E+ + V^E+ | Qwen/QVQ-72B-Preview, Qwen/Qwen2-VL-7B-Instruct, Qwen/Qwen2-VL-72B-Instruct, etc. | ✅︎ | ✅︎ | | Qwen2_5_VLForConditionalGeneration | Qwen2.5-VL | T + I^E+ + V^E+ | Qwen/Qwen2.5-VL-3B-Instruct, Qwen/Qwen2.5-VL-72B-Instruct, etc. | ✅︎ | ✅︎ | | Qwen2_5OmniThinkerForConditionalGeneration | Qwen2.5-Omni | T + I^E+ + V^E+ + A⁺ | Qwen/Qwen2.5-Omni-3B, Qwen/Qwen2.5-Omni-7B | ✅︎ | ✅︎ | | Qwen3VLForConditionalGeneration | Qwen3-VL | T + I^E+ + V^E+ | Qwen/Qwen3-VL-4B-Instruct, etc. | ✅︎ | ✅︎ | | Qwen3VLMoeForConditionalGeneration | Qwen3-VL-MOE | T + I^E+ + V^E+ | Qwen/Qwen3-VL-30B-A3B-Instruct, etc. | ✅︎ | ✅︎ | | Qwen3OmniMoeThinkerForConditionalGeneration | Qwen3-Omni | T + I^E+ + V^E+ + A⁺ | Qwen/Qwen3-Omni-30B-A3B-Instruct, Qwen/Qwen3-Omni-30B-A3B-Thinking | ✅︎ | ✅︎ | | Qwen3ASRForConditionalGeneration | Qwen3-ASR | T + A⁺ | Qwen/Qwen3-ASR-1.7B | ✅︎ | ✅︎ | | RForConditionalGeneration | R-VL-4B | T + I^E+ | YannQi/R-4B | | ✅︎ | | SkyworkR1VChatModel | Skywork-R1V-38B | T + I | Skywork/Skywork-R1V-38B | | ✅︎ | | SmolVLMForConditionalGeneration | SmolVLM2 | T + I | SmolVLM2-2.2B-Instruct | ✅︎ | | | Step3VLForConditionalGeneration | Step3-VL | T + I⁺ | stepfun-ai/step3 | | ✅︎ | | StepVLForConditionalGeneration | Step3-VL-10B | T + I⁺ | stepfun-ai/Step3-VL-10B | | ✅︎ | | TarsierForConditionalGeneration | Tarsier | T + I^E+ | omni-search/Tarsier-7b, omni-search/Tarsier-34b | | ✅︎ | | Tarsier2ForConditionalGeneration^{^} | Tarsier2 | T + I^E+ + V^E+ | omni-research/Tarsier2-Recap-7b, omni-research/Tarsier2-7b-0115 | | ✅︎ | | UltravoxModel | Ultravox | T + A^E+ | fixie-ai/ultravox-v0_5-llama-3_2-1b | ✅︎ | ✅︎ |

某些模型仅通过 Transformers 建模后端 支持。下表的目的是确认我们以这种方式正式支持的模型。日志会显示正在使用 Transformers 建模后端，并且您不会看到这是回退行为的警告。这意味着，如果您对下面列出的任何模型有问题，请创建一个 issue，我们会尽力修复！

^{^} 您需要通过 --hf-overrides 设置架构名称以匹配 vLLM 中的名称。     • 例如，要使用 DeepSeek-VL2 系列模型：       --hf-overrides '{"architectures": ["DeepseekVLV2ForCausalLM"]}' ^E 可以为此模态输入预计算的嵌入。 ⁺ 每个文本提示可以为此模态输入多个项目。

转录¶

专门用于自动语音识别训练的 Speech2Text 模型。

池化模型¶

有关如何使用池化模型的更多信息，请参见此页面。

嵌入¶

这些模型主要支持 LLM.embed API。

下表列出了在 vLLM 中测试过的模型。

^C 通过 --convert embed 自动转换为嵌入模型。（详情）
* 功能支持与原始模型相同。

交叉编码器 / 重排序器¶

title: "交叉编码器和重排序模型"¶

交叉编码器和重排序模型是分类模型的一个子集，它们接受两个提示作为输入。 这些模型主要支持 LLM.score API。

^C 通过 --convert classify 自动转换为分类模型。(详情)
* 功能支持与原始模型相同。

vllm serve Qwen/Qwen3-VL-Reranker-2B --hf_overrides '{"architectures": ["Qwen3VLForSequenceClassification"],"classifier_from_token": ["no", "yes"],"is_original_qwen3_reranker": true}'

模型支持政策¶

在 vLLM 中，我们致力于促进第三方模型在我们生态系统中的集成和支持。我们的方法旨在平衡对稳健性的需求和广泛支持各种模型的实际限制。以下是管理第三方模型支持的方式：

1. 社区驱动支持：我们鼓励社区为添加新模型做出贡献。当用户请求支持新模型时，我们欢迎社区的拉取请求（PRs）。这些贡献主要根据它们生成的输出的合理性进行评估，而不是与现有实现（如 transformers 中的实现）的严格一致性。征召贡献：直接来自模型供应商的 PRs 非常受欢迎！

2. 尽力而为的一致性：虽然我们旨在保持 vLLM 中实现的模型与其他框架（如 transformers）之间的一致性水平，但完全对齐并不总是可行的。加速技术和低精度计算的使用可能会引入差异。我们的承诺是确保实现的模型功能正常并产生合理的结果。

   Tip

   比较 Hugging Face Transformers 的 model.generate 输出与 vLLM 的 llm.generate 输出时，请注意前者读取模型的生成配置文件（即 generation_config.json）并应用生成的默认参数，而后者仅使用传递给函数的参数。比较输出时请确保所有采样参数相同。

3. 问题解决和模型更新：鼓励用户报告他们遇到的任何第三方模型的错误或问题。建议的修复应通过 PRs 提交，并清楚说明问题和建议解决方案背后的原理。如果一个模型的修复影响了另一个模型，我们依靠社区来突出并解决这些跨模型依赖关系。注意：对于错误修复 PRs，礼貌地通知原始作者以寻求他们的反馈是良好的做法。

4. 监控和更新：对特定模型感兴趣的用户应监控这些模型的提交历史（例如，通过跟踪 main/vllm/model_executor/models 目录中的更改）。这种主动的方法帮助用户了解可能影响他们使用的模型的更新和更改。

5. 选择性关注：我们的资源主要投向具有重要用户兴趣和影响的模型。使用频率较低的模型可能获得较少的关注，我们依靠社区在它们的维护和改进中发挥更积极的作用。

通过这种方法，vLLM 培育了一个协作环境，核心开发团队和更广泛的社区共同为我们在生态系统中支持的第三方模型的稳健性和多样性做出贡献。

请注意，作为推理引擎，vLLM 不会引入新模型。因此，所有由 vLLM 支持的模型在此方面都是第三方模型。

我们有以下模型测试级别：

1. 严格一致性：我们在贪婪解码下比较模型与 HuggingFace Transformers 库中模型的输出。这是最严格的测试。请参阅 models tests 了解通过此测试的模型。
2. 输出合理性：我们通过测量输出的困惑度并检查任何明显错误来检查模型输出是否合理和连贯。这是一个不太严格的测试。
3. 运行时功能：我们检查模型是否可以加载和运行而不出错。这是最不严格的测试。请参阅 functionality tests 和 examples 了解通过此测试的模型。
4. 社区反馈：我们依靠社区提供模型反馈。如果模型损坏或未按预期工作，我们鼓励用户提出问题报告或打开拉取请求进行修复。其余模型属于此类别。