摘要¶
配置¶
vLLM 配置类的 API 文档。
- vllm.config.ModelConfig
- vllm.config.CacheConfig
- vllm.config.LoadConfig
- vllm.config.ParallelConfig
- vllm.config.SchedulerConfig
- vllm.config.DeviceConfig
- vllm.config.SpeculativeConfig
- vllm.config.LoRAConfig
- vllm.config.MultiModalConfig
- vllm.config.PoolerConfig
- vllm.config.StructuredOutputsConfig
- vllm.config.ProfilerConfig
- vllm.config.ObservabilityConfig
- vllm.config.KVTransferConfig
- vllm.config.CompilationConfig
- vllm.config.VllmConfig
离线推理¶
LLM 类。
LLM 输入。
vLLM 引擎¶
用于离线和在线推理的引擎类。
推理参数¶
vLLM API 的推理参数。
多模态¶
vLLM 通过 vllm.multimodal 包为多模态模型提供实验性支持。
多模态输入可以通过 vllm.inputs.PromptType 中的 multi_modal_data 字段与文本和 token 提示一起传递给支持的模型。
想要添加您自己的多模态模型？请按照此处列出的说明进行操作。
输入¶
面向用户的输入。
内部数据结构。
- vllm.multimodal.inputs.PlaceholderRange
- vllm.multimodal.inputs.NestedTensors
- vllm.multimodal.inputs.MultiModalFieldElem
- vllm.multimodal.inputs.MultiModalFieldConfig
- vllm.multimodal.inputs.MultiModalKwargsItem
- vllm.multimodal.inputs.MultiModalKwargsItems
- vllm.multimodal.inputs.MultiModalInputs