使用 vLLM¶

首先，必须在 Python 或 Docker 环境中为所选设备安装 vLLM。

然后，vLLM 支持以下使用模式：

• 推理和部署：运行单个模型实例。
• 部署：扩展模型实例以用于生产环境。
• 训练：训练或微调模型。