示例¶

vLLM 的示例分为三类：

• 如果您在 Python 代码中使用 vLLM，请参阅 离线推理 部分。
• 如果您在 HTTP 应用程序或客户端中使用 vLLM，请参阅 在线服务 部分。
• 有关使用 vLLM 某些高级功能（例如 LMCache 或 Tensorizer）的示例（这些功能不特定于上述任一用例），请参阅 其他 部分。