KServe¶

vLLM 可与 KServe 一起在 Kubernetes 上部署，以实现高度可扩展的分布式模型服务。

您可以将 vLLM 与 KServe 的 Hugging Face 服务运行时 配合使用，或通过 LLMInferenceService（使用 llm-d） 进行部署。