KubeAI¶

KubeAI 是一个 Kubernetes 运算符，可让您在 Kubernetes 上部署和管理 AI 模型。它提供了一种简单且可扩展的方法来在生产环境中部署 vLLM。开箱即用，无需任何外部依赖，即可提供从零开始扩展、基于负载的自动扩展、模型缓存等功能。

请查看安装指南以获取特定环境的说明：

• 任意 Kubernetes 集群
• EKS
• GKE

安装 KubeAI 后，您可以使用 vLLM 配置文本生成模型。