KAITO¶

KAITO 是一个 Kubernetes 操作符，支持使用 vLLM 部署和提供 LLM 服务。它通过容器镜像管理大型模型，提供内置的 OpenAI 兼容推理功能，自动配置 GPU 节点，并提供精选的模型预设。

更多详情请参阅快速入门。