llmaz¶

llmaz 是一个易于使用且功能先进的大语言模型 Kubernetes 推理平台，专为生产环境设计。它默认使用 vLLM 作为模型服务后端。

更多详情请参阅快速入门指南。