Modal¶

vLLM 可以在云 GPU 上通过 Modal 运行，这是一个专为快速自动扩展而设计的无服务器计算平台。

有关在 Modal 上部署 vLLM 的详细信息，请参阅 Modal 文档中的此教程。