Helm¶

用于在 Kubernetes 上部署 vLLM 的 Helm Chart

Helm 是 Kubernetes 的包管理器，可帮助自动化在 Kubernetes 上部署 vLLM 应用程序。通过 Helm，您可以使用不同的配置将相同的框架架构部署到多个命名空间，只需覆盖变量值即可。

本指南将引导您完成使用 Helm 部署 vLLM 的过程，包括必要的先决条件、Helm 安装步骤以及架构和 values 文件的文档说明。

先决条件¶

在开始之前，请确保您具备以下条件：

• 一个正在运行的 Kubernetes 集群
• NVIDIA Kubernetes 设备插件（k8s-device-plugin）：可在 https://github.com/NVIDIA/k8s-device-plugin 获取
• 集群中可用的 GPU 资源
• （可选）一个 S3 存储桶或其他存储，用于存放模型权重（如果使用自动模型下载功能）

安装 Chart¶

使用 release 名称 test-vllm 安装 chart：

helm upgrade --install --create-namespace \
  --namespace=ns-vllm test-vllm . \
  -f values.yaml \
  --set secrets.s3endpoint=$ACCESS_POINT \
  --set secrets.s3bucketname=$BUCKET \
  --set secrets.s3accesskeyid=$ACCESS_KEY \
  --set secrets.s3accesskey=$SECRET_KEY

卸载 Chart¶

卸载 test-vllm 部署：

helm uninstall test-vllm --namespace=ns-vllm

该命令将移除与该 chart 关联的所有 Kubernetes 组件，包括持久卷，并删除该 release。

架构¶

Values¶

下表描述了 values.yaml 中 chart 的可配置参数：

配置示例¶

使用 S3 模型下载（默认）¶

extraInit:
  modelDownload:
    enabled: true
  pvcStorage: "10Gi"
  s3modelpath: "models/llama-7b"

仅使用自定义 Init 容器¶

适用于 llm-d 等需要自定义 Sidecar 但不需要模型下载的场景：

extraInit:
  modelDownload:
    enabled: false
  initContainers:
    - name: llm-d-routing-proxy
      image: ghcr.io/llm-d/llm-d-routing-sidecar:v0.2.0
      imagePullPolicy: IfNotPresent
      ports:
        - containerPort: 8080
          name: proxy
      securityContext:
        runAsUser: 1000
      restartPolicy: Always
  pvcStorage: "10Gi"