在线服务¶

vLLM 提供了一个与许多接口兼容的 HTTP 服务器！

OpenAI 兼容服务器¶

我们目前支持以下 OpenAI API：

• Completions API (/v1/completions)
  • 仅适用于文本生成模型。
  • 注意：不支持 suffix 参数。
• Chat Completions API (/v1/chat/completions)
  • 仅适用于具有聊天模板的文本生成模型。
  • 注意：user 参数被忽略。
  • 注意： 将 parallel_tool_calls 参数设置为 false 可确保 vLLM 每个请求只返回零或一个工具调用。将其设置为 true（默认值）允许每个请求返回多个工具调用。如果设置为 true，不能保证会返回多个工具调用，因为这种行为取决于模型，并且并非所有模型都设计为支持并行工具调用。
• Chat Completions batch API (/v1/chat/completions/batch)
• Responses API (/v1/responses, /v1/responses/{response_id}, /v1/responses/{response_id}/cancel)
  • 仅适用于文本生成模型。
• Embeddings API (/v1/embeddings)
  • 仅适用于嵌入模型。
• Transcriptions API (/v1/audio/transcriptions)
  • 仅适用于自动语音识别 (ASR) 模型。
• Translation API (/v1/audio/translations)
  • 仅适用于自动语音识别 (ASR) 模型。

Anthropic APIs¶

• Anthropic messages API (/v1/messages, /v1/messages/count_tokens)

Cohere APIs¶

• Cohere Embed API (/v2/embed)
  • 与Cohere 的 Embed API兼容
  • 适用于任何嵌入模型，包括多模态模型。
• Cohere Rerank API (/rerank, /v1/rerank, /v2/rerank)
  • 实现了Jina AI 的 v1 rerank API
  • 与Cohere 的 v1 & v2 rerank APIs兼容

池化 APIs¶

有关池化模型的更多详情，请参阅此页面。

• 分类用法
  • 分类 API (/classify)
  • 仅适用于分类模型。
• 嵌入用法
  • Cohere Embed API (/v2/embed)
  • OpenAI 兼容嵌入 API (/v1/embeddings)
  • 仅适用于嵌入模型。
• 评分用法
  • 评分 API (/score, /v1/score)
  • Cohere Rerank API (/rerank, /v1/rerank, /v2/rerank)
  • 适用于评分模型（交叉编码器、双编码器、晚期交互）。
• 池化 API (/pooling)
  • 适用于所有池化模型。

语音转文本 APIs¶

有关语音转文本的更多详情，请参阅此页面。

• 转录 API (/v1/audio/transcriptions)
  • 仅适用于自动语音识别 (ASR) 模型。
• 翻译 API (/v1/audio/translations)
  • 仅适用于自动语音识别 (ASR) 模型。
• 实时 API (/v1/realtime)
  • 仅适用于自动语音识别 (ASR) 模型。

自定义 APIs¶

• 分类 API (/classify)
  • 仅适用于分类模型。
• 评分 API (/score, /v1/score)
  • 适用于评分模型（交叉编码器、双编码器、晚期交互）。
• 池化 API (/pooling)
  • 适用于所有池化模型。
• 生成式评分 API (/generative_scoring)
  • 适用于因果语言模型（任务 "generate"）。
  • 计算指定 label_token_ids 的下一个令牌概率。

仪表器 APIs¶

基础 APIs¶

• /version - 版本信息
• /load - 服务器负载指标
• /v1/models - 列出可用模型
• /health - 健康检查

指标 APIs¶

有关指标的更多详情，请参阅此页面。

• /metrics - Prometheus 兼容的指标 HTTP 端点

离线 API 文档¶

FastAPI /docs 端点默认需要互联网连接。要在气隙环境中启用离线访问，请使用 --enable-offline-docs 标志：

vllm serve NousResearch/Meta-Llama-3-8B-Instruct --enable-offline-docs