Skip to content

功能特性

兼容性矩阵

下表展示了互斥功能特性以及在部分硬件上的支持情况。

各符号含义如下:

  • ✅ = 完全兼容
  • 🟠 = 部分兼容
  • ❌ = 不兼容
  • ❔ = 未知或待定

Note

请查看带有链接的 ❌ 或 🟠 标记,以了解不受支持的功能/硬件组合的跟踪问题。

功能 x 功能

功能 CP APC LoRA SD CUDA graph pooling enc-dec logP prmpt logP async output multi-step mm best-of beam-search prompt-embeds
CP ✅
APC ✅ ✅
LoRA ✅ ✅ ✅
SD ✅ ✅ ❌ ✅
CUDA graph ✅ ✅ ✅ ✅ ✅
pooling 🟠* 🟠* ✅ ❌ ✅ ✅
enc-dec ❌ ❌ ❌ ❌ ✅ ✅ ✅
logP ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅
prmpt logP ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅ ✅
async output ✅ ✅ ✅ ❌ ✅ ❌ ❌ ✅ ✅ ✅
multi-step ❌ ✅ ❌ ❌ ✅ ❌ ❌ ✅ ✅ ✅ ✅
mm ✅ ✅ 🟠^ ❔ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅
best-of ✅ ✅ ✅ ❌ ✅ ❌ ✅ ✅ ✅ ❔ ❌ ✅ ✅
beam-search ✅ ✅ ✅ ❌ ✅ ❌ ✅ ✅ ✅ ❔ ❌ ❔ ✅ ✅
prompt-embeds ✅ ✅ ✅ ❌ ✅ ❌ ❌ ✅ ❌ ❔ ❔ ❌ ❔ ❔ ✅

* 分块预填充和前缀缓存仅适用于因果注意力机制的最后一个 token 或全量 pooling。
^ LoRA 仅适用于多模态模型的语言主干部分。

功能 x 硬件

功能 Volta Turing Ampere Ada Hopper CPU AMD Intel GPU
CP ❌ ✅ ✅ ✅ ✅ ✅ ✅ ✅
APC ❌ ✅ ✅ ✅ ✅ ✅ ✅ ✅
LoRA ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
SD ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅
CUDA graph ✅ ✅ ✅ ✅ ✅ ❌ ✅ ❌
pooling ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
enc-dec ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅
mm ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
prompt-embeds ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅
logP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
prmpt logP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
async output ✅ ✅ ✅ ✅ ✅ ❌ ❌ ✅
multi-step ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅
best-of ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
beam-search ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅

Note

有关 Google TPU 上的功能支持信息,请参阅 TPU 推理推荐模型与功能特性 文档。