Skip to content

协作政策

本文档概述了 vLLM 如何与模型提供商、硬件供应商以及其他利益相关方进行协作。

添加新的主要功能

任何人都可以为 vLLM 做出贡献。对于主要功能，请先提交 RFC（征求意见稿）。要提交 RFC，请创建一个 issue 并选择 RFC 模板。
RFC 类似于设计文档，用于讨论动机、解决的问题、考虑过的替代方案以及提议的更改。

提交 RFC 后，请在 vLLM Slack 的 #contributors 频道中发布，并邀请相关领域的负责人和提交者（committers）提供反馈。
对于关注度较高的功能，提交者会指定专人协助 RFC 流程和 PR 审查。这可以确保有人指导您完成整个流程，该信息会显示在 RFC issue 的“assignee”（负责人）字段中。
如果负责人和主要维护者认为该功能存在争议，维护团队会在听取各方意见后迅速做出决策。具体做法是指定一名提交者作为 DRI（直接责任人）来做出决策并推动代码贡献流程。

如果您打算维护某项功能，请随时在 mergify.yml 中添加您的信息，以便在有涉及您所维护功能的 PR 时收到通知并自动分配任务。随着时间的推移，所有权将通过提交者的提名和投票流程进行评估和更新。

添加新模型

如果您正在使用 vLLM，我们建议您在公开发布模型之前，按照模型注册流程让模型适配 vLLM。

vLLM 团队会协助支持尚未被 vLLM 支持的模型架构，尤其是那些推动架构前沿发展的模型。
以下是 vLLM 团队与模型提供商的协作方式。vLLM 团队包括项目的所有提交者。模型提供商可以排除某些成员，但不建议这样做，因为这可能会因缺乏专业知识而影响发布时间表。如需协作，请联系项目负责人。

一旦我们建立了 vLLM 团队与模型提供商之间的联系：

  • vLLM 团队将了解模型架构及相关变更，然后规划需要参与的领域负责人以及包含的功能。
  • vLLM 团队会创建一个私有通信渠道（目前是在 vLLM 工作区内的 Slack 频道）以及在 vllm-project 组织下的一个私有分支。模型提供商团队可以邀请其他人加入该频道和仓库。
  • 第三方（如计算提供商、托管推理服务、硬件供应商及其他组织）通常会在模型发布过程中同时与模型提供商和 vLLM 协作。我们会根据需要建立直接沟通（经许可）或三方沟通机制。

vLLM 团队将与模型提供商在功能、集成和发布时间表方面进行协作。我们会努力满足发布时间表，但功能开发、模型精度对齐和优化等工程挑战可能会导致延迟。

vLLM 维护者不会公开分享有关模型架构、发布时间表或即将发布的版本的详细信息。我们会在配备安全措施的安全服务器上保存模型权重（尽管我们可以在未经认证的情况下配合安全审查和测试）。应要求，我们会删除预发布版本的权重或工件。

vLLM 团队将与模型提供商协作开展模型发布的营销和推广活动。模型提供商可以在出版物和宣传材料中使用 vLLM 的商标和徽标。

添加新硬件

vLLM 被设计为一个面向前沿模型架构和高性能加速器的平台。
对于新硬件，请遵循硬件插件系统来添加支持。
使用平台插件系统添加硬件支持。
随着硬件的普及，我们会帮助在文档和营销材料中对其进行推广。
vLLM GitHub 组织可以托管硬件插件仓库，尤其是在公司间的协作项目中。

我们很少直接将新硬件添加到 vLLM 中。相反，我们会将现有硬件平台模块化，以保持 vLLM 核心与硬件无关的特性。