摘要

NVIDIA 把内部用多年的 AI 工作负载与 GPU 编排平台 Run:ai 开源，纳入 NVIDIA DSX AI Factory Platform 的开放底座。开源版包含四个可独立采用的核心组件：KAI Scheduler（GPU 感知的 Kubernetes 调度器，已 Apache 2.0 开源、也是 CNCF Sandbox 项目）、GPU Fractioning Operator（基于 CUDA 原生的 GPU 分割，CUDA 13.4 MPS fractioning）、KAI Resource Management（组织级 GPU 配额与层级管理）、Workload Map（一致的工作负载契约）。八家 NVIDIA DSX 生态合作伙伴 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud、vCluster 已将开源 Run:ai 整合进各自方案。配套开源项目 Model Streamer 在八台 H100 VM 上把模型加载时间压到默认路径的 3-6 倍、稳态带宽 80 Gbps；Grove 则提供 Kubernetes API 来编排 agentic、分离式服务、MoE 等多组件工作负载。

正文（译文）

NVIDIA Run:ai 正式开源，作为 NVIDIA DSX AI Factory Platform 的一部分。

为 DSX 生态加速创新，把 AI 工厂解决方案更快带给市场——以开放方式打造的 AI 工作负载与 GPU 编排底座。

〔平台级首段〕我们把 NVIDIA Run:ai 平台以开源软件的形式发布，作为 NVIDIA DSX AI Factory Platform 的扩展，提供 AI 工作负载与 GPU 编排的开放底座。

本次开源包含四个模块化组件，可独立部署：用于 GPU 感知的 Kubernetes 调度的 KAI Scheduler、CUDA 原生 GPU 共享的 GPU Fractioning Operator、KAI Resource Management（组织级配额与层级管理），以及作为一致工作负载管理契约的 Workload Map。

包括 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud、vCluster 在内的八家 NVIDIA DSX 生态合作伙伴，已把开源平台整合进各自的产品方案。

关联开源项目 Model Streamer 与 Grove 分别加速模型加载并编排多组件推理工作负载，与平台互补。

〔注〕本文由 NVIDIA Nemotron 提供辅助生成。AI 生成内容可能存在摘要不完整，重要信息请独立核实。

开源 NVIDIA Run:ai 平台以开源软件的形式发布，使客户、开发者与生态伙伴能够使用生产级的 AI 工作负载与 GPU 编排能力。本次发布扩展了 NVIDIA DSX AI Factory Platform，让 NVIDIA Run:ai 成为一项开放底座，使更广泛的生态能够更快地把差异化方案带到市场，响应不断变化的客户需求。

过去几年，NVIDIA Run:ai 帮助企业在 Kubernetes 上大规模运行 AI 工作负载，动态分配 GPU 资源，覆盖从数据处理、训练到推理的全生命周期。

通过把 NVIDIA Run:ai 平台能力开源并纳入 NVIDIA DSX AI Factory，每家 NVIDIA DSX 生态合作伙伴与 AI 云服务商都可以提升工作负载吞吐、改善 GPU 利用率，并让共享 AI 基础设施的运营更高效、效果更好。

本文详细介绍本次开源发布，包含完整的 NVIDIA Run:ai 平台代码以及四类模块化组件。加上额外的平台代码，这些组件组成完整的 NVIDIA Run:ai 平台。平台团队与生态伙伴既可以整建制采用 NVIDIA Run:ai，也可以基于它构建自有产品与服务，或按需集成单个组件。

NVIDIA Run:ai 既可以直接以开源软件形式采用，也可以通过 NVIDIA DSX 生态合作伙伴的产品方案接入。

NVIDIA Run:ai 的完整源代码已在 NVIDIA Run:ai GitHub 组织开源。团队可检视代码、参与开发、基于平台构建，或独立采用其模块化组件。

完整的开源 NVIDIA Run:ai 平台也已作为 Community Product 上线 NVIDIA NGC，并提供 Helm chart 用于一键安装整套栈。

〔注〕NVIDIA Run:ai 源代码遵循其适用的开源许可证。从 NGC 下载自组织版本需接受 NVIDIA 软件许可协议以及 NVIDIA AI 产品专项条款。自组织版本不要求付费的 NVIDIA Run:ai 订阅或 NVIDIA 支持资格，亦不包含 NVIDIA 企业级支持。

通过 NVIDIA DSX 生态合作伙伴采用开源 NVIDIA Run:ai

开源 NVIDIA Run:ai 让 NVIDIA DSX 生态合作伙伴可以直接把 AI 工作负载与 GPU 编排能力用到自家 NVIDIA DSX AI 工厂方案中。通过采用整套平台或集成单个组件，合作伙伴能更快地把这些创新带向市场，更敏捷地响应客户与运营需求。

〔以下为八家合作伙伴的整合方案摘要：〕

Crusoe：把 NVIDIA Run:ai 与 Crusoe 托管 Kubernetes 集成，将 GPU 工作负载编排与托管 Kubernetes、GPU 基础设施结合。

Mirantis：通过 k0rdent AI 扩展 NVIDIA Run:ai，提供生命周期托管、Metal-to-Model 的 AI 工厂栈，自动化基础设施交付并最大化 GPU 利用率。

Nebius：在 Nebius AI Cloud 上把 NVIDIA Run:ai 作为一键部署应用，让客户能在 Nebius 托管 Kubernetes 服务上以更顺畅的方式部署并运营整套平台。

OpenNebula Systems：通过 OneKS 把 NVIDIA Run:ai 与 OpenNebula AI Cloud Platform 集成，把 GPU 工作负载编排与基础设施供应及生命周期管理结合，服务于开放和主权 AI 云。

Rafay：扩展 NVIDIA Run:ai 的集成方式，把整套方案以全托管服务交付。Rafay 把 GPU 基础设施与集群、到 NVIDIA Run:ai 控制面与租户管理全部自动化，让 AI 云服务商与企业能通过自服务目录交付。

Saturn Cloud：通过其 Token Factory 平台集成 NVIDIA Run:ai，让 AI 云运营商可以推出白标 AI 推理服务，把 GPU 编排与专属/多租户模型服务、按 token 计费、自动化计费结合。

Spectro Cloud：把 NVIDIA Run:ai 集成进 PaletteAI，让客户通过 PaletteAI Studio 部署并沿用其 AI 基础设施生命周期自动化能力来管理。

vCluster：提供经预先验证的部署模板，按租户交付完整环境，让运营商在 NVIDIA Run:ai 跨单 GPU 资源池调度能力之上进一步强化租户隔离。

对于 NVIDIA 企业 AI 工厂部署，NVIDIA Run:ai 继续通过 NVIDIA 支持的商业方案提供——既可作为独立产品，也可通过 NVIDIA Mission Control、NVIDIA AI Enterprise 以及部分云市场获得。不同方案的可用性、许可与支持条款各异。

对于已有平台、只需补齐某一具体能力的团队，下文分别介绍每个模块化组件的适用场景与使用方法。

下文详细介绍本次开源发布包含的四个组件：KAI Scheduler、GPU Fractioning Operator、KAI Resource Management、Workload Map。配合额外的平台代码，这些组件组成了完整的 NVIDIA Run:ai 平台。你可以整套采用 NVIDIA Run:ai，也可以按需集成单个组件。

KAI Scheduler 是 NVIDIA Run:ai 平台背后的 Kubernetes 原生调度器。NVIDIA 已把 KAI Scheduler 以 Apache 2.0 许可证开源，并把它捐给 CNCF 作为 Sandbox 项目。KAI 仍是 NVIDIA Run:ai 的上游引擎，所有调度器开发都在社区仓库进行，每次改进都汇聚到同一套代码。NVIDIA 继续支持项目维护者，并与更广泛生态共同推进 AI 工作负载在大规模下的调度。

KAI Scheduler 专为大规模 GPU 工作负载而设计，覆盖：定时编排（gang scheduling），通过内存中预模拟对多 pod 任务做 all-or-nothing 放置，避免无谓驱逐；公平份额（含基于时间的公平份额）与配额分配，让各团队的份额保持均衡；拓扑感知与装箱（bin-packing）决策；GPU 共享，让多个工作负载共享单卡或多卡（MIG、MPS、时间分片、HaMi、CUDA 13.4 MPS fractioning）。

KAI Scheduler 适用于需要公平访问集群资源与拓扑感知放置的多样化 AI 工作负载，可部署在现有集群中、与现有软件栈共存，无需引入完整的 NVIDIA Run:ai 平台。

关注项目进展、在 CNCF Slack 的 #kai-scheduler 频道提问，并在 GitHub 上贡献代码。

NVIDIA Run:ai 平台长期支持 GPU 分数化分配，让多个工作负载共享一张 GPU 并享有硬性内存隔离。分数可按需实时申请、即时生效，无需管理员事先在每节点上做配置。这是 Run:ai 在 ML 团队中最受欢迎的能力之一，特别适合无需全卡内存的工作负载，包括交互式 notebook 与小模型推理。NVIDIA Run:ai 以专有实现首创了这一体验。

GPU Fractioning Operator 把 CUDA 原生的 GPU 分数化引入 Kubernetes；专有实现已退役，由 CUDA 13.4 提供的原生能力接管。

CUDA 驱动为每个工作负载强制 GPU 内存硬上限，每个工作负载只看到分配给它的 GPU 内存。仍需的是 Kubernetes 上一套干净的使用方式。这正是 GPU Fractioning Operator 提供的：让 CUDA GPU 分数化在集群上可用的 operator，以及为每个 pod 提供分数使用情况可见性的 metrics exporter。它是一层 Kubernetes 集成，让工作负载使用 CUDA 原生分数化，并与调度器无关。

GPU Fractioning Operator 适用于能够共享未充分利用 GPU 容量的工作负载，包括 notebook、开发会话以及较小模型。它与 KAI Scheduler 集成，把可用 GPU 容量转化为实际的放置决策，同时保持对其他调度器的兼容。

GPU Fractioning Operator 把 CUDA 13.4 原生 GPU 分数化带入 Kubernetes，并与 KAI Scheduler 集成。上手请参考 NVIDIA Run:ai GitHub 仓库。

KAI Resource Management 把集群视作「组织」，按团队与项目分发资源：

组织结构（"org layer"）：把资源映射到消费它们的团队与项目。

能力：跨该组织结构按公平份额与配额语义分配、保证并共享 GPU 容量。

将异构硬件分组与目标化，让工作负载落在合适的资源上。

三者结合，让平台团队超越 Kubernetes 调度的原始层面，像组织实际运作方式那样管理 GPU：按团队、按部门、按项目，按资源保证。

KAI Resource Management 适用于由多个团队共享、且各团队需明确容量份额的异构集群。例如平台团队可以保障 50% 的容量给研究部门，同时避免任何团队独占剩余容量。如果你正用电子表格追踪配额，或人工按团队维护 namespace，这一层就是它的替代。它可以与 KAI Scheduler 组合部署。

Workload Map 是 NVIDIA Run:ai 用于支持任意工作负载类型的契约。KAI Scheduler 把它用于调度与 gang 语义；平台其余部分用它做工作负载发现、监控与生命周期管理。

在 Kubernetes 中，AI 工作负载几乎从不是裸的 Deployment 或 Job，而是 PyTorchJob、RayCluster、JobSet、KServe InferenceService、Dynamo graph deployment 或企业自有的 Custom Resource。每种都有自己的内部结构、不同角色的组件（driver 与 worker、head 与 worker、prefill 与 decode）、各自的扩缩与 gang 语义，以及各自的状态上报方式。

Workload Map 提供一致方式，把这些工作负载作为头等对象贯穿全生命周期：

这层工作负载管理层位于 Kubernetes 原语与调度器、仪表盘、SRE 与排障工具、成本工具、备份工具与 ML 平台之间。它让每种工作负载类型只定义一次，让任何平台或工具都能一致地调度、观测、执行与治理，而不必为每个 CRD 各做一套私有、局部的集成。

Workload Map 适用于必须理解并管理多种 Kubernetes 工作负载类型、且不想为每个 CRD 各写一遍的平台与工具。它以 Go 库形式交付，能在离线环境、对非结构化对象工作，因此可以在集群中无任何新增组件的情况下采用。它的边界严格：只描述工作负载结构，不调度、不排队、不自动扩缩、也不跨集群传播。

以下开源项目针对相邻的 AI 基础设施挑战，可独立采用，也可纳入更完整的方案——含完整 NVIDIA Run:ai 平台或部分组件。

在 Kubernetes 上冷启动推理工作负载可能需要几分钟，这段时间 GPU 已分配但仅在等一步——把模型权重从存储加载到 GPU。Model Streamer 并发读取权重并直接流入 GPU 内存，显著缩短大模型的加载时间。

发布以来，Model Streamer 已在推理栈中广泛被采用，覆盖推理引擎、云服务商与存储平台厂商。

支持本地文件系统、S3 兼容存储与网络文件共享，以及下方列出的多个云后端。

主流云服务商在其官方文档中收录了 Model Streamer。

云端原生支持——与 NVIDIA 合作，支持直接从桶流式加载到加速器内存。

Microsoft Azure Blob Storage 集成——由 Microsoft 与 NVIDIA Run:ai 联合开发，为 Azure 客户提供一流的模型流式加载。

在 8 张 NVIDIA H100 VM 上的基准显示，加载速度比默认 loader 快 3 到 6 倍，稳态带宽 80 Gbps（默认路径约 40 Gbps）。

多家 AI 数据基础设施合作伙伴对 Model Streamer 独立做了基准并公开：Succmi HGX H100——把 70B 模型加载到 GPU 内存仅需 3.5 秒，比从本地 NVMe 加载快约 40%，让组织能构建 PB 级共享模型仓库，加速模型可用性，省去在推理环境中维护重复模型副本的精力与容量。

VAST Data——测得 1.7 秒，比从本地 NVMe 加载快 60%。

CoreWeave——将 65.5 GB 的 Qwen3-32B 模型跨 8 张 GPU 流式加载用时不到 4 秒，并折算成成本：相比本地存储，每日 GPU 运行时间最高节省 10%。

Model Streamer 适用于启动新副本、加载模型权重是主要瓶颈的场景。

新兴的工作负载模式——包括 agentic 流水线、分离式服务、MoE 训练——由多个相连组件组成，必须协同扩缩。Grove 提供 Kubernetes API 来编排这些工作负载，从单个 pod 到跨数万张 GPU 的部署。

Grove 提供拓扑感知的自动扩缩与分层 gang 调度，让 prefill 与 decode 这类组件以 all-or-nothing 单元启动。在一起支持一起，ComputeDomain 资源也能自动管理，让多节点 NVLink 性能只需一条 annotation 就能启用，而不必手工写 YAML。

Grove 由多个独立使用的 Kubernetes API 组成，已在多家公司的训练与推理流水线上规模化使用。近期工作包括支持 llm-d 与 Volcano 作为调度后端，Kueue 支持进行中。

Grove 适用于组件角色分明、扩缩耦合的图状工作负载。

NVIDIA Run:ai 现已作为开源软件在 NVIDIA DSX AI Factory GitHub 组织发布。如需深入了解并上手，请参考以下资源。

我们期待把这一成果带给社区，并在开放中构建下一代的 AI 工作负载与 GPU 编排。欢迎贡献、提 issue、给反馈。