摘要

AWS 开源博客介绍 Infinity——一个面向极高智能体并发的运行时，源自 AWS 与加州大学伯克利分校（UC Berkeley）合作的 Hydro 项目。Infinity 的设计思路是把工具调用当作 await 点：当智能体在等待工具或子任务返回时，运行时仅保留其对话历史，从而把空闲智能体的内存占用压到极低。据 AWS 介绍，在 8GB 内存的单机上可挂起约 7.5 万个空闲智能体；相较基线，单节点吞吐可达约 7.9 倍。该运行时以 Rust 实现，可运行在无服务器平台上，面向需要大规模并发智能体（如客服、自动化流程）的场景。项目代码以 Apache 2.0 许可开源。

正文（译文）

Infinity 是什么 Infinity 是一个面向极高智能体并发的运行时，由 AWS 开源，源自 AWS 与加州大学伯克利分校（UC Berkeley）合作的 Hydro 项目。它解决的核心问题是：当大量智能体同时运行却又频繁等待工具调用或子任务结果时，传统运行时会为每一个空闲智能体保留完整执行状态，内存开销巨大。

工作原理 Infinity 把智能体的工具调用视作 await 点。当智能体进入等待（等待工具返回、等待子任务完成）时，运行时将其挂起，只保留对话历史等必要状态，释放其余内存。被挂起的智能体可在需要时快速恢复。这样，大量空闲智能体几乎不占用资源，系统可以支撑远超传统方案的并发规模。Infinity 以 Rust 实现，并能运行在无服务器（serverless）平台上。

性能数据 据 AWS 介绍，在 8GB 内存的单台机器上，Infinity 可同时挂起约 7.5 万个空闲智能体；相较基线运行方式，单节点吞吐可达约 7.9 倍。该设计面向需要大规模并发智能体的场景，如自动化客服、批量流程编排等。

许可 Infinity 项目以 Apache 2.0 许可开源。