AWS 開源 Infinity：七萬五千個 AI 代理塞進一台樹莓派也能同時待命

2026/10/24 下午03:12（台北時間）

AWS 與加州大學柏克萊分校聯手釋出代理執行環境 Infinity，代理在等工具回應時先休眠、結果回來再喚醒，8GB 記憶體就能同時容納七萬五千個待命代理。

當 AI 代理從幾十個變成幾萬個，真正的瓶頸往往不是模型本身，而是代理「等人」時燒掉的資源。AWS 在 10 月 23 日釋出的開源執行環境 Infinity，正是衝著這個痛點而來：它讓代理在呼叫工具、等待回應的空檔先把自己「凍結」起來，等結果到了再原地喚醒繼續工作。

等工具回來之前，代理先睡著

一般代理架構裡，每個代理在等外部工具回傳時，通常都還佔著一個行程與一份記憶體。任務一多，伺服器很快就被大量閒置的代理塞爆。Infinity 的做法是把等待中的代理連同對話狀態一起存檔、暫停執行，等工具結果抵達再從存檔點恢復。代理不再需要全程醒著站崗，系統可以把運算資源讓給真正正在動的任務。

這套執行環境出自 AWS 與加州大學柏克萊分校合作的 Hydro 計畫，以 Apache 2.0 授權開源。對開發者來說，最直接的意義是代理工作負載有機會搬上一般的無伺服器函式，而不必為了幾萬個待命代理長期養著一整批常駐機器。

AWS 公布的示範數字相當搶眼：在只有 8GB 記憶體的 Raspberry Pi 5 上，Infinity 能同時容納七萬五千個處於等待狀態的代理。這個數字刻意選在低階硬體上展示，重點不在樹莓派本身，而在證明待命代理的單位成本可以壓到非常低。

實務上，真正會卡住代理的往往是動輒數分鐘甚至數小時的流程：等 CI 建置跑完、等主管核准、等外部系統回覆。在這些場景裡，代理的價值在於記得上下文、能在正確時機接續任務，而不是全程佔著運算資源空轉。

過去一年，代理框架的競爭多半圍繞模型能力打轉，但隨著企業開始把代理推向生產環境，部署成本與營運複雜度正快速變成決勝點。AWS 這次把執行層開源，等於把「如何便宜地養大量代理」這個問題交給社群一起解。

當然，示範數字與生產環境仍有距離：真實系統還要處理狀態儲存的延遲、喚醒失敗的重試、以及大量並行下的可觀測性。但方向已經很清楚：代理的下一個戰場，不只是跑得聰不聰明，還包括閒置時省不省錢。

AWS Open Source Blog：Introducing Infinity: a runtime for extreme agent concurrency（2026 年 10 月 23 日）
Dosa AI Tools：Today in AI 2026-10-24

引用來源：AWS Open Source Blog、Dosa AI Tools