LLM 推理

論文閱讀：Aegaeon - 市場上並發 LLM 服務的高效 GPU 池化技術

阿里雲模型市場部署的 Aegaeon 系統通過 token 級別的自動擴展，實現了 82% 的 GPU 資源節省，支援單 GPU 同時服務高達 7 個模型

Oct 22, 2025