跳到正文
原文
AWS Machine Learning Blog· Ashvin Nihalani·· 4 天前AI 评分31

在 Amazon EKS 上利用 EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%

Scaling MoE reinforcement learning on Amazon EKS with EFA and DeepEP with 40% more throughput

AI 导读

AWS 通过 Amazon EKS、EFA 和 DeepEP 优化 MoE 模型的大规模强化学习训练。该方法协调 rollout 推理与策略训练的异构资源,并在数百个加速器间维持高吞吐通信;相比原有方案,整体吞吐量提升 40%。

来源:AWS Machine Learning Blog · aws.amazon.com