跳到正文
原文
Hugging Face Blog·· 20 天前精选AI 评分63

AsyncGRPO使用LoRA在HF Jobs中训练,无需NCCL

Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

AI 导读

TRL v1.14 支持 AsyncGRPOTrainer 训练 LoRA 适配器并将适配器同步给 vLLM。通过将 Hugging Face Jobs 挂载 Storage Bucket 共享文件系统,并加入代理路由 KV prefix,可实现trainer与推理集群解耦。最终500步训练从3小时27分降至53分。

推荐理由

提供了基于Hugging Face Jobs、Storage Bucket和代理路由的端到端实现细节,可迁移到分布式RL训练场景。

来源:Hugging Face Blog · huggingface.co