高效强化学习训练 - 优化slime中的权重同步

本文也在我的知乎专栏中发布， 知乎链接 作者 何标 朱子霖 李冀 1. 什么是slime？ slime 是一个强化学习大规模训练框架，提供以下核心能力： 多功能 – 拥有完全可定制的rollout接口和灵活的训练设置（同卡或分离、同步或异步、RL或SFT）。 高性能 - 原生集成Megatron和SGLang进行训练和推理。 易维护 - 轻量级代码库，并可从Megatron预训练平滑过渡到SGLang部署。 1 大规模验证 - 最近发布的 zai-org/GLM-4.5(355B) 和 zai-org/GLM-4.5-Air(106B) 都是通过slime做的RL训练。 slime主要由三个核心模块组成 2 ： 训练模块（Megatron） – 处理主要的训练过程，从数据缓冲区读取数据，并在训练后与rollout模块同步参数 Rollout模块（SGLang + Router） –…