TRL 重构 on-policy distillation trainer：支持千亿参数模型，训练速度显著提升

套利逻辑

TRL 新工具降低了大模型训练的硬件和时间成本，让更多开发者能低成本使用甚至复现 SOTA 模型。

前提条件

实操步骤已完成 0 / 4

1. 01步骤 1了解 TRL (Transformer Reinforcement Learning) 库。
2. 02步骤 2研究 on-policy distillation trainer 的具体使用方法和参数。
3. 03步骤 3尝试使用该工具训练自己的模型或复现已有模型。
4. 04步骤 4针对实际应用场景进行调优和部署。