选一个方法

NeMo-RL、verl、TRL、OpenRLHF、evalkit 与 custom

sf methods                  # 这套部署提供的全部方法
sf methods nemo-rl/grpo     # 某个方法可调的参数，带取值范围

sf methods 才是「你连的这台服务器实际发布了什么」的权威答案。下面的表是一张地图，不是版本锁定。

控制台的方法页展示同一份 catalog 并把参数铺开，第一次提交前看那个更省事。

​

NeMo-RL

默认框架，覆盖完整后训练链路。当前 catalog 发布：nemo-rl@0.7.0。

方法	是什么	什么时候用
nemo-rl/sft	监督指令微调	流水线第一段，产物再进 DPO / GRPO
nemo-rl/dpo	Direct preference optimization	已有 pairwise 标签；比 GRPO 便宜
nemo-rl/grpo	Group relative policy optimization	数学 / 推理 RL；没有 critic
nemo-rl/grpo-lora	GRPO + LoRA	显存紧，或单机训更大底座。LoRA lr 比全参高 1–2 个数量级
nemo-rl/ppo	带 critic 和 GAE 的 PPO	稠密奖励，或组内 baseline 被扭曲
nemo-rl/rm	Bradley-Terry 奖励模型	RL 的奖励源，或校准 LLM judge
nemo-rl/distillation	On-policy 蒸馏	学生采样，教师给全分布 KL
nemo-rl/maxrl	Maximum-likelihood RL	把学习信号集中在低通过率的难题上
nemo-rl/opsd	同模型自蒸馏	教师 = 同一模型 + 参考解答

​

verl

字节 verl 同步 trainer。catalog 发布：verl@0.9.0。入口和参数路径的版本差异写在版本矩阵里（Recipe）。

下面这些 RL 方法跑的都是同一个官方入口（verl.trainer.main_ppo），区别只在 recipe 钉死的 advantage estimator。 这是刻意的：estimator 不是可以写在 config.yaml 里的超参——写了会在提交时被拒，因为「配置和方法悄悄不一致」比报错更糟。

方法	是什么
verl/grpo	同步 GRPO；镜像和依赖由 recipe 钉死
verl/dapo	GRPO 之上默认开启 DAPO 四件套：clip-higher、动态采样、token 级 loss、超长奖励整形
verl/ppo	带 critic 的 GAE PPO。奖励密集/过程奖励，或组内基线被扭曲时用
verl/rloo	留一法基线：无偏，且不除以组内标准差
verl/reinforce-baseline	REINFORCE++-baseline：组内均值 + 全局 batch 白化。与 openrlhf/reinforce-baseline 同一个 estimator
verl/remax	基线取模型自己的贪心解；每题采一条，代价是每步多跑一遍贪心生成
verl/distillation	On-policy 蒸馏（OPD）。教师推理服务要单独一个资源池
verl/sft	官方 SFT trainer；GPU 进程用显式 torchrun argv

loss 变体——GSPO、CISPO、GMPO、clip-cov / kl-cov、GPG——不是独立方法：它们是上面任一 RL recipe 的 policy_loss_mode 参数。 rollout 校正（TIS / IcePop）同理：每个 verl RL 方法都带 rollout_is* 参数——rollout 引擎和训练器从来就不是同一个策略。

​

TRL

Hugging Face TRL + Accelerate。catalog 发布：trl@1.10.0。

方法	是什么
trl/sft	SFTTrainer
trl/dpo	DPOTrainer
trl/grpo	GRPOTrainer 在线 RL
trl/rm	RewardTrainer（SequenceClassification）
trl/kto	只要二元好/坏标签，不要 pairwise
trl/rloo	leave-one-out 组内 baseline；和 GRPO 同族，不除组内标准差
trl/opsd	DistillationTrainer on-policy 蒸馏；要词表相同的教师（teacher_model）

​

OpenRLHF

DeepSpeed ZeRO + vLLM hybrid engine（colocate）。catalog 发布：openrlhf@0.11.0。镜像要自建（deploy/docker/Dockerfile.openrlhf），配 FORGE_IMAGE_OPENRLHF 或 runtime 注册表。上游官方 Dockerfile 不会放出带包本体的现成镜像。

方法	是什么
openrlhf/sft	官方 SFT（packing、多轮 loss、continued pre-training）
openrlhf/dpo	官方 DPO（IPO / cDPO、NLL 正则）
openrlhf/rm	Bradley-Terry 奖励模型；可作 OpenRLHF RL 的 reward_pretrain
openrlhf/grpo	group-norm GRPO，无 critic。no_std_norm 就是 Dr.GRPO
openrlhf/ppo	GAE PPO + critic；actor/critic/ref/reward 共卡
openrlhf/reinforce-baseline	REINFORCE++-baseline（全局 batch 归一 + 组内均值）。与 verl/reinforce-baseline 是同一个 estimator，换栈不换算法

​

评测和 custom

方法	是什么	文档
evalkit/benchmark	lm-eval / evalscope；分数进看板	Benchmarks
custom/custom	跑 train.sh；镜像自备，曲线调 starforge.report	自定义训练

按框架的走法：NeMo-RL、verl、TRL、OpenRLHF。

​

怎么起手

常见流水线：SFT → DPO 或 GRPO → evalkit/benchmark。流水线。