从RL比SFT更不容易遗忘到反观推荐系统缺陷

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作,清晰地支出是RL的On-Policy特性带来了参数的稳定,而SFT将模型参数推向与预训练分布差异很大的方向,导致了遗忘问题(如图,遗忘问题的衡量就是随着新任务的学习,旧任务的平均表现下降)。 这一清晰地结论,点亮了我对很多事情的理解,推荐系统原来孤立的问题也有可能连成一片,有了更深层次的支撑。 本文包括: • LLM领域,RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习,(猜想)许多缺陷也应当由此而生

记19年的生成式重排工作,才知道这个强化方法叫GRPO

绕开 PPO,通俗地讲 GRPO;再回看 2019 年做的生成式强化重排,当时用的就是类似的方法。

YouTube年度最大收益:强化学习遇到推荐系统

YouTube 把 REINFORCE 用在召回上,拿到当年最大的单项收益。拆解它怎么解决 off-policy 偏差和 top-k 推荐这两个难点。