YouTube年度最大收益:强化学习遇到推荐系统
2019-11-25
| 2026-11-11
字数 1467阅读时长≈ 4 分钟

Top-K Off-Policy Correction for a REINFORCE Recommender System

敲黑板

  • youtube年度最大收益的优化。
  • 将强化学习用在了召回上。
  • 使用基于policy-base的强化算法REINFORCE,针对推荐问题进行了一系列改造,这是主要的创新点。

强化学习用在了哪里

在2016年的时候,youtube发表了著名的DeepMatch,整个业界都在follow。它的架构是一个单塔模型,用户侧通过多层全链接得到用户的K维embeeding,然后是一个softmax多分类,每个item自己是一类,和word2vec类似,所以它优化的方式也是负采样。每一个类别的权重,也就是item的embedding。这个训练的时候的loss叫做sampled_softmax。强化学习的改进,首先就是在这个架构的基础上,变更了训练的loss。
REINFORCE是很早的基于policy-base的强化算法。policy-base是什么?简而言之就是产出策略,根据奖赏反馈变更策略,区别于value-base的方法——去估计状态的价值。REINFORCE是什么?在一组离散的动作上,模型通过softmax产出每个动作的概率,这个时候根据收到的奖赏,正向的奖赏就增大概率,负向的奖赏就减小概率。而在形式上,就是交叉熵乘以了累计折损奖赏。直观上的理解是,我们用交叉熵来调整模型的概率分布,正向收益就往一个方向上调,负向收益就反方向调。
notion image
所以,如果仔细看看强化loss和之前的sampled_softmax有何不同?1,原来的loss关心的是真实的正样本和负采样之间的区分,现在那些真实的负样本也被纳入进来。2,强化的Reward可以度量不同的正样本之间的差异以及对长期收益的影响。
把强化用在推荐上拿收益,风险是很高的,用在召回阶段,在loss上的调整有延续性,就极大的降低了风险。

REINFORCE是on-policy的,推荐是个off-policy场景,怎么破

on-policy是什么?我们的强化模型产出了一个动作,环境反馈了奖赏,我们更新动作的概率。如果我们把执行动作的上下文记下来,离线批量更新模型,更新的模型不是当时产出动作的模型。算法能这么做就是off-policy,无法这么做就是on-policy。不仅REINFORCE是,几乎所有纯粹的policy-base的算法都是on-policy的,而要改造REINFORCE为off-policy的,有一个重要的技术就是importance-sampling。
importance-sampling是啥?从Q分布采样,去估计P分布,用在推荐的场景就是,从线上的模型采样,学习新的离线模型。说的云里雾里,但在形式上却很简单,就是在更新公式前乘以一个系数,这个系数是离线模型当前概率除以线上的采样概率。
notion image
要完成importance-sampling,在线上记录下当时的采样概率就好了。但youtube并没有这么做,一般一个新方案上线就是一个AB测试的小流量,这个流量记录下来的日志去学习一个靠谱的模型是不太靠谱的,那么就需要利用整个场景的日志,但是那些场景并没有所谓的采样概率。于是youtube祭出了他们的Beta模型,用来预估这个场景推荐出一个item的概率。具体的做法,使用user侧的embedding模型,但是在训练时挡住了梯度,在一套新的item的softmax参数上,学习场景的动作概率。也就是在importance-sampling的那个分母上,youtube老师在哪里塞了一个模型。
notion image

强化的action是选出一个item,而场景是top-k推荐,怎么破

现在在使用模型的时候,是从softmax的概率中采样得到item的,每次一个,而在训练过程中,这个概率会很大地集中到某个item上。在召回的场景里,需要先从候选池里召回一大批结果,然后在结果里采样,如果概率集中的话,其余的item区分度并不高。所以,在top-k推荐的场景里,要对概率进行修正。
以下三个公式,第一个是topk的策略和选一个item的策略之间的概率关系,直观理解,就是某个item在topk中推出的概率等于在1减去K次都没有被推出的概率。将其代入下方的等式,可以算得在原来的loss乘以一个新的项。 项的存在,让动作空间的概率变得更为均匀。
notion image

总结

youtube将policy-base的强化算法REINFORCE应用在召回环节。通过一个共同训练的beta模型预估item的选择概率,用于importance-sampling,将on-policy的REINFORCE算法转化为off-policy,解决了小AB如何利用场景样本的问题。又通过top-k的修正,使得动作空间的概率平缓,并在模拟和线上实验中证明了这一修正的效果。
到这里,这篇文章的要点已经给出了。当然文章里还有很多细节,喜欢的小伙伴可以自行探索。
  • 推荐系统
  • 强化学习
  • 论文
  • 推荐算法三视角:矩阵,图,时间线AI 技术日报 - 2026-11-15
    Loading...