推荐系统迭代的本质是 Scaling:结构只是摩擦系数,Infra 才是核心能力

Scaling 这个词从 LLM 扩展到推荐系统,最近也是驱动了推荐系统的核心收益。它有 Scaling Law 的 paper 提出,原本是指算力、参数、数据和 Loss 的 powerlaw 经验关系。由于推荐系统一直也是用全数据的,那么实际就是指扩展推荐模型的网络参数量,能够持续稳定地提升离线指标。 之前迭代了很久的成熟的工业模型,折腾网络结构和特征,每次迭代收益来到了千分位,突然又能有几个百分点地提升了,这就是网络参数 Scaling 的魅力,和转为业界共识的核心原因。 但这不是推荐系统的第一次 Scaling,或者说 网络参数Scaling 背后是一种做推荐目标优化的思维方式:放弃掉算法局部技巧的细枝末节,找到一个可以扩展的轴,转动它能够稳定地影响业务指标,你就把一个玄妙未定的算法研究问题转化成了稳定可预期的工程问题。

时隔一年,贴一下当时的生成式推荐精读笔记

Meta HSTU(Actions Speak Louder than Words)精读笔记:样本组织、任务重述、HSTU 结构,以及训练和推理加速。

记19年的生成式重排工作,才知道这个强化方法叫GRPO

绕开 PPO,通俗地讲 GRPO;再回看 2019 年做的生成式强化重排,当时用的就是类似的方法。

基于物品的协同过滤i2i--算法、trick及分布式实现

I2I 是电商召回的基石。梳理经典 I2I 算法、统一的计算框架、实用 trick,以及基于 Hive + UDF 的工业级实现。

推荐算法三视角:矩阵,图,时间线

忘掉公式和代码,推荐算法只剩三幅图景:矩阵、图、时间线。用这三个视角串起协同过滤、图模型和序列推荐。

YouTube年度最大收益:强化学习遇到推荐系统

YouTube 把 REINFORCE 用在召回上,拿到当年最大的单项收益。拆解它怎么解决 off-policy 偏差和 top-k 推荐这两个难点。