- 标签:
- 日报 (279)
- 推荐系统 (175)
- 技术趋势 (165)
- AI (161)
- 周报 (48)
- 论文 (30)
- 思考 (7)
- LLM (6)
- 推荐 (5)
- Agentic Engineering (5)
- 深度学习 (4)
- 工具 (3)
- Transformer (3)
- Harness Engineering (3)
- 强化学习 (1)
- 思维模型 (1)
- 管理 (1)
- 生成式 (1)
2017 年,Ilya Sutskever 读到《Attention Is All You Need》时,立即意识到”这就是我们需要的一切”。OpenAI 随即放弃了 RNN/LSTM 路线,全面转向 Transformer,催生出整个 GPT 系列。Transformer 的并行能力让他们得以实现一直相信的 Scaling 路径。八年后的今天,推荐系统终于走到了同样的路口。 2024 年之前,推荐领域有了 HSTU、TIGER 这样的工作,但大多数团队还在观望。2025 年,我观察到一个明显的转变:大家开始认真地把排序模型 Dense Scaling Up,搞生成式召回和端到端推荐。这很像 2017 年——当时大家忙着把 LR/GBDT/FM 切换到 Deep Model 和双塔,切换过程持续了一两年,之后再没人回头。我的判断是,2026 年将是推荐系统 All-In Transformer 的一年,不改变就落后。
从精排切换成深度学习以来,工业界一直会把排序的模型结构研究切分成基本的两部分,序列处理和特征交叉,甚至有一些公司的排序组,下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候,比如序列用DIN来处理,序列就被压成了一个或多个向量表征,再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features)),发展到今天大多数的模型研究,还是分立地把MLP换成DCN,增加个LHUC,复杂化为Rank Mixer或Transformer,把DIN叠加MHA,直接换成Transformer,可以写成RankMixer(concat(Transformer, Features))。 从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features)),本质没有变,就是序列处理和特征交叉是一个隐式的两阶段处理,序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处,就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中,它能启发推荐排序模型的,就是每一个特征的交叉应该发生在用户序列的Token Space之中。
本周推荐系统研究围绕三条主线展开:生成式推荐从单点召回组件走向覆盖排序与推理的工业级框架;CTR 建模范式重新组织上下文单元以对齐真实决策过程;召回侧则在多兴趣与多模态的叠加下重新收敛效率与成本。 主线 1:生成式推荐从“解码物品”走向“统一生成与推理”。 腾讯的 TGR 将生成式范式推进到排序、端到端生成和推理注入三个方向,其中 CCFormer 在五个 A/B 场景取得显著提升;百度 ICGR 把查询意图一致性贯穿 SID 构建、SFT 与偏好优化全链路,线下 Recall@20 提升 21.7%。共同指向是——生成式推荐不再止步于“用模型替代索引”,而是开始重构排序与召回之间的边界。 主线 2:统一 CTR 模型开始以“上下文”为基本单元。 美团 UniCon 把请求上下文当作同质单元,统一历史与目标的结构,线上 RPM 提升 3.09%;字节 ReST 则在行为序列上验证了 LLM 式 Transformer 在基准上饱和后仍可沿推荐原生设计继续扩展。两篇的共同指向是——推荐特有的信号噪声与计算不对称需要架构级的重新设计,而非简单搬用 NLP 缩放法则。 主线 3:召回侧的成本意识回归。 Snap 的 SetMIR 把多兴趣召回建模为集合预测,用 presence score 动态削减 33% 的 ANN 查询;同一团队的 CAMIE 用单个多模态编码器替换碎片化的 I2I 检索栈;Mubadala 的 PULSAR 用两阶段池化索引把中位向量检索延迟降低 15.1 倍。三者的共同逻辑是——召回的性能度量不再只有准确率,查询预算和索引体积正在成为一等的优化目标。