推荐周报 2026-W44
2026-10-31
| 2026-10-31
字数 7355阅读时长≈ 19 分钟

本周概览

本周的推荐系统研究呈现出一个清晰的分野:生成式推荐的重心从"能不能生成"转向"生成得划不划算",而传统排序架构的改进则集中在异构信号的粒度对齐上。
主线 1:生成式检索开始拆解自己的成本结构。 标准自回归接口要为 SID 长度付两次钱——历史以 T×K 个 code token 进骨干,每步 beam search 又要过一遍骨干。Pinterest 的 PinGER 用非对称注意力掩码把输入压成每物品一个 token,服务时 fresh Pins saves +3.60%、端到端延迟 -0.7%;学术侧的 Deco 把 beam search 整体委托给轻量 KV-cached 解码器,在 50 ms p95 预算下吞吐提升 3.2–8.6 倍。Octen-WebGR 则把 2.01 亿网页塞进 4B 模型参数,单卡 10 GB 内存跑完,导航查询 top-1 59.6% 对稠密检索 46.5%。三条路线的共同指向是——生成式检索的瓶颈已经从模型容量移到服务成本。
主线 2:多目标与精排从"多算几步"转向"算得对"。 快手 Refiner 用累积加性修正把潜在推理引入 ID-based 排序,阿里 KL-MOPD 发现多目标 on-policy 蒸馏里教师难度在 token 间分布不均,按初始 KL 散度分配权重,并在加性联合目标下给出严格优于 vanilla MOPD 的证明。两篇都指向同一件事:生成式排序的额外计算必须被精确投放到需要它的位置上。
主线 3:排序架构的粒度对齐。 阿里 HiRank 指出序列与非序列信号的有效秩不同,homogeneous self-attention 在这种异质输入上低效,线上订单/用户 +2.27%;美团 HGE 处理容器级排序与商品级交易的结构错配,线上 RPS +1.42%;Criteo 的 COMPOTE 则证明多假设结构的增益来自退火目标而非容量。三篇的共同点是——错配不在模型容量,在建模单元。

生成式检索的规模化与效率优化

生成式检索在工业界的落地速度已经超过了对它成本结构的理解。本周几篇工作从不同角度拆解同一笔账:历史输入占多少 token,beam search 占多少次骨干前向。
PailitaoMMSearch(阿里巴巴)— 淘宝拍立淘的统一端到端多模态检索系统,从原始查询图像和自由指令直接生成商品 Semantic ID。系统沿三个维度扩展。数据侧用可复用工具集组合出意图与生命周期特定的工作流,覆盖冷启动合成、质量控制、真实流量精炼和持续数据生产。意图侧通过持续预训练(CPT)、混合预算 SFT 和统一 RL 三段式,让单一模型逐级获得电商商品知识、多种检索关系和可调推理预算;RL 阶段结合意图均衡优化与对齐多候选服务的 Sample–Beam rollouts。场景侧暴露模型容量与推理预算之间的质量–成本操作点。线上 A/B 结果:item page views +17.90%,transactions +27.04%,GMV +8.94%。
这套设计与 Gryphon 的路线形成对照。Gryphon 在编码器—解码器生成式推荐中联合训练物品级评分组件,解决 SID 序列似然与相关性目标不一致的问题,在工业音乐服务上 Recall@1000 提升 3.7%,并替换了 15 个以上候选生成器与粗排阶段。Gryphon 的思路是在生成框架内补一个判别式的"纠偏器";PailitaoMMSearch 则选择在生成框架内扩展意图覆盖面和推理预算。高德地图的 Gwhere 提供了第三条参考路径:对比残差量化 tokenizer 对齐文本、视觉、空间与协同信号,配合 EAKTO 强化学习目标,上线后 P-CTR +5.83%、U-CTR +6.20%。
PinGER(Pinterest)— 这篇的核心是一个非对称注意力掩码。输入序列里交错排布 SID token 与稠密 token,掩码让后续物品只能 attend 稠密 token。效果是训练时每个 SID 位置都受监督,服务时每个物品只消耗一个 token,而两者计算的是同一个函数。在此基础上,目标条件生成、RL 与前缀多样性惩罚共同把检索导向特定 surface 的目标与更分散的候选。服务栈为 wide-beam 生成做了定制,解码约束到合法 identifier,候选由 host-local 索引解析。Related Pins 上线后 fresh Pins saves +3.60%、整体 saves +0.62%、端到端延迟 -0.7%,同时省掉了被替代的最近邻检索成本。
这个掩码设计要解决的正是 DualGR 那类长短期兴趣建模路线遗留的效率问题。DualGR 用双分支长期/短期 router、基于搜索的 SID 解码(S2D)和曝光感知下一 token 预测损失(ENTP-Loss),线上 video views +0.527%、watch time +0.432%——收益量级与 PinGER 的整体 saves 接近,但 PinGER 额外拿到了延迟下降和检索成本消除。
Octen-WebGR(Octen)— 把 2.01 亿网页存进 4B 语言模型的参数里,给定查询生成两个 token 的语义标识符,约束到真实 URL 表。评估用训练后一个月的真实导航流量。关键发现是生成式检索在"新问法找老页面"上优势最大:对未见查询且目标页面有充分交互历史的场景,top-1 命中 30.9%,同量点击训练的稠密检索为 17.2%(加 click prior 后 21.4%)。反过来,嵌入检索在冷门页面上仍有优势——两种方法分别在查询侧和页面侧泛化,互补。整体导航流量 top-1 59.6%,稠密检索 46.5%,前沿 LLM 从记忆直答最高 37.5%,但每查询成本至少 40 倍。4B 模型单卡 10 GB 显存,精确稠密检索需要 412 GB。
缩放实验(最高 3200 万 URL)给出两条约束:每个查询—页面对曝光次数相同时,所需模型规模随索引规模亚线性增长;检索效果更多受页面曝光度而非模型容量限制。这与 EGR 的嵌入原生路线形成有趣的互补——EGR 用单个共享 LLM 统一学习物品和用户表示、直接以稠密向量索引,在 Snap DPA 线上取得 +2.91% 转化率。两条路线对"生成"和"检索"的边界划分不同。
Deco — 把"读历史"和"写标识符"分开。骨干网络把每个历史物品读成一个融合 token,一次性压缩成紧凑的 next-item concept z;一个轻量 KV-cached 解码器以 z 和已生成前缀为条件,跑完全部 beam search。identifier、trie 和自回归分解都保持不变。解码器单靠交叉熵就接近全骨干精度,加蒸馏进一步提升。七个电商、电影、音乐流媒体数据集上,精度持平或优于标准生成式推荐和融合输入的全骨干教师,生产级服务管线下 50 ms p95 延迟预算内吞吐提升 3.2–8.6 倍。派生结论更值得注意:生成 1000 个候选比教师生成 100 个更快;1.5B 参数 LLM 骨干在匹配 69M 教师吞吐的同时精度更高。
这条思路与 RelayGR 的跨阶段接力推理属于同一类——都是在服务栈层面重新分配计算,而非改模型。RelayGR 在固定 P99 SLO 下把序列长度提升 1.5 倍、吞吐提升 3.6 倍,靠的是序列感知触发器、亲和感知路由器和内存感知扩展器。Deco 的差异在于把候选预算与骨干规模彻底解耦。
SLIDE — 针对列表级生成的一个具体病征:直接训练的 list-wise 模型用贪心解码,显著不如 beam search。两个原因——beam search 探索的搜索空间更宽;稀疏正信号带来位置偏置,靠后位置监督不足。SLIDE 的做法是解耦离线搜索与在线列表生成:教师模型通过离线 item-level beam search 检索高质量候选,其 SID 按 beam 分数拼接成列表级蒸馏目标,学生模型单次贪心前向生成 Top-K。这既把不同搜索路径上的候选转成单轨迹内的序列目标,也让教师规模与在线部署脱钩。在 FORGE 与淘宝搜索上,单次贪心解码即超过 beam search 参考;换更强离线教师还能继续涨。补充的 RL 实验支持列表级生成的有效性。
同类问题在 PROMISE 里有另一种解法:用轻量过程奖励模型做逐步验证,配合 PRM 引导的 beam search 动态剪枝错误分支,让小模型在测试时增加计算后匹配或超过大模型。SLIDE 是把搜索搬到离线、把在线变成单次前向;PROMISE 是把搜索留在在线、但用奖励模型缩小分支。
CRIM — 把物品级语义编码与请求级历史建模彻底分开。少量可学习 summary token 把每个物品压成紧凑连续记忆,段级 readout token(REC token)在交互历史内提供预测监督。这些记忆独立于用户和查询,可跨请求复用。推理时按交互顺序组合缓存记忆,可选地注入查询,产出个性化检索表示——重复的物品文本编码被省掉,请求相关的上下文建模保留。训练侧用联合机制:缓存记忆加采样 live 重编码,每请求只重编码少数历史物品,让检索目标能以有限算力同时优化物品编码器和请求编码器,配合周期性缓存刷新保持一致性。MovieLens-1M、Qilin 和自建 LazSeq 上达到 SOTA 检索性能,同骨干规模下推理成本显著更低。
这条路线与 HyMiRec 的混合多兴趣思路有交集——HyMiRec 用轻量推荐器提粗粒度兴趣嵌入、LLM 推荐器捕细粒度兴趣嵌入,并通过余弦相似度残差码本压缩用户历史。CRIM 的差别在于复用单元是物品而非用户历史段。

生成式推荐的排序精化与多目标优化

生成式排序长期依赖一次性预测,而排序需要对多个候选做细粒度打分。本周两篇工作从不同角度引入额外的推理时计算,但都强调投放位置要精准。
Refiner(快手)— 潜在残差推理框架,面向生成式排序,配合参数高效微调。三个组件:残差推理机制通过累积加性修正逐步精化排序分数;history queries 提供压缩的用户行为表示,让推理带上候选特定上下文;LoRA 微调把预训练模型适配到潜在推理。两个公开基准、一个离线工业数据集和线上 A/B 一致优于直接预测。
这里的方法选择值得注意。很多工作试图把 LLM 的链式推理搬到推荐,但这套文本空间的显式推理不适用于更广泛部署的非文本推荐模型。Refiner 走的是 ID-based 模型内部的潜在推理——同一方向上,xGR 解决的是服务侧问题:通过分阶段计算和分离 KV 缓存统一处理 prefill 与 decode,实现早期排序终止和基于掩码的物品过滤,在严格延迟约束下比 SOTA 基线吞吐提升至少 3.49 倍。Refiner 增加推理步数,xGR 压缩服务开销,两者合在一起才构成"推理时计算可负担"的完整答案。
KL-MOPD(阿里巴巴)— 生成式推荐里一个正样本只有在每个解码步都选对 token 才能被召回,所以传统 item-wise 方法缺少 token 级中间监督。这篇把多目标 on-policy 蒸馏(MOPD)引入生成式推荐,在每个 token 上把两个单目标教师蒸馏进一个学生。问题是 vanilla MOPD 存在两个缺陷:token 级不平衡——每个 token 上教师的蒸馏难度不同;跨 token 不一致——难蒸馏的那个教师会随 token 变化。结果是某些步骤上某个目标学得很差,两个目标的物品召回都受阻。
KL-MOPD 的解法很直接:按初始学生—教师 token 级 KL 散度分配每个 token 的教师权重,在每一步都加强对难蒸馏教师的监督。作者在温和条件下证明,在加性联合推荐目标下 KL-MOPD 严格优于 vanilla MOPD。工程上 plug-and-play,只需一次性预训练权重校准,额外训练开销可忽略。三个公开基准、一个十亿级工业数据集和电商广告平台线上 A/B 都显示个体与联合指标提升。
多目标协调在生成式推荐里的另一条路径是 OneLoc 的做法:快手本地生活服务用地理感知语义 ID、地理感知自注意力和邻居感知提示整合地理信息,再用 RL 平衡多目标,GMV +21.016%、订单数 +17.891%。KL-MOPD 是在 token 粒度上做蒸馏加权,OneLoc 是在序列粒度上用 RL 做目标权衡。

排序架构与序列多意图建模

排序侧的架构改进本周集中在同一类问题上:不同来源的信号在统计性质上不同,把它们塞进同一个注意力块或同一个建模单元会损失信息。
HiRank(阿里巴巴)— 针对大规模工业排序模型的一个具体观察:序列特征和非序列特征的有效秩(eRank)不同,把同质自注意力直接套到所有语义 token 上效率不高;同时共享表示会忽略场景特有模式,在场景间引入负迁移。HiRank 在统一 backbone 内融合门控序列注意力与异构特征交互,让序列与非序列表示双向融合;再用场景感知聚合把异构低阶 token 压成紧凑表示;不同学习投影把该紧凑表示变换成场景感知复合 token——互补的全局特征视图、更均匀的信息密度——在此基础上做高阶自注意力更有效。工业规模数据集上性能随参数量良性 scaling,线上 A/B 订单/用户 +2.27%。
这与 HyFormer 的工作构成直接对话。HyFormer 把长序列建模和特征交互整合进单一骨干,在工业数据集上超越 LONGER 和 RankMixer,线上 A/B 有 CTR 提升。HiRank 的增量在于用 eRank 视角解释了为什么这种整合需要非对称处理,并给出场景维度的解法。多任务侧可以参考 AdaTT:用多层级的深度融合网络配合残差与门控实现任务间自适应融合,是 Meta 工业数据集上的强基线。
HGE(美团)— 直播与 O2O 电商天然是"容器式"展示:平台在容器级(直播间、门店)做排序与预估,实际交易发生在容器内的商品级。这个粒度错配带来三个问题——标签方差高、标签稀疏严重、物品组成动态异质。HGE 用三个模块分别应对:HSAE 混合集合感知编码器建模物品的动态组成与特征交互;PLL 代理标签学习把点击后 GTV 分解为购买概率 × 数量 × 单价,压低标签方差;RCEF 残差校正与集成融合把物品级聚合与容器级推理结合,缓解标签稀疏。离线 XAUC +0.63%,线上 RPS +1.42%,已全量上线主流量。
容器级与商品级的分解在因果推断侧有对应工作。Probabilistic Residual Learning 用概率用户分组、域级混杂因子建模和 do-calculus 聚合,在 Meta 线上系统取得 +2.3% CTR。两者的共同点是承认观测单元与决策单元不重合,并用残差结构桥接。
COMPOTE — 下次交互预测本身是多义的:一段历史常常对应目录中不同区域的多个合理延续,标准序列推荐器把这些备选压成单一预测,混淆了用户意图。COMPOTE 是一个多假设 Transformer,训练用退火目标——从均匀监督过渡到 winner-takes-all 分配。该机制迫使各假设专业化到不同目录区域,同时防止常规多头架构里的头坍缩。推理用无归一化的 max-similarity 规则。
理论部分给了两条支撑:population 情形下最优解按最大熵量化原则划分条件 next-item 分布,而池化分数保持 Bayes 最优排序;泛化界随假设数对数增长。Amazon Reviews 2023 三个基准上,仅用物品 ID 即超过强 ID 基线、生成式基线和多兴趣基线。匹配容量的消融确认增益直接来自退火目标,而非额外容量、ensemble 或 routing。
这条线可以追溯到 DSIN:按 30 分钟间隔把行为序列切成 session,用带偏置编码的自注意力建模 session 内兴趣,Bi-LSTM 建模 session 间演化,在 CTR 任务上超过 DIN 和 DIEN。COMPOTE 把"多段兴趣"从时间切分改成假设切分,并用退火而非架构来强制分化。检索增强侧的对照是 RAT,通过检索相似样本增强候选物品表示,在公开数据集上 AUC 提升约 0.5–1.0%,主要收益在冷启动和长尾。

广告创意与预算的探索利用优化

广告侧的探索问题本周落在两个不同粒度的决策上:创意级的选择和预算权重的分配。两者都受制于反馈稀疏与延迟。
层次经验贝叶斯创意预排(Roblox)— 动态创意优化决定每次请求渲染哪个创意。既有工作把这个选择放在广告排序之前,但依赖确定性点预测,没有校准的不确定性。AIGC 让创意几乎免费,而每个创意的反馈依然稀疏,选择还要受严格延迟预算约束。
这篇提出的创意预排器对每个召回的创意打分,在单用户排序器运行前先给每个 campaign 的池子做 shortlist。创意位于"受众段—广告项—campaign—创意"四层结构中,冷创意回退到父层已经积累的信息,借用强度由历史日志闭式确定,每层一个参数、无需调参。为守住延迟预算,预排器按受众段而非个体用户预测,使用按属性聚合的计数器。选择时对每个创意做一次 Thompson 采样,让新创意仍有被学到的机会。
回放 Roblox 赞助广告有竞争创意的 campaign 流量:shortlist 把预测播放率提升 8.14%,同规模随机 shortlist 为 2.80%;转发创意数比全池减少 40% 以上;服务时延仅增加 0.2%。线上 A/B 后在 Roblox 生产环境服务。Thompson 采样在冷启动场景的邻居工作可参考 Dynamic Prior Thompson Sampling:用闭式二次解设置先验均值,确保新臂引入时以概率 ε 胜过现有赢家,在缩略图个性化系统的在线实验中提升 Qualified Play-Through Rate 并减少后悔曝光。Delightful Exploration 提供了另一种门控思路——用预期改进乘以惊喜度作为探索门控,在 Bernoulli bandit、线性 bandit 和 tabular MDP 中相同超参数无需调参,遗憾增长远低于 Thompson Sampling 和 ε-greedy。
GP-UCB 约束黑盒杠杆优化(Booking.com)— 在共享预算的竞争分段间优化离散分配权重。实际约束是延迟、噪声和聚合反馈,加上对权重调整频率的严格运营限制。组合动作空间加极端数据稀疏,让独立评估每个臂的经典 MAB 变得低效。这篇用 GP-UCB:把高斯过程先验放在奖励函数上,在相邻配置间共享信息,大幅压缩探索 horizon。
工程路径分两步。先用高保真合成模拟器在平稳、漂移和反应式三种环境下评估各种核配置,识别出 Matérn + Linear 复合核对局部噪声和全局漂移最稳健。再在真实生产环境做大规模 RCT,相对 ε-greedy 基线取得统计显著的效率提升。这个"模拟器选核 + 线上 RCT 验证"的组合对带运营约束的黑盒调优有直接参考价值。
预算约束下的因果 bandit 近邻工作是 BCCB:统一学习、探索与预算控制,在 Criteo Uplift 数据集上仅需 1 个用户即可有效运行,而离线方法需要约 10,000 个历史观测。方法比较的实验设计本身也有讲究——Artificial Replay 证明无偏估计下实验成本从 2T 降至 T+o(T),方差次线性增长,在 UCB、Thompson Sampling 和 ε-greedy 上都验证过。GP-UCB 这篇的合成模拟器设计可以看作同一问题在连续动作空间上的对应物。

值得关注的方向

生成式检索的成本瓶颈已经从模型侧移到服务侧。 本周至少四篇工作在做同一件事的不同切面:PinGER 压缩输入 token(每物品 1 个),Deco 把 beam search 从骨干剥离(吞吐 3.2–8.6 倍),CRIM 让物品编码跨请求复用,SLIDE 把搜索搬到离线(单次贪心前向生成 Top-K)。加上 xGR 的服务栈优化和 RelayGR 的跨阶段接力,一个可能的结论是——接下来一年生成式检索的进展会更多来自"如何组织计算"而非"如何设计模型"。Pinterest、阿里、Pinterest 系的多条产线都在这个方向上推进,实际应用前景直接对应单位请求成本下降和候选池扩容。
Token 级监督正在成为生成式推荐多目标协调的主战场。 KL-MOPD 的 token 级不平衡与跨 token 不一致是生成式推荐结构性的问题——正样本只有所有 token 都选对才能召回,所以任何 item 级的损失设计都会丢失中间步骤的信号。这条线上的相邻证据包括 PROMISE 的过程奖励模型逐步验证和 Refiner 的累积残差修正。值得关注的是,KL-MOPD 给出的理论保证是在加性联合目标下成立的,这个假设在真实业务的多目标权衡中未必严格满足,后续工作可能会从这里切入。
异构信号的粒度对齐比模型容量更值得投入。 HiRank 的 eRank 视角、HGE 的容器—商品粒度分解、COMPOTE 的假设数目与泛化界,三篇从不同角度指向同一结论:把统计性质不同的信号塞进同一个建模单元会损失信息,而这个损失不能靠加参数补回来。美团、阿里、Criteo 都有对应产线,实际收益量级(订单/用户 +2.27%、RPS +1.42%)虽然不如生成式检索的 headline 数字抢眼,但这些是稳态流量上的增量,边际价值更高。

本周论文速览

生成式检索的规模化与效率优化
PailitaoMMSearch — 阿里巴巴提出统一端到端多模态生成式检索系统,从查询图像和自由指令直接生成商品 Semantic ID,沿数据、意图、场景三维扩展;淘宝拍立淘线上 item PV +17.90%、transactions +27.04%、GMV +8.94%。
PinGER — Pinterest 用非对称注意力掩码交错 SID 与稠密 token,训练时每个 SID 位置受监督、服务时每物品一个 token;Related Pins 线上 fresh Pins saves +3.60%、整体 saves +0.62%、端到端延迟 -0.7%。
Octen-WebGR — Octen 将 2.01 亿网页存入 4B 模型参数,生成两 token 语义标识符约束到真实 URL 表;导航流量 top-1 59.6% 对稠密检索 46.5%,单卡 10 GB 显存运行。
Deco — 分离历史读取与 SID 写入,骨干每物品读一个融合 token 并压缩为 next-item concept,轻量 KV-cached 解码器跑完 beam search;七个数据集上 50 ms p95 内吞吐提升 3.2–8.6 倍。
SLIDE — 以淘宝搜索为实验场景的 search-to-list 蒸馏框架,将离线 item-level beam search 候选按分数拼接成列表级蒸馏目标,学生单次贪心解码生成 Top-K;在 FORGE 与淘宝搜索上超过 beam search 参考。
CRIM — 用可学习 summary token 将物品压成跨请求复用的连续记忆,配合 REC 读出 token 与缓存+采样重编码联合训练;MovieLens-1M、Qilin、LazSeq 上以更低推理成本达到 SOTA 检索性能。
生成式推荐的排序精化与多目标优化
Refiner — 快手提出潜在残差推理框架,通过累积加性修正逐步精化排序分数,结合 history queries 与 LoRA 微调;两个公开基准、离线工业数据和线上 A/B 均优于直接预测。
KL-MOPD — 阿里巴巴提出按 token 级 KL 散度加权的多目标 on-policy 蒸馏,解决 token 级不平衡与跨 token 不一致,理论证明优于 vanilla MOPD;三个公开基准、十亿级工业数据集与线上 A/B 均有提升。
排序架构与序列多意图建模
HiRank — 阿里巴巴提出统一多场景排序框架,基于有效秩(eRank)视角融合门控序列注意力与异构特征交互,场景感知聚合生成复合 token;线上订单/用户 +2.27%。
HGE — 美团针对容器级排序与商品级交易的粒度错配,提出 HSAE 集合感知编码器、PLL 代理标签分解和 RCEF 残差校正融合;离线 XAUC +0.63%,线上 RPS +1.42%,已全量上线。
COMPOTE — 提出退火多假设 Transformer,目标从均匀监督过渡到 winner-takes-all,强制假设专业化并防止头坍缩;Amazon Reviews 2023 三个基准仅用物品 ID 即超越强基线,匹配容量消融确认增益来自退火目标。
广告创意与预算的探索利用优化
层次经验贝叶斯创意预排—Roblox 提出四层经验贝叶斯创意预排器,按受众段聚合、单次 Thompson 采样做 shortlist;回放预测播放率 +8.14%(随机 shortlist 为 2.80%),转发创意减少 40% 以上,服务时延仅增 0.2%,已生产部署。
GP-UCB 约束黑盒杠杆优化 — Booking.com 用 GP-UCB 在相邻配置间共享信息优化预算分配权重,合成模拟器识别 Matérn + Linear 复合核最稳健;大规模线上 RCT 相对 ε-greedy 取得统计显著效率提升。
  • 推荐系统
  • 周报
  • 论文
  • AI周报 2026-W44AI 技术日报 - 2026-10-31
    Loading...