公告
📣 TikTok 电商基础模型组
🎉【持续招聘中】🎉
致力于打造下一代推荐系统
欢迎联系
过去几年,NLP 经历了一次彻底的统一:翻译、摘要、问答、分类,曾经各有专用的模型和流水线,最后都被一个 LLM 取代。多模态的理解和生成正在走同样的路。 在多模态理解和生成这条线上,NVIDIA 九月底发布的 PixelUMM(Encoder-Free Unified Image and Video Understanding and Generation)是一个很好的代表。它在像素空间里同时做图像、视频的理解和生成:没有 ViT,没有 VAE,像素和 Transformer 之间只有一层线性层。单看榜单它并不突出,作者自己的结论也只是与基线"可比"。但借这一篇论文,恰好能把生成领域这几年的核心问题串起来:输入为什么不再外挂编码器,理解和生成为什么要放进一个模型,生成的输出和 loss 又是怎样从 latent 走到像素的。
Transformer 在推荐系统中也开始被广泛地采用,加上参数和算力的 Scaling Up,可以持续地在推荐系统中获得收益。但是从日常面试中,我也发现大多数的推荐系统从业者缺乏对 Transformer 的基本认知,导致了在Scaling 中出现常识性地错误引发失败。 Transformer Scaling 的核心问题,是尺度匹配。 Transformer 从来不是一个可以随意放大的黑盒模型。当模型的深度和宽度发生变化时,residual stream 的尺度、每一层的梯度、参数更新量、Attention logit、优化器的二阶矩估计,甚至最优 learning rate 都会一起发生变化。如果这些量没有被控制在合适的区间里,增加的参数不但不会变成有效容量,反而可能让模型进入一个“能训练,但没有真正学好”的状态。