推荐系统模型演进全解析：从协同过滤到大语言模型

1. 从猜你喜欢到精准命中推荐模型这十年到底在进化什么做推荐系统这行久了经常被朋友问一个问题你们那个“猜你喜欢”到底是怎么猜的其实这句话背后藏着一个很有意思的事实——大多数人以为推荐算法是近几年冒出来的黑科技但实际上推荐模型已经经历了至少四代更迭从最早的“找相似的人”进化到现在的“预测你下一秒想点什么”底层逻辑完全是另一套体系了。我刚入行那会儿正赶上协同过滤如日中天的时候。那时候业界讨论最多的就是UserCF和ItemCF谁更牛内存里塞几个G的相似度矩阵就能吹半天。现在回头看那套东西当然还在用但只是整个推荐链路里最基础的一环。真正让推荐效果产生质变的是模型从“记忆”走向“泛化”从“人工特征”走向“端到端学习”的整个过程。这篇文章我想顺着技术演进的时间线把推荐模型的来龙去脉梳理一遍。不管你是刚接触推荐算法的学生还是已经在做排序模型但对历史脉络不够清楚的工程师又或者是想给自己的App接入推荐能力的产品经理这篇梳理都能帮你建立一张完整的地图——知道每个模型解决什么问题、代价是什么、为什么后来者能取代它。更重要的是我会把实际工程中踩过的坑和验证过的经验一并写出来这些东西在教科书里基本找不到。2. 第一代模型协同过滤与矩阵分解的黄金年代2.1 协同过滤的核心直觉邻居即算法推荐算法最早被大规模应用靠的不是什么高深理论而是一个朴素到极致的假设相似的人喜欢相似的东西或者相似的东西会被同一个人喜欢。这就是协同过滤的两条分支——UserCF和ItemCF。UserCF的思路是找到和你口味最像的一群人把他们喜欢的、你没见过的物品推荐给你。ItemCF的思路反过来你之前喜欢过某个物品那我就找出和这个物品最相似的其它物品推荐给你。听起来都不难但实际落地的时候差别很大。UserCF在新闻类场景表现好因为用户兴趣变化快群体热点能快速捕捉ItemCF则在电商、视频这类物品相对稳定、用户兴趣长尾的场景里更稳。我做电商推荐那几年ItemCF一直是兜底方案因为物品相似度矩阵可以离线算好线上只需要查表延迟极低。但协同过滤有个致命伤冷启动。新用户没有任何行为新物品没有任何交互相似度根本算不出来。另外纯协同过滤只能说“别人也喜欢”却说不清“为什么喜欢”这导致它很难对推荐结果做解释也很难引入物品本身的属性信息。2.2 矩阵分解把隐向量变成万能钥匙为了缓解稀疏性和冷启动问题矩阵分解Matrix Factorization, MF登场了。它的核心思想是我们不直接算用户和物品的相似度而是把用户和物品都映射到一个低维的隐向量空间里然后用向量的内积来预测评分。用大白话说每个用户被压缩成一个128维的向量每个物品也被压缩成一个128维的向量这两个向量做点积得到的值就是模型对“你会不会喜欢这个东西”的预测。这个隐向量不是人肉设计的而是通过优化目标函数自动学出来的。经典的SVD、SVD、FunkSVD都属于这个范畴。我第一次在业务里用矩阵分解替代ItemCF时线上点击率直接涨了8%上下。原因不难理解隐向量能捕捉协同过滤看不到的隐含关系比如“喜欢看科幻片的人往往也关注硬核数码”这种跨品类偏好靠显式的相似度计算很难发现。但矩阵分解也不是银弹。它本质上还是线性模型的内积表达能力有限。用户和物品的交互关系远非线性内积很难拟合“某个用户对某类物品又爱又恨”这样复杂的模式。而且它依然解决不了冷启动——新用户、新物品压根没有历史行为自然学不出隐向量。2.3 工程落地时的关键细节那个年代做推荐离线训练和线上服务的链路比现在简单得多但坑也不少。相似度矩阵的存储几千万用户两两算相似度矩阵规模是天文数字必须做倒排索引加截断只保留每个用户Top N个邻居。隐向量维度选择我当时用FunkSVD测试过64、128、256维发现128维在效果和资源消耗之间最均衡。太低欠拟合太高容易过拟合而且线上存储和计算压力大得多。训练集采样负样本不能全用“没看过”的物品因为没看过不代表不喜欢可能是根本没曝光过。得用“曝光未点击”作为真正的负样本这一点直到今天依然是推荐系统里最重要的细节之一。3. 第二代模型CTR预估的军备竞赛——LR、GBDT与FM的混战3.1 从“找关系”到“学特征”逻辑回归成为工业界基石协同过滤和矩阵分解解决的是“用户-物品”二元关系但真实业务里决定用户点不点击的信息远不止这两个ID。用户的城市、设备、时段、天气物品的类目、价格、标签这些特征在协同过滤里几乎用不上。为了让推荐模型具备更强的描述能力工业界转向了经典的CTR预估思路把推荐问题建模成二分类问题——用户看到这个物品后点击还是不点击。当时最主流的模型是逻辑回归LR。为什么是LR因为它简单、可解释、能上亿级特征、训练快。LR本质上就是一个线性分类器把用户特征、物品特征、上下文特征拼成一个巨大的稀疏向量然后学习每个特征的权重。但LR有个天生的缺陷无法自动学习特征组合。比如“女性 美妆类目”这个组合才是强信号LR只能分别学“女性”的权重和“美妆”的权重组合之后的效果靠线性加和错过了交互信息。于是工程师们开始疯狂做人工特征交叉把“用户性别-物品类目-时段”这种组合提前拼好喂给模型。那个年代特征工程才是推荐系统的核心竞争力模型本身反而不是。3.2 FM/FFM让模型自己学会组合特征人工做交叉特征既费人力又容易遗漏于是因子分解机FM应运而生。FM的核心贡献是把特征之间的二阶交互权重分解成隐向量的内积。也就是说两个特征是否该组合、组合的力度多大不再靠人工指定而是模型自动学。FM在稀疏场景下效果显著因为它用隐向量解决了“某个特征组合在训练集中出现次数太少”的问题。即使“女性美妆”这个组合在样本里只出现几十次模型也能通过“女性”这个特征与其它特征的隐向量关系间接学到它的表达。FFMField-aware FM则更进一步把特征按域Field划分每个特征的隐向量不止一个而是针对不同域学不同的向量。比如“用户ID”这个特征在和“物品类目”交互时用一个向量在和“时间”交互时用另一个向量。FFM在当时把很多CTR比赛的榜单刷了一遍但它的参数量也大得多训练和推理成本更高。3.3 GBDTLR特征工程的自动化革命真正让工业界眼前一亮的组合是Facebook提出的GBDTLR。它的思路很取巧用GBDT梯度提升决策树自动做特征组合和筛选把原始特征转换成一个高维稀疏的离散特征向量再喂给LR做最终预测。举一个具体例子GBDT里有三棵树每棵树的叶子节点数分别是32、16、8。一个样本经过三棵树分别落在第5、第3、第7个叶子节点上那这个样本就被编码成一个长度为56的稀疏向量其中第5、第19163、第471687? 实际上按索引偏移个位置为1其余为0。LR就拿着这个编码后的向量学权重。这种方案的妙处在于GBDT自动找到了最重要的特征组合和划分方式省掉了大量人工特征工作。我在实际项目里把LR换成GBDTLR后AUC涨了两三个点而且不需要再绞尽脑汁做交叉特征了。不过GBDTLR也有明显短板GBDT是串行训练难以并行化训练速度慢而且树模型对高维稀疏特征的支持不如LR直接所以通常还是得先用LR处理ID类特征再拼上GBDT的输出。这一代模型打架打到最后共识是LR够快但太笨FM能学组合但表达有限GBDTLR效果好但训练慢。大家都在等待一个既能自动学特征交互、又足够强悍的模型出现——深度学习就是那个答案。4. 第三代模型深度学习的全面入侵——从WideDeep到DIN4.1 WideDeep记忆与泛化的分工合作2016年Google提出WideDeep模型这应该是推荐领域第一个产生巨大影响力的深度学习架构。它的设计思路极其清晰Wide部分负责记忆Deep部分负责泛化。Wide部分就是一个线性模型输入是原始特征和人工交叉特征作用是记住那些“出现频率高、规律性强”的模式。比如“下载了淘宝APP的用户很可能点击淘宝商品”这种强规则由Wide部分牢牢锁定。Deep部分则是一个多层感知机MLP输入是连续特征和Embedding向量作用是把稀疏的ID映射成稠密向量再通过非线性变换学到更泛化的规律。两者联合训练既保留了LR的强记忆能力又获得了DNN的强泛化能力。我记得当时在自己的数据集上复现WideDeep时最直观的感受是以前需要人工挖很久才知道的特征组合DNN几层神经网络自己就学会了。WideDeep的工程意义还在于它确立了推荐深度模型的基本范式Embedding层 MLP层 输出层。之后的很多模型都是在这个骨架上做文章。4.2 DeepFM与NFM把FM塞进深度网络WideDeep虽然好用但Wide部分的人工交叉特征依然是个体力活。于是DeepFM出现了它的核心思路是把FM的二阶特征交互能力直接内嵌到深度模型中替代Wide部分的人工特征工程。DeepFM由两部分组成FM部分负责二阶特征交互Deep部分负责高阶特征交互两部分共享Embedding向量。这样既不用人工做交叉特征又能同时学到低阶和高阶特征模式。NFMNeural Factorization Machine则是换了一种方式在Embedding层之后加了一个Bi-Interaction层先把二阶交互向量池化再喂给MLP。我自己用DeepFM替换WideDeep的经验是在特征工程上省了至少60%的时间效果还略优于人工调过交叉特征的WideDeep。对于中小企业来说DeepFM可能是性价比最高的入门深度推荐模型。4.3 DIN注意力机制带来的“兴趣”革命前面的模型都把用户的所有行为一视同仁地压缩成一个固定向量这其实违背直觉。一个用户最近30天看了10个机械键盘、2条裙子、1本编程书当他面对一条机械键盘推荐时裙子显然不该参与决策。用户当前兴趣是动态的应该根据候选物品来“激活”相关的那部分历史行为。DINDeep Interest Network就是来解决这个问题的。它引入了注意力机制Attention在计算用户向量时不是把所有历史行为Embedding简单求平均而是根据候选物品与每个历史行为的相关性做加权求和。相关性高的历史行为获得更大的权重相关性低的几乎被忽略。这个思想极其优雅也极其有效。我在电商场景上线DIN后CTR提升了10%以上尤其是那些兴趣非常分散的用户提升尤其明显。后来业界又出了DIEN进一步用GRU建模用户兴趣的演化过程把“序列行为”变成了“兴趣轨迹”又是另一个维度的进化。4.4 深度学习时代的共性工程问题深度学习模型虽然效果好但工程复杂度直线上升Embedding的存储与检索几亿用户、几千万物品的Embedding要存在参数服务器上线上推理需要快速检索。工业界一般用多级缓存热Embedding放内存冷Embedding放SSD。特征拼接和时序一致性离线训练和线上推理的特征必须完全一致否则会遭遇训练-推理偏差。这个坑我踩过不止一次特征日志的延迟和拼接逻辑必须严格验证。模型膨胀与延迟控制MLP层数不是越多越好。我试过把DIN的Deep部分从3层加到5层效果几乎没变延迟却涨了30%。推荐系统要时刻记住效果和成本是双曲线关系不是线性关系。5. 第四代模型从行为序列到兴趣生成——Transformer与多模态时代5.1 Transformer凭什么进入推荐系统2017年Transformer横空出世NLP领域被彻底改写。推荐系统研究者立刻意识到Transformer的自注意力机制比DIN的简单注意力更适合建模行为序列。DIN在计算用户兴趣时只看候选物品与历史行为的相似度。而Transformer的自注意力Self-Attention能让历史行为之间互相交互捕捉行为内部的依赖关系。比如用户先看了iPhone再看了手机壳又看了AirPods这三个行为之间本身就有强烈关联自注意力机制能学到这种“行为链”而DIN的注意力只看“候选物品和行为”的配对关系学不到行为之间的结构。阿里提出的BSTBehavior Sequence Transformer就是把用户行为序列直接丢进Transformer里编码效果比DIN又上了一个台阶。我当时在短视频推荐场景试过BST发现它对“连续追剧”“反复观看同一类型”这类行为模式特别敏感推荐结果的连贯性明显增强。5.2 多兴趣模型用户不是一个向量能装下的另一个重要方向是多兴趣建模。MINDMulti-Interest Network认为用一个向量表示用户是种极大的简化因为用户往往有多个不同的兴趣面上班时关心编程技术下班后关心健身周末可能又在研究烘焙。把这么多兴趣压到一个128维向量里必然相互干扰。MIND用动态路由机制类似胶囊网络把用户行为聚类成多个兴趣向量每个向量代表一个独立的兴趣。召回时不再只取一个向量去最近邻而是取多个向量分别召回再合并结果。这个思路特别适合推荐系统的召回环节因为召回的目标就是“尽量覆盖用户可能感兴趣的多个方面”。我自己实践下来MIND这类多兴趣模型在召回阶段的价值远大于排序阶段。召回阶段用多兴趣向量不会漏掉长尾兴趣而排序阶段依然需要精细的注意力匹配。所以现在很多大厂的召回模型都是多兴趣的路子排序模型则继续在行为序列和特征交互上抠细节。5.3 多模态与图神经网络推荐模型的边界还在外扩再往后推荐模型开始不止用行为数据还开始理解内容本身。多模态推荐模型把文本、图片、视频帧、音频都编码成向量与用户行为向量一起参与匹配。比如一个用户没点过某个商品但经常看类似的穿搭图片多模态模型能通过视觉相似度把穿搭风格和商品关联起来从而推荐出用户没有行为历史但审美上会喜欢的东西。图神经网络GNN则把用户、物品、标签、内容等实体构建成一张大图通过消息传递机制让信息在图中流动。GNN的优势是天然能处理多跳关系比如“用户A喜欢物品X物品X有标签T收藏物品Y的用户也喜欢标签T”这种间接关联在传统序列模型里很难捕捉但在图模型里只是一次消息传递的事。这一代模型还远没到终点。大语言模型LLM也开始进入推荐领域有的用来生成用户兴趣画像有的直接当成排序模型的特征编码器还有的用来做推荐解释。这个方向现在还在快速迭代中我个人的判断是LLM短期内不会完全替代传统推荐模型但会越来越多地成为推荐系统里“理解用户真实意图”的辅助模块。6. 推荐模型选型实战从问题出发而不是从模型出发6.1 不同业务阶段该选什么模型很多人一开始就问我“你用的是哪个模型”这个问题本身就问偏了。推荐模型的选择取决于你当前的数据量、场景类型和工程资源不存在放之四海而皆准的最优模型。我把这些年验证过的一些选型经验整理成一张速查表供你参考。业务阶段/场景推荐模型方案理由冷启动、数据量 10万ItemCF 规则补全统计方法简单可靠不需要训练数据量中等特征多LR或GBDTLR可解释性强上线快效果稳有用户行为序列重视交叉特征DeepFM / WideDeep自动特征交叉效果提升明显电商、内容兴趣分散DIN / DIEN注意力机制更精准匹配兴趣召回场景覆盖多兴趣MIND / 多向量召回多兴趣向量避免召回过于单一短视频、信息流强调行为依赖BST / Transformer序列模型捕捉行为序列内部关联内容理解重要视频、图片、笔记多模态双塔模型用内容向量弥补行为稀疏6.2 选型时最容易忽视的三个约束模型效果固然重要但工程约束往往才是决定选型的真正因素。第一上线周期。如果你的推荐系统还在做第一版别一上来就搞Transformer。先用ItemCF或LR跑通全链路上线、看数据、找问题再一步步迭代模型。我见过太多团队花三个月训了一个DIN结果发现埋点数据有误、日志缺失整个模型废掉。先让系统转起来比追求先进模型重要得多。第二算力成本。一个千亿参数的多模态模型训练一次的电费可能比团队年薪还高。如果业务本身只有几十万DAU用DeepFM已经绰绰有余不必为了技术炫耀去上大模型。第三可解释性需求。银行、医疗、法律等领域的推荐或决策系统要求每个推荐结果都能解释。这时候LR和FM这类线性模型反而比深度模型更受青睐因为可以明确说出“因为你有某某行为标签所以推荐了某某物品”。纯黑盒的深度模型再准过不了合规这关也白搭。所以我的建议是先定义要解决的问题再反过来选模型。如果问题是“召回太窄”就去想多兴趣和多路召回如果问题是“排序不够准”就去想特征交叉和行为序列如果问题是“新用户没推荐可做”那模型再强也救不了你得去建设冷启动策略比如热门兜底、兴趣问卷、内容试探。7. 推荐模型演进背后的三条主线与未来方向7.1 三条主线记忆到泛化、人工到自动、单点到全局回看推荐模型这十几年的演进表面上是模型一个接一个地换但底层其实有三条清晰的主线。第一条线是从记忆走向泛化。早期的ItemCF是在记忆“用户喜欢过什么”矩阵分解开始学习隐向量去泛化深度模型则彻底把泛化能力拉满能对从未共现过的用户和物品做出合理预测。第二条线是从人工特征到自动学习特征。LR时代工程师的精力全花在挖交叉特征上到了DeepFM模型自己学二阶交互到了Transformer模型自己学任意高阶交互。特征工程的边界在一步步后退模型的边界在一步步前推。第三条线是从单点建模到全局建模。早期模型看的是一个个孤立的“用户-物品”对后来DIN开始看行为序列再后来GNN把整个关系网纳入建模多模态模型又把内容本身的信息拉进来。推荐模型看到的视野越来越大从单点走向了全局。7.2 未来方向LLM与推荐系统的双向奔赴要说未来方向绕不开大语言模型。我目前看到的比较靠谱的落地方式有这么几类一是用LLM做特征增强。LLM具备丰富的世界知识可以把物品标题、详情、评论转换成高质量的语义向量与行为Embedding拼接在一起。这尤其有助于缓解物品冷启动——新物品没有行为但它的文本语义是现成的。二是用LLM做用户画像生成。LLM能从用户零散的行为记录里总结出结构化兴趣标签。实测下来这种生成式画像比规则标签更细致比如“用户近期对入门级机械键盘感兴趣偏好红轴预算300元左右”这种级别的理解传统特征工程基本做不到。三是用LLM做多轮交互式推荐。用户说一句“我想找个周末跟朋友一起玩的桌游”LLM能结合对话上下文和候选物品库给出个性化建议。这种交互式推荐的体验和传统静态推荐完全不同但工程复杂度也更高目前还在早期探索阶段。我觉得LLM不太可能把传统推荐模型整个干掉因为推荐系统本质上是处理大规模、高实时性、强稀疏性的任务LLM的推理成本太高不适合在每一层都用它。更合理的情况是LLM负责理解用户和内容传统模型负责实时匹配和排序两者各司其职。7.3 给后来者的三条建议最后分享几个朴素的建议算是我做推荐系统这些年最核心的体会。第一一定要先理解业务指标。AUC、GAUC、Recall这些离线指标再高如果线上GMV不涨、留存不变一切都是白费。做模型前先想清楚你优化的到底是点击率、转化率、时长还是满意度不同的业务目标对应的模型设计差别很大。第二养成离线-线上一致性验证的习惯。推荐系统的失败案例里一半以上不是模型不行而是训练和推理链路不一致。特征缺失、时间穿越、Embedding版本错位都会让模型效果大打折扣。每上线一个新模型先小流量灰度再看分桶数据别图省事直接全量。第三保持对基础模型的敬畏。我见过有人花大力气上BERT序列模型结果没跑赢一个调好了的DeepFM。深度模型不是越复杂越好很多业务场景下数据质量、特征工程、冷启动策略的重要性都高于模型结构本身。模型只是推荐系统这条大河里的一个水闸上游的水量数据和渠道工程链路才是决定出水量的大头。推荐模型这几年更新迭代极快今天的热门架构可能明天就被替代。但只要你理解了“记忆到泛化、人工到自动、单点到全局”这三条主线就不会被具体模型的起落带偏节奏。作为一个从业者我觉得最享受的不是追新模型而是看着一个朴素的批量数据通过复杂的模型结构在用户的屏幕上变成一句“你可能感兴趣”那种“结构带来智能”的感觉可能就是这个领域最迷人的地方。