基于矩阵分解的电影推荐系统：从数据准备到线上服务的工程实践

简介这份资源是面向人工智能与机器学习初学者及全栈开发者的电影推荐系统完整项目包围绕协同过滤、矩阵分解、深度学习模型等推荐算法结合JavaScript前端与后端服务解决个性化推荐从数据预处理到系统部署的落地问题。压缩包共2000个文件约249.56MB以1895张jpg图片资源和29个java、25个xml、16个properties等后端配置与业务代码为主辅以7个js、2个html、2个css等前端页面文件以及1个py脚本覆盖界面展示、接口调用与推荐计算等模块。目前已有141人学习下载。项目完整呈现数据清洗、特征工程、模型训练到Web端交互的全流程读者可参考MovieRestApi、RecommenderService等核心类理解推荐分数计算与数据检索逻辑并借助评估指标与在线学习思路掌握将机器学习应用于实际推荐场景的实践方法。1. 从一份电影评分表到一个能跑的推荐系统机器学习到底在推荐什么你手头有一份 MovieLens 的评分数据用户对看过的电影打了 1 到 5 分还有一份电影元数据表类型、年份、标题都在里面。现在要做一个「基于机器学习的电影推荐系统」很多人第一反应是上深度学习、上 Transformer但真正落地时你会发现协同过滤加矩阵分解这套传统机器学习模型在中小规模数据上依然是性价比最高的起点。它解决的核心问题只有一个给定用户和物品的交互矩阵预测那些空白格子里用户可能会打多少分然后按分数排序推荐。这套方案适合谁适合手里有几千到几百万条评分记录、想快速搭出一个可解释、可迭代的推荐服务的工程师。它不需要 GPU 集群一台 8 核 16G 的机器就能跑通训练和推理。更重要的是它的每一个参数你都能说清楚为什么这么设而不是把数据丢进黑匣子里等一个玄学结果。下面我从数据准备一路讲到线上服务的排坑中间会给出可以直接抄的代码和参数配置。2. 数据准备与特征工程把评分表变成模型能吃的矩阵2.1 从原始评分到用户-物品交互矩阵MovieLens 的 ratings.csv 通常是三列userId、movieId、rating。直接把它丢给模型是不行的因为模型需要的是稠密或稀疏的数值矩阵。常见做法是构建一个用户数乘以电影数的矩阵行是用户列是电影值是评分。但这里有个坑用户和电影的 ID 往往不连续比如 userId 从 1 跳到 5000中间缺了很多。如果你直接用 ID 当索引矩阵会巨大且稀疏得离谱。我一般会先做 ID 重映射把原始 ID 映射到 0 到 N-1 的连续整数。这一步用 pandas 的 factorize 就能完成。然后构建稀疏矩阵用 scipy.sparse 的 csr_matrix只存非零值。这样内存占用从 O(用户数 × 电影数) 降到 O(评分数)对于百万级评分数据内存从几十 G 降到几百 M。import pandas as pd import numpy as np from scipy.sparse import csr_matrix # 读取评分数据 ratings pd.read_csv(ratings.csv) movies pd.read_csv(movies.csv) # ID 重映射把原始 userId 和 movieId 转成 0 开始的连续索引 user_ids ratings[userId].unique() movie_ids ratings[movieId].unique() user_to_idx {uid: i for i, uid in enumerate(user_ids)} movie_to_idx {mid: i for i, mid in enumerate(movie_ids)} ratings[user_idx] ratings[userId].map(user_to_idx) ratings[movie_idx] ratings[movieId].map(movie_to_idx) # 构建稀疏交互矩阵 n_users len(user_ids) n_movies len(movie_ids) # 注意这里用评分作为值如果只关心是否交互可以把值全设为 1 sparse_matrix csr_matrix( (ratings[rating].values, (ratings[user_idx].values, ratings[movie_idx].values)), shape(n_users, n_movies) ) print(f用户数: {n_users}, 电影数: {n_movies}, 评分数: {len(ratings)}) print(f稀疏矩阵非零元素占比: {sparse_matrix.nnz / (n_users * n_movies):.6f})这段代码的关键在于 factorize 和 csr_matrix 的配合。factorize 返回的是编码后的数组和唯一值列表比手动建字典更省内存。csr_matrix 的构造需要三个数组数据值、行索引、列索引这里直接用 ratings 里的列注意顺序不能错。参数 shape 必须显式指定否则 scipy 会根据索引最大值推断容易出错。2.2 时间戳与冷启动特征的处理原始数据里通常有 timestamp 列很多人直接丢掉但这是浪费。时间戳至少能拆出两个有用特征用户评分的时间衰减权重和物品的流行度趋势。比如一个用户三年前打的 5 分和昨天打的 5 分对当前推荐的价值完全不同。我一般会加一个时间衰减因子公式是 exp(-λ * Δt)λ 取 0.01 到 0.05 之间Δt 是当前时间与评分时间的差值单位是天。冷启动是推荐系统绕不开的问题。新用户没有历史评分新电影没有被人评过。对于新用户常见做法是推荐全局最热门的电影或者让用户选几个喜欢的类型用基于内容的推荐兜底。对于新电影可以把它放进一个「探索池」用多臂老虎机的方式给少量曝光收集反馈后再进入协同过滤。这些逻辑不需要在训练阶段写死而是在服务层做路由。# 时间衰减权重计算 import time current_time ratings[timestamp].max() ratings[days_diff] (current_time - ratings[timestamp]) / (24 * 3600) lambda_decay 0.02 ratings[time_weight] np.exp(-lambda_decay * ratings[days_diff]) # 加权评分把时间权重乘到评分上 ratings[weighted_rating] ratings[rating] * ratings[time_weight] # 重新构建加权稀疏矩阵 weighted_matrix csr_matrix( (ratings[weighted_rating].values, (ratings[user_idx].values, ratings[movie_idx].values)), shape(n_users, n_movies) )这里 λ 的选择需要根据业务节奏调整。如果电影内容更新快λ 取大一点比如 0.05让近期行为主导如果内容库稳定λ 取 0.01 就够。注意加权后的评分不再在 1 到 5 之间但矩阵分解算法只关心相对大小所以不影响训练只是预测出来的分数需要做后处理映射回可解释的区间。3. 模型选型与训练矩阵分解为什么比深度学习更值得先跑3.1 ALS 与 SVD 的适用边界矩阵分解的核心思想是把用户-物品矩阵 R 近似成两个低秩矩阵的乘积R ≈ U × V^TU 是用户隐向量矩阵V 是物品隐向量矩阵。预测评分就是用户隐向量和物品隐向量的点积。这个思路下有两个主流实现ALS交替最小二乘和 SVD奇异值分解。ALS 的优势在于可以并行化适合大规模稀疏矩阵而且对隐式反馈比如点击、观看时长支持得很好。SVD 更直接sklearn 的 TruncatedSVD 就能用但它要求矩阵是稠密的或者至少不能有太多缺失值。实际项目中如果评分数据稀疏度超过 99%我优先选 ALS用 implicit 库或者 pyspark 的 ALS 实现。如果数据量不大比如几万条评分sklearn 的 SVD 也够用。隐向量维度是第一个要调的参数。太小模型欠拟合推荐结果千篇一律太大过拟合训练时间暴涨。我的经验是评分数据在 10 万条以下维度取 20 到 5010 万到 100 万取 50 到 100超过 100 万可以试 100 到 200。正则化系数 λ 控制过拟合一般从 0.01 开始试如果训练集和验证集误差差距大就加大 λ。from sklearn.decomposition import TruncatedSVD from sklearn.model_selection import train_test_split # 划分训练集和测试集 train_data, test_data train_test_split(ratings, test_size0.2, random_state42) # 用训练集构建矩阵 train_matrix csr_matrix( (train_data[rating].values, (train_data[user_idx].values, train_data[movie_idx].values)), shape(n_users, n_movies) ) # SVD 分解 n_components 50 svd TruncatedSVD(n_componentsn_components, random_state42) user_factors svd.fit_transform(train_matrix) item_factors svd.components_.T print(f用户隐向量形状: {user_factors.shape}) print(f物品隐向量形状: {item_factors.shape}) print(f解释方差比: {svd.explained_variance_ratio_.sum():.4f})这段代码里 n_components 就是隐向量维度explained_variance_ratio_ 告诉你前 50 个奇异值保留了多少信息量。如果这个值低于 0.8说明维度可能不够需要加大。但注意解释方差比高不代表推荐效果好最终还是要看线上的点击率和转化率。3.2 用 RMSE 和 RecallK 双指标验证训练完模型不能只看 RMSE。RMSE 衡量的是评分预测准不准但推荐系统真正关心的是排序质量。一个 RMSE 很低的模型可能把所有电影都预测成 3.5 分排序毫无区分度。所以必须同时看 RecallK 和 NDCGK。RecallK 的定义是在推荐的前 K 个物品里有多少是用户实际喜欢的。我一般取 K10 和 K20。计算时把测试集里评分大于等于 4 分的电影当作正样本模型预测分数排序后取前 K 个看命中多少。NDCGK 则考虑了位置权重排在前面的命中比排在后面的更有价值。from sklearn.metrics import mean_squared_error import numpy as np def evaluate_model(user_factors, item_factors, test_data, K10): # 预测评分 test_user_idx test_data[user_idx].values test_movie_idx test_data[movie_idx].values actual test_data[rating].values predicted np.array([ np.dot(user_factors[u], item_factors[m]) for u, m in zip(test_user_idx, test_movie_idx) ]) # RMSE rmse np.sqrt(mean_squared_error(actual, predicted)) # RecallK hits 0 total 0 for u in np.unique(test_user_idx): user_test test_data[test_data[user_idx] u] positive_items set(user_test[user_test[rating] 4][movie_idx].values) if len(positive_items) 0: continue # 对所有电影打分 scores user_factors[u] item_factors.T # 排除训练集里已经看过的 top_k_items np.argsort(scores)[-K:][::-1] hits len(set(top_k_items) positive_items) total len(positive_items) recall_at_k hits / total if total 0 else 0 return rmse, recall_at_k rmse, recall evaluate_model(user_factors, item_factors, test_data, K10) print(fRMSE: {rmse:.4f}, Recall10: {recall:.4f})这段评估代码有两个细节要注意。第一计算 Recall 时必须排除训练集里用户已经看过的电影否则推荐出来的全是历史行为没有新意。第二如果某个用户在测试集里没有正样本要跳过否则分母会虚高。实际跑下来RMSE 在 0.85 到 0.95 之间算正常Recall10 能到 0.15 以上就说明模型有区分度了。4. 避坑与排查推荐系统上线前必须处理的五个问题4.1 现象推荐结果全是热门电影长尾内容零曝光原因矩阵分解在稀疏数据上会倾向于给热门物品更高的隐向量模长导致冷门物品的预测分数被系统性压低。这是流行度偏差不是模型 bug。解决在预测分数上加一个流行度惩罚项或者对物品隐向量做归一化。我一般会在排序阶段用 score / (popularity^α)α 取 0.5 到 1.0 之间。另外可以强制在推荐列表里插入 10% 到 20% 的长尾内容用探索流量收集反馈。4.2 现象新用户注册后推荐列表为空或全是默认值原因协同过滤完全依赖历史交互新用户没有隐向量模型无法计算相似度。解决做分层路由。新用户走基于内容的推荐用电影类型、年代、导演等元数据做匹配。让用户注册时选三个喜欢的类型直接查表返回对应类型的高分电影。等用户产生至少 5 条交互后再切换到协同过滤。4.3 现象训练集 RMSE 很低但线上点击率惨淡原因离线评估用的是评分预测线上关心的是点击和观看。评分高不代表用户会点可能是用户已经看过了或者电影海报不吸引人。解决把离线指标从 RMSE 换成 AUC 或 GAUC把正样本定义为「有点击」而不是「评分高」。同时线上做 A/B 测试用小流量验证模型效果不要直接全量。4.4 现象模型训练时间随数据量线性增长加机器也没用原因用了 sklearn 的 TruncatedSVD它是单机算法不支持分布式。数据量超过百万级后内存和计算都扛不住。解决换用 implicit 库的 ALS 或者 pyspark.ml 的 ALS它们支持多核并行和分布式计算。如果坚持用 SVD先做数据采样比如每个用户只保留最近 100 条评分把矩阵规模压下来。4.5 现象推荐结果每次刷新都不一样用户觉得系统不稳定原因用了随机采样做负样本或者模型每次推理时都重新训练。推荐系统需要确定性同样的用户和上下文应该返回同样的结果。解决固定随机种子把模型训练和推理分离。训练每天跑一次推理用缓存好的用户和物品隐向量。如果要做实时更新用增量训练不要全量重跑。5. 从离线模型到线上服务一个可复现的推理接口与冷启动兜底技巧模型训练完只是第一步真正让推荐系统产生价值的是把它变成一个低延迟、高可用的服务。我一般用 FastAPI 搭一个推理接口把用户隐向量和物品隐向量加载到内存请求进来后做点积排序返回 Top-N 结果。这里的关键是预计算和缓存物品隐向量矩阵是固定的可以提前转成 numpy 数组用户隐向量在用户行为更新后异步刷新不要每次请求都查数据库。from fastapi import FastAPI import numpy as np import pickle app FastAPI() # 启动时加载模型 with open(user_factors.pkl, rb) as f: user_factors pickle.load(f) with open(item_factors.pkl, rb) as f: item_factors pickle.load(f) with open(movie_id_map.pkl, rb) as f: idx_to_movie pickle.load(f) # 预计算物品隐向量的转置加速点积 item_factors_T item_factors.T app.get(/recommend/{user_id}) def recommend(user_id: int, top_k: int 10): if user_id not in user_factors: # 冷启动兜底返回全局最热门 return {fallback: True, items: get_popular_items(top_k)} user_vec user_factors[user_id] scores user_vec item_factors_T top_indices np.argsort(scores)[-top_k:][::-1] movie_ids [idx_to_movie[i] for i in top_indices] return {fallback: False, items: movie_ids}这个接口的延迟主要花在点积和排序上。对于 10 万部电影、50 维隐向量一次点积是 500 万次浮点运算现代 CPU 几毫秒就能完成。但如果电影数量到百万级就需要用 FAISS 或者 Annoy 做近似最近邻搜索把复杂度从 O(N) 降到 O(log N)。冷启动兜底我一般会准备三套策略新用户返回类型热门榜新电影走探索池老用户但行为稀疏的用人口统计学推荐比如同年龄段用户喜欢什么。这些策略不需要模型用 SQL 就能查但能显著提升用户体验。最后说一个我踩过的坑线上服务不要直接加载 pickle 文件因为 pickle 有安全风险而且版本兼容性差。生产环境用 ONNX 或者 joblib或者把隐向量存成 numpy 的 npy 格式加载更快也更安全。另外用户隐向量的更新频率不要太高一天一次足够频繁更新会导致推荐结果抖动用户会觉得系统「神经质」。希望帮到你。本文还有配套的精品资源点击获取