基于Python的知识图谱与图神经网络电影推荐系统实战

简介这份资源是面向计算机相关专业学生与项目实战学习者的高分毕业设计项目主题为基于Python的知识图谱与图神经网络电影推荐系统评审分98分难度适中适合做大作业、毕设或算法练习时参考。压缩包共31个文件约14.84MB以21个py源码文件为核心另含5个dat数据文件、2个txt说明、2个readme与1个md文档覆盖模型训练、数据处理、知识图谱构建与Web应用等模块。项目源码均经本地编译与严格调试可正常运行并附带完整数据便于直接复现实验。内容涉及KGCN图层、模型定义、数据加载与评估工具等能帮助读者理解知识图谱与图神经网络在推荐场景中的落地方式掌握从数据预处理到训练评估的完整流程。目前已有86人学习适合需要完整赛题方案与排错思路的学习者下载使用。1. 从零搭一套电影推荐知识图谱加图神经网络到底解决了什么电影推荐这件事协同过滤已经卷了很多年用户-物品评分矩阵一摆矩阵分解、LightGCN 都能跑出不错的指标。但真到冷启动和长尾场景就露馅了新用户没有历史行为新电影没有评分记录纯靠交互数据的模型直接哑火。这时候把知识图谱引进来用电影的类型、导演、演员、出品方、上映年份这些结构化关系补足语义信息再用图神经网络在「用户-电影-属性」这张异构图上做消息传递推荐结果的可解释性和覆盖率都会明显好一截。这套「基于 Python 的知识图谱和图神经网络的电影推荐系统源码全部数据」正是冲着这个痛点去的适合做毕设、也适合想从传统推荐往图推荐迁移的工程师。下面我按自己搭过的一套流程把数据、图谱、模型、训练、排错全讲清楚你照着能复现。2. 数据与知识图谱从 MovieLens 到 Neo4j 的完整链路2.1 为什么选 MovieLens Neo4j 这套组合数据源我一般直接用 MovieLens常见的是 ml-latest-small 和 ml-1m 两个版本。small 版约 10 万条评分、9000 部电影、600 个用户跑通流程足够1m 版有 100 万条评分做正式实验更稳。选它的理由很实在字段干净userId、movieId、rating、timestamp电影元数据里自带 genres另外还有 links.csv 能对到 TMDB/IMDb方便后续补导演、演员这类外部属性。图谱存储选 Neo4j原因是它的 Cypher 查询对多跳关系特别友好比如「找和用户看过的电影同导演、同类型、但没看过的片子」这种查询用 SQL 写要嵌套好几层Cypher 一行就出来了。而且 Neo4j 的 Python 驱动成熟和 PyTorch Geometric 配合做子图采样也顺手。如果你不想装数据库用 NetworkX 在内存里建图也能跑但节点上万以后查询会明显变慢做毕设演示够用做实验不推荐。2.2 建图节点、关系与导入脚本图谱的 schema 我一般这样设计节点有 User、Movie、Genre、Director、Actor 五类关系有 User-[:RATED {score, ts}]-Movie、Movie-[:BELONGS_TO]-Genre、Movie-[:DIRECTED_BY]-Director、Movie-[:ACTED_IN {role}]-Actor。评分作为关系属性而不是独立节点这样图更紧凑GNN 采样时也方便把评分当边特征。导入用官方 neo4j Python 驱动批量提交比逐条快一个数量级from neo4j import GraphDatabase import pandas as pd driver GraphDatabase.driver(bolt://localhost:7687, auth(neo4j, your_password)) movies pd.read_csv(ml-latest-small/movies.csv) ratings pd.read_csv(ml-latest-small/ratings.csv) def load_movies(tx, rows): tx.run( UNWIND $rows AS row MERGE (m:Movie {movieId: row.movieId}) SET m.title row.title WITH m, row UNWIND split(row.genres, |) AS g MERGE (genre:Genre {name: g}) MERGE (m)-[:BELONGS_TO]-(genre) , rowsrows) def load_ratings(tx, rows): tx.run( UNWIND $rows AS row MATCH (u:User {userId: row.userId}) MATCH (m:Movie {movieId: row.movieId}) MERGE (u)-[r:RATED]-(m) SET r.score row.rating, r.ts row.timestamp , rowsrows) with driver.session() as session: session.execute_write(load_movies, movies.to_dict(records)) # 先建用户节点再导评分 session.execute_write(lambda tx: tx.run( UNWIND $ids AS id MERGE (:User {userId: id}), idsratings.userId.unique().tolist())) session.execute_write(load_ratings, ratings.to_dict(records))逻辑说明MERGE保证重复导入不会产生重复节点UNWIND把一批记录展开成多行一次网络往返处理上千条。参数上rows建议每批 1000 到 5000 条太大内存吃紧太小网络开销高。split(row.genres, |)处理多类型字段注意 MovieLens 里有(no genres listed)这种脏值导入前最好过滤掉。2.3 从图谱里抽子图喂给 GNNGNN 不能直接吃整张图得按用户采样邻域子图。常见做法是给每个用户采固定数量的二跳邻居一跳是他评过分的电影二跳是这些电影的类型、导演、演员。用 PyTorch Geometric 的NeighborLoader或者自己写采样都行。自己写更可控import numpy as np def sample_subgraph(user_id, rated_movies, movie2attr, k_hop2, max_neighbors10): nodes {(User, user_id)} frontier [(Movie, m) for m in rated_movies] for _ in range(k_hop): next_frontier [] for ntype, nid in frontier: nodes.add((ntype, nid)) attrs movie2attr.get(nid, []) sampled np.random.choice(attrs, sizemin(len(attrs), max_neighbors), replaceFalse) if attrs else [] for a in sampled: next_frontier.append(a) frontier next_frontier return nodes逻辑说明max_neighbors控制每个节点采多少邻居太大显存爆太小信息丢失实践中 10 到 15 比较平衡。k_hop设 2 是经验值三跳以上收益递减还容易过平滑。采样完把节点和边转成torch_geometric.data.HeteroData每种节点类型配一个特征矩阵用户和电影用可学习的 embedding类型/导演/演员用 one-hot 或预训练词向量。3. 图神经网络模型异构图上怎么做消息传递3.1 为什么用 GraphSAGE 而不是 GCNGCN 的归一化拉普拉斯要求全图固定结构做归纳学习新用户、新电影时很别扭。GraphSAGE 的采样聚合天然支持归纳而且能处理异构边。我一般用 HeteroConv 包一层每种关系配一个 SAGEConv最后把不同关系的输出求和或拼接import torch import torch.nn.functional as F from torch_geometric.nn import SAGEConv, HeteroConv class MovieRecGNN(torch.nn.Module): def __init__(self, hidden_dim, num_layers2): super().__init__() self.convs torch.nn.ModuleList() for _ in range(num_layers): conv HeteroConv({ (User, RATED, Movie): SAGEConv((-1, -1), hidden_dim), (Movie, BELONGS_TO, Genre): SAGEConv((-1, -1), hidden_dim), (Movie, DIRECTED_BY, Director): SAGEConv((-1, -1), hidden_dim), (Movie, ACTED_IN, Actor): SAGEConv((-1, -1), hidden_dim), }, aggrsum) self.convs.append(conv) def forward(self, x_dict, edge_index_dict): for conv in self.convs: x_dict conv(x_dict, edge_index_dict) x_dict {k: F.relu(v) for k, v in x_dict.items()} return x_dict逻辑说明SAGEConv((-1, -1), hidden_dim)里的 -1 表示输入维度延迟推断第一次 forward 时自动确定省得手算每种节点特征维度。aggrsum比 mean 保留更多信息但要注意数值范围必要时加 LayerNorm。层数别超过 3异构图上两跳已经能覆盖用户-电影-属性这条主路径。3.2 推荐头把用户和电影 embedding 拼起来打分拿到 GNN 输出的用户和电影 embedding 后推荐头就是个双塔结构内积或 MLP 都行。训练目标用 BPR贝叶斯个性化排序比 MSE 更贴合推荐场景因为它直接优化正负样本的相对顺序def bpr_loss(user_emb, pos_emb, neg_emb): pos_score (user_emb * pos_emb).sum(dim-1) neg_score (user_emb * neg_emb).sum(dim-1) return -F.logsigmoid(pos_score - neg_score).mean()逻辑说明正样本是用户真实评过且分数 4 的电影负样本从没交互过的电影里随机采。每个正样本配 1 到 4 个负样本比例太高训练慢太低区分度不够。logsigmoid比 softmax 数值稳定适合大批量。3.3 训练循环与关键超参optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size20, gamma0.5) for epoch in range(100): model.train() for batch in train_loader: optimizer.zero_grad() x_dict model(batch.x_dict, batch.edge_index_dict) loss bpr_loss(x_dict[User][batch[user].n_id], x_dict[Movie][batch[pos].n_id], x_dict[Movie][batch[neg].n_id]) loss.backward() optimizer.step() scheduler.step()参数说明lr1e-3是 GNN 推荐任务的常用起点loss 震荡就降到 5e-4。weight_decay1e-5防过拟合图数据上别设太大否则欠拟合。StepLR每 20 轮衰减一半比 cosine 简单且够用。batch size 受子图大小影响一般按用户数 256 到 512 一批。4. 评估与调优别只看 AUC推荐要看排序指标4.1 离线评估该看哪几个指标推荐系统只看 AUC 会骗自己因为负样本是随机采的和真实曝光分布差很远。我一般同时看 RecallK、NDCGK、HitRateK 三个。K 取 10 和 20。做法是对每个测试用户把他交互过的电影当 ground truth模型对全量电影打分后取 top-K算命中比例。全量打分在电影上万时慢可以先用图谱召回候选集比如同类型同导演的再在候选集里排序这也是工业界两阶段推荐的常规做法。4.2 知识图谱到底带来多少增益做毕设最怕答辩被问「你这图谱加了有啥用」。我一般做三组对照纯协同过滤只用 RATED 边、加类型边、加类型导演演员边。指标上 NDCG10 通常能从 0.12 提到 0.18 左右冷启动用户交互少于 5 条的提升更明显能到 30% 以上。这个对照实验一定要做是论文和答辩的核心论据。4.3 负采样策略对结果的影响随机负采样在电影场景有个坑用户没交互不代表不喜欢可能是没曝光。我一般做 popularity-based 负采样热门电影被采为负样本的概率调低这样训练信号更干净。具体做法是按电影被评分数取倒数做权重用torch.multinomial采样。实测比纯随机负采样 NDCG10 能高 2 到 3 个点。5. 避坑与排查这套系统最容易翻车的五个地方5.1 Neo4j 导入几万节点后查询卡死现象导入超过 5 万节点后Cypher 多跳查询从毫秒级变成十几秒。原因没建索引Neo4j 每次 MATCH 都全表扫。解决给Movie.movieId、User.userId、Genre.name建唯一约束或索引CREATE INDEX FOR (m:Movie) ON (m.movieId)导入前建好导入速度也会快很多。5.2 GNN 训练 loss 不降反升现象前几轮 loss 正常下降第 5 轮后突然飙升到 NaN。原因异构图上不同关系的边数量差异大sum 聚合导致某些节点 embedding 数值爆炸。解决把aggrsum换成aggrmean或者在每层 conv 后加F.normalize学习率降到 5e-4。5.3 子图采样后显存溢出现象batch size 设 512 就 OOMGPU 只有 8G。原因二跳采样邻居数没限制热门电影的类型和演员节点被反复展开。解决max_neighbors从 15 降到 8或者用NeighborLoader的num_neighbors[10, 5]逐跳限制显存能降一半以上。5.4 评估指标高得离谱现象Recall10 跑到 0.9自己都不敢信。原因测试集划分时把用户的部分交互留在了训练集数据泄漏。解决按时间戳划分每个用户最后 20% 的交互做测试且训练时这些边要从图里删掉别偷懒。5.5 新用户进来推荐全是热门现象冷启动用户推荐结果清一色高评分大片。原因GNN 对没有交互的用户embedding 退化成全局均值排序时热门电影占优。解决冷启动走图谱规则召回用类型和导演做匹配别硬走 GNN等用户有 5 条以上交互再切模型。6. 进阶技巧把图谱召回和 GNN 排序串成两阶段单靠 GNN 在全量电影上排序电影上万时推理慢线上根本扛不住。我现在的习惯是两阶段第一阶段用 Cypher 从图谱召回 200 到 500 个候选规则是「用户看过的电影的同类型、同导演、同演员作品排除已看」第二阶段用训练好的 GNN 对这 500 个候选打分排序取 top-20 返回。这样推理延迟从秒级降到几十毫秒指标还比纯 GNN 全量排序高一点因为召回阶段已经过滤了大量无关候选。def graph_recall(tx, user_id, limit500): return tx.run( MATCH (u:User {userId: $uid})-[r:RATED]-(m:Movie) WHERE r.score 4 MATCH (m)-[:BELONGS_TO|DIRECTED_BY|ACTED_IN]-(attr)-[:BELONGS_TO|DIRECTED_BY|ACTED_IN]-(cand:Movie) WHERE NOT (u)-[:RATED]-(cand) RETURN DISTINCT cand.movieId AS mid, count(attr) AS score ORDER BY score DESC LIMIT $limit , uiduser_id, limitlimit).data()逻辑说明count(attr)是共现属性数作为召回阶段的粗排分。DISTINCT去重NOT (u)-[:RATED]-(cand)排除已看。这个查询在加了索引后500 个候选大概 50 到 100 毫秒。召回完把 movieId 列表喂给 GNN 的推理接口只对这些节点做前向省掉全图计算。验证两阶段效果我一般固定测试用户集分别跑纯 GNN 和两阶段对比 NDCG10 和 P99 延迟。经验上 NDCG 持平或略升延迟降一个数量级。这套流程我踩过最大的坑是召回规则写太宽候选里混进大量无关电影反而拉低排序质量后来把属性共现阈值调到 2 以上才稳。做毕设的话两阶段架构写在论文里比单模型更有工程说服力答辩也更好讲。希望帮到你。本文还有配套的精品资源点击获取