0.6MB俄罗斯犯罪数据集：从数据清洗到时序预测的完整流程

简介面向机器学习初学者的俄罗斯刑事犯罪数据分析与预测实战包以2008至2023年俄罗斯犯罪统计数据为基础覆盖数据清洗、回归建模、趋势拟合、KMeans聚类等常见任务适合希望借助真实项目掌握Python数据分析全流程的读者。压缩包共5个文件3个py源码分别实现犯罪趋势分析、酒精与犯罪回归分析、犯罪率预测建模另附1个readme说明文件和1个容量约589.70 KB的csv数据集整个压缩包约107KB文件结构清晰按脚本顺序运行即可复现结果readme还提供依赖模块与环境配置提示。代码基于pandas、numpy、matplotlib、scikit-learn、plotly等整理手工调试后无语法错误可以结合交互式图表观察犯罪率变化、酒精消费与犯罪数量之间的关系并继续扩展为课堂作业或毕业设计模板。目前已有55人学习适合初学机器学习的数据分析人员快速上手实践。1. 0.6 MB 的俄罗斯刑事犯罪数据集凭什么撑起一条完整预测流水线解压压缩包后最大的文件只有 589.70 KB一眼看上去很难让人兴奋。但拿它练过手的人会明白这种“地区年份犯罪类型”的面板数据是社会统计类机器学习里最典型的素材数据不大脏东西不少字段名还是俄语预测目标却异常清晰——下一年的犯罪总量是升还是降或者落到哪个区间。压缩包里的 3 个源代码分别覆盖数据清洗、特征工程加回归、分类预测三段主线串起来正好是一条可以照抄的 AI 实战流水线。它的受众也很明确想做社会治理类数据挖掘的从业者或者要交课程设计、手里只有公开统计数据的同学。如果你平时在 Kaggle 上跑的都是整理干净的数据这份数据集会让你体会到编码猜谜、统计口径对齐和序列相关性这三个隐藏门槛它们才是这类项目里最容易翻车的地方。下文就按这三份代码的顺序把每一步的选型理由、参数设置和坑位全部摊开。2. 读入俄罗斯犯罪统计编码、列名与口径先对齐再谈建模2.1 先认识这种“地区×年份”的面板结构还没动手写代码之前我会先花 10 分钟把数据集的物理结构摸清楚。打开压缩包里的 CSV通常是第一行字段名后续每一行代表某地区在某年的某类犯罪情况中间夹杂人口、失业率、平均收入这类社会经济指标。也就是说拿到手并不是一眼就能喂给回归模型的“宽表”而是竖装的“长表”。这种结构在统计部门发布的数据里很常见。刑事犯罪统计一般会切成两个维度一是行政区划二是犯罪类型比如盗窃、诈骗、涉毒每个格子对应一个已登记案件数。理解“已登记”这三个字非常重要——它不等于真实发案量中间存在犯罪黑数。这个口径如果没搞清楚模型的边界就会失真你只能预测“按当前统计口径明年登记案件是升是降”而不是真实社会治安的绝对水平。这类数据里常见字段通常是这样一组见表 2-1字段示例俄语中文含义类型建模用途Регион地区字符串分组键、地区特征Год年份整数排序与时间分割Тип преступления犯罪类型字符串聚合依据Число преступлений已登记案件数数值预测目标Население人口数值特征Уровень безработицы失业率数值特征这个表格是一份阅读地图。拿到数据后第一件事不是统计缺失值而是对着这张表看每一列能不能对上号。对不上的列名需要弄清楚它是哪个统计指标再决定留用还是剔除对不上又不明确含义的列最稳妥的做法是先从建模特征里拿掉等之后回头再查。2.2 读文件的第一关cp1251 编码和分号分隔符俄罗斯统计导出 CSV 有个特点编码经常是 cp1251而不是 UTF-8字段分隔符有时用分号数字里还可能夹带空格千分位。直接pd.read_csv最容易在 encoding 参数上翻车报一个UnicodeDecodeError出来。我一般这样兜底加载import pandas as pd import numpy as np CSV_PATH ./russia_crime_by_region.csv try: df pd.read_csv( CSV_PATH, encodingcp1251, sep;, thousands , skipinitialspaceTrue, ) except UnicodeDecodeError: df pd.read_csv( CSV_PATH, encodingutf-8-sig, sep;, skipinitialspaceTrue, ) print(df.head().to_string()) print(形状:, df.shape)逻辑说明先尝试俄语数据最常用的 cp1251如果解不开再用utf-8-sig兜底这个编码能自动去掉 BOM 头。sep;是因为来源数据习惯用分号作为分隔符避免数字里的逗号把字段拆碎。thousands 对应“1 234 567”这种以空格分隔千位数的写法读进来能直接变成数值。参数说明读完之后立刻看head()输出重点观察两处——列名是不是俄语、数值列是不是被识别成了 object。如果year列被读成字符串那后面的排序和滞后特征全部会出问题。读文件这一步多花五分钟反复试编码比等到特征工程阶段再发现全列是字符串去清洗要省得多。2.3 列名映射与数值列兜底清洗读进来之后把所有列名统一成英文小写加下划线后面写特征工程时就不用反复切换输入法。映射用字典一次完成然后打印出来还剩下哪些列没被映射到COLUMN_MAP { Регион: region, Год: year, Тип преступления: crime_type, Число преступлений: crime_cnt, Население: population, Уровень безработицы: unemployment, Среднедушевой доход: avg_income, } df df.rename(columnsCOLUMN_MAP) df.columns [str(c).strip().lower() for c in df.columns] leftover [c for c in df.columns if c not in COLUMN_MAP.values()] print(未映射列:, leftover)这段代码的逻辑是先按字典改名然后把没被映射上的列名打印出来。如果 leftover 非空说明原始表里还有额外字段比如“城市人口”或者“上次普查年份”需要回头对着源文件的表头补映射。这一步是数据清洗里最常见的迭代流程。接下来清洗数值列。俄罗斯写法里小数点用逗号千分位用空格直接astype(float)会抛异常NUM_COLS [crime_cnt, population, unemployment, avg_income] for col in NUM_COLS: if col not in df.columns: print(f缺少数值列: {col}) continue df[col] ( df[col] .astype(str) .str.replace(,, .) .str.replace( , ) .astype(float) ) print(df.dtypes)字符串替换是这类数据最常用的清洗方式先把逗号换成点再把空格去掉最后转 float。如果某个字段里混入了百分号就再补一条.str.replace(%, )。转换完之后打印dtypes确认所有数值列已经变成 float64这步做完下面做特征工程才敢继续。3. 特征工程决定预测上限滞后变量、变化率与地区交叉特征3.1 为什么要先做滞后特征再做回归对这类“地区×年份”数据特征工程的第一原则是把过去发生的事变成可计算的量。犯罪总量本身有极强的惯性一个地区今年的犯罪数量与去年、前年的值高度相关。这种序列相关性如果不用滞后特征显式表示模型就只能在静态的社会经济特征里瞎猜很难抓住趋势。另一个原因是样本量。589.70 KB 的数据集撑死了也就是几千行还包含多个犯罪类型的重复行。如果不把历史滞后值加进来每个地区每年只剩一组社会经济指标模型很容易学成“拿均值猜均值”的模式。滞后特征是用很少的算力换取时序记忆的常规做法尤其适合这种小型面板数据。这里我特别强调顺序必须先按 region、year 排序再做groupby和shift。很多人在这一步翻车数据没排序就分组取滞后值出来的特征完全错位模型指标看着还行其实是把年份顺序打乱的假象。排序这个动作看似无关紧要却是时序特征的生命线。3.2 用 groupby shift 构造犯罪总量滞后特征df df.sort_values([region, year]).reset_index(dropTrue) agg df.groupby([region, year], as_indexFalse).agg( total_crime(crime_cnt, sum), population(population, max), unemployment(unemployment, mean), avg_income(avg_income, mean), ) # 目标变量下一年的犯罪总量 agg[target] agg.groupby(region)[total_crime].shift(-1) # 滞后特征 for lag in [1, 2, 3]: agg[fcrime_lag{lag}] agg.groupby(region)[total_crime].shift(lag) # 社会经济变量做滞后和环比变化率 for col in [unemployment, avg_income]: agg[f{col}_lag1] agg.groupby(region)[col].shift(1) agg[f{col}_yoy] agg.groupby(region)[col].pct_change() # 丢掉没有目标值的最新一年 model_df agg.dropna(subset[target]).reset_index(dropTrue) print(model_df.shape) print(model_df.head())逻辑说明groupby([region, year])先把每种犯罪类型聚合成地区年度宽表total_crime是这个地区那一年的全部已登记案件数。作为预测目标target用shift(-1)取“下一年”的值其它特征用shift(1)只允许使用过去信息。crime_lag1到crime_lag3就是前 1 到 3 年的犯罪总量。参数说明shift(-1)之后每个地区最后一行的 target 一定是缺失值所以用dropna(subset[target])把最后一年删掉。滞后阶数选择上3 期是比较稳妥的开局设置如果数据只有 67 年滞后 3 期会把可训练样本砍掉近一半这时要果断降到 2 期。小数据集的容量决定了特征维度不能铺太大。3.3 变化率特征如何刻画地区间的差异除了绝对量还需要变化率。犯罪率的波动通常受经济变化方向影响而不是受经济绝对水平影响。我一般会在社会经济列上补一列环比pct_change()表示这一年的数值相对上一年变化了百分之多少含义接近“经济变好了还是变差了”。这类方向性特征对预测拐点很有帮助因为犯罪下降往往与失业率下降同时出现两个特征在同一时期发生方向变化模型更容易抓住联动规律。跨地区建模时的另一个关键点是尺度差异。大城市地区的犯罪总量天然比人口小几十倍的地区高出很多如果模型不加地区标识它会把所有地区混进同一个截距地区差异就只能靠社会经济特征勉强拟合。常见做法有两条一是加一个地区编码让树模型自己决定是否按地区拆分二是做地区内标准化把犯罪总量转成相对该地区历史均值的倍数。这个数据集的地区数不算多我通常选第一种因为随机森林对整数编码特征比较友好还能顺带在特征重要性里看出地区因素占多重的分量。另外对不平衡的地区样本还有个细节小地区总量小、波动大同样一个百分点误差在绝对量上的表现很差。实际使用时可以按人口把地区分成大、中、小三档分层看误差不要让数据量大的地区把其它地区的表现吃掉。4. 三份源代码全流程从回归到分类的递进实现4.1 源代码一从原始 CSV 到探索性分析第一份代码定位是“把数据弄到能看、能算”的预处理层一般我会命名为01_load_and_profile.py。它把读文件、列映射、缺失率统计、趋势绘图整合起来跑完就能对数据形成基本判断。import pandas as pd import numpy as np import matplotlib.pyplot as plt CSV_PATH ./russia_crime_by_region.csv df pd.read_csv(CSV_PATH, encodingcp1251, sep;, skipinitialspaceTrue) df.columns [str(c).strip().lower() for c in df.columns] renames { регион: region, год: year, тип преступления: crime_type, число преступлений: crime_cnt, население: population, уровень безработицы: unemployment, среднедушевой доход: avg_income, } df df.rename(columnsrenames) miss_rate (df.isna().mean() * 100).round(2) print(缺失率(%)) print(miss_rate[miss_rate 0]) sample_regions df[region].dropna().unique()[:5] for reg in sample_regions: sub df[df[region] reg].groupby(year)[crime_cnt].sum() plt.plot(sub.index, sub.values, labelstr(reg)) plt.legend() plt.xlabel(year) plt.ylabel(total crime) plt.title(Crime trend by region) plt.show()逻辑说明加载后先看缺失率再看前五个地区的总犯罪量走势确认时间跨度和缺失位置没有明显异常。groupby(year)[crime_cnt].sum()把犯罪类型合并成总量如果某个地区某年总量突然掉到接近 0大概率不是犯罪消失而是统计缺失或录入错误该年的样本在建模时需要剔除。参数说明sample_regions ...[:5]是取前五个地区地区数量多的时候建议换成random.sample随机抽几个避免只看到字母排序靠前的区域影响对整体数据形态的判断。这一步没有模型参数但画出的趋势图能帮你确认后续该用回归还是分类以及是否存在明显的时间断点。4.2 源代码二特征工程加随机森林回归第二份代码做回归任务目标是直接预测“下一年的犯罪总量数值”。样本量只有几百到几千时随机森林是比梯度提升树更安全的起步算法不需要精细调学习率对特征尺度、异常值都不太敏感。我的初始参数是 n_estimators400、max_depth8、min_samples_leaf3这是针对小样本防止过拟合最常用的组合。import pandas as pd import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error model_df pd.read_pickle(model_df.pkl) # 前一个脚本输出的建模表 FEATURES [c for c in model_df.columns if c not in [region, year, target]] X model_df[FEATURES].select_dtypes(include[np.number]) y model_df[target] tscv TimeSeriesSplit(n_splits5) mae_list [] for train_idx, test_idx in tscv.split(X): X_train, X_test X.iloc[train_idx], X.iloc[test_idx] y_train, y_test y.iloc[train_idx], y.iloc[test_idx] rf RandomForestRegressor( n_estimators400, max_depth8, min_samples_leaf3, max_features0.5, random_state42, n_jobs-1, ) rf.fit(X_train, y_train) pred rf.predict(X_test) mae mean_absolute_error(y_test, pred) mae_list.append(mae) print(ffold MAE: {mae:.4f}) print(fMAE mean: {np.mean(mae_list):.4f} ± {np.std(mae_list):.4f})逻辑说明这不是随机打乱的 KFold而是TimeSeriesSplit它严格要求训练集年份早于测试集避免“拿未来预测过去”造成的假高分。select_dtypes(include[np.number])把 region 这类字符串列全部丢弃防止 fit 直接报错。每个 fold 输出的 MAE 是在犯罪总量这个绝对量纲上的平均误差例如预测 12000 起、实际 11800 起MAE 就是 200。参数说明max_features0.5让每棵树只用一半特征参与分裂增加树间差异对泛化有实际帮助。如果五个折的 MAE 标准差很大比如从 800 一路涨到 2000说明模型对更远年份的预测不稳定。这时候要检查是不是社会经济特征其实没什么预测力模型只是在复读前一年的滞后值——这是这个项目最常见的失败方式。4.3 源代码三把回归转成分类预测升降方向回归给出数值业务上更常用的是方向明年犯罪总量会升还是降。分类版实现起来同样简单只要把 target 和当年 total_crime 做比较大于 0 记 1否则记 0。这时评估指标就不能只看准确率还需要加混淆矩阵和召回率因为升降两类的样本量往往并不平衡。from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.metrics import accuracy_score, recall_score model_df[target_binary] (model_df[target] model_df[total_crime]).astype(int) X2 model_df[FEATURES].select_dtypes(include[np.number]) y2 model_df[target_binary] tscv TimeSeriesSplit(n_splits5) acc_list, recall_list [], [] for train_idx, test_idx in tscv.split(X2): X_train, X_test X2.iloc[train_idx], X2.iloc[test_idx] y_train, y_test y2.iloc[train_idx], y2.iloc[test_idx] scaler StandardScaler().fit(X_train) X_train_s scaler.transform(X_train) X_test_s scaler.transform(X_test) lr LogisticRegression( C1.0, max_iter1000, class_weightbalanced, random_state42, ) lr.fit(X_train_s, y_train) pred lr.predict(X_test_s) acc_list.append(accuracy_score(y_test, pred)) recall_list.append(recall_score(y_test, pred)) print(fAccuracy: {np.mean(acc_list):.3f} ± {np.std(acc_list):.3f}) print(fRecall: {np.mean(recall_list):.3f} ± {np.std(recall_list):.3f})逻辑说明把回归目标二值化之后模型的含义变成“明年是否比今年更糟”。class_weightbalanced让算法自动按类别频率上调少数类权重。StandardScaler只能 fit 在训练集上再用同一个 scaler 去 transform 测试集这是防数据泄漏的基本功。参数说明C1.0是正则强度的倒数数据量小时不建议调到 0.01否则特征权重被严重压缩模型会在训练集上呈欠拟合状态。输出里 Recall 比 Accuracy 更有业务价值——如果 80% 的样本都是下降全预测下降也能拿 80% 准确率只有把“上升”这个少数类挑出来才对实际研判有增量。5. 俄罗斯犯罪数据建模的 5 个避坑点从数据泄漏到地区差异5.1 模型精度虚高测试集里塞进了未来信息现象随机森林在训练集和测试集上的 R² 都超过 0.98特征重要性排第一的总是 crime_lag1看起来模型非常成功。原因最常见的是用train_test_split随机分割或者让 StandardScaler 在全体样本上 fit。犯罪数据有强趋势和自相关随机切分导致训练集和测试集来自同一年代数据高度相似模型只要记住滞后值就能拿高分。解决全局改用TimeSeriesSplit或者至少手动按年份划分保证测试集年份晚于训练集年份。代码二里从第一折到最后一折训练集永远只包含历史年份这才是“预测未来”而不是“复述过去”。5.2 分类准确率高但“上升”这一类基本没抓到现象分类任务里 Accuracy 上了 90%但混淆矩阵显示上升类别的召回率只有 20% 左右模型实际上放弃了预测犯罪上升。原因平稳年份里下降样本显著多于上升样本逻辑回归的损失被多数类主导对少数类仿若无物。解决把class_weightbalanced加进逻辑回归或者在随机森林里用class_weightbalanced_subsample。参数一加上升类的召回率通常能从 20% 提到 40% 到 50%但不会高太多。这是犯罪数据本身的信号上限不是模型调参能突破的。5.3 滞后阶数越加越多样本被 NaN 吃掉一半现象把滞后阶数从 3 加到 8模型效果没提升打印 shape 才发现训练行数少了近一半每个地区前 8 年数据全被 NaN 吃掉。原因滞后阶数每加一阶每个地区开头就多一行 NaN地区数量固定的情况下记忆长度和样本量是一对直接矛盾。小数据上尤其明显。解决先做 lag1 和 lag3 的组合保证每个地区至少保留 5 年以上的有效样本。样本量不足时果断牺牲滞后阶数而不是牺牲特征维度。后面再想占齐 8 年历史就得去找月度或季度细粒度数据补强。5.4 大城市样本把整体误差拉低小地区全在翻车现象整体 MAE 看着挺温和一旦按地区分开评估人口较少地区的误差动辄翻倍模型对这些地区的犯罪量基本是乱猜。原因地区之间犯罪量和人口规模悬殊模型学到的截距偏向样本量最大的地区小地区样本少、波动大绝对量上根本拟合不到位。解决在特征里加入地区编码让模型感知地区身份并按人口把地区分大中小三档分别评测。不要只看全量测试集上的一个总分任何均值指标都会掩盖小地区的糟糕表现。5.5 俄语字段类型混乱全流程中断现象pd.read_csv读完后year是字符串population含空格和逗号某列还带着百分号代码跑到groupby还能忍画图时直接报类型错误ufunc add did not contain a loop。原因俄语统计导出的数值列写法特殊没有在读取阶段统一做字符替换和类型转换pandas 把它们全部识别成 object。解决把第 2 章的数值清洗代码放在读取之后立即执行先替换、再转 float然后打印 dtypes 复查一遍。读文件和清洗是同一道工序中间不要穿插建模代码避免带着脏数据跑完整条链路后才发现问题。6. 把 0.6 MB 数据用到极致验证习惯与迭代方向数据量只有 0.6 MB靠堆模型赢不现实真正拉开差距的是验证设计和特征思路。第一把最新两年数据单独留出来当最终验证集。用前面所有年份训练用倒数第三年调参验证最新两年最后再碰。这个习惯在做演示项目时尤其重要——你是在给“未来数据”交代不是给历史数据说好话。第二回归和分类两个视角都跑一遍不要只看单一指标。回归用 MAE 的逐年变化判断模型稳不稳定分类用上升类的召回率判断业务价值两者互为交叉验证。如果回归 MAE 稳定但分类召回率只有 30%说明模型能把握趋势幅度却抓不住拐点下一步应该去找更细的月度数据。第三把随机森林的特征重要性或逻辑回归的系数按绝对值排序保存成 CSV。特征清单是数据项目里最值钱的产品下次拿到新地区、新年份的数据先比对变量是否齐全再决定能不能直接复用这套流程。我现在每次跑完一版都会顺手把model_df存成 parquet把每个折的指标追加到日志表这样不管哪一环翻车都能快速定位是清洗错了还是参数不合理不必从零重跑。这套流程跑熟之后0.6 MB 只是起点换一份几十 MB 的社会经济面板数据改改列名和编码就能再跑一遍。希望帮到你。本文还有配套的精品资源点击获取