广州二手房房价预测：Python数据清洗+特征工程+随机森林实战

简介广州市二手房价预测数据与Python代码压缩包是一份面向数据分析初学者与房地产价格研究者的完整项目资料。包内共19个文件包含1个CSV格式的广州二手房数据集、1个Python脚本以及17张可视化分析PNG图表总大小仅1.05MB轻量且结构清晰。CSV数据涵盖房屋朝向、建筑面积、所在区域、建成时间、装修情况等关键字段为房价预测提供原始支撑Python脚本则完整实现了数据清洗、缺失值与异常值处理、特征选择、回归模型构建、交叉验证及多种误差指标评估等环节可直接运行并替换数据复现整个预测流程。17张PNG图表从不同维度呈现数据探索结果例如面积与总价的关系、不同区域的样本数量分布、房屋结构对价格的影响以及特征相关性热力图有助于快速理解影响房价的核心因素。资源已有984人学习适合希望通过真实数据处理流程掌握房价预测建模、数据探索分析与结果解读技能的读者也为后续尝试更复杂机器学习模型提供了可扩展的基线参考。1. 广州二手房价预测这份数据加 Python 代码包能走通什么这份资源是一个完整的广州二手房价格预测项目包一份data_guangzhou.csv数据集、一个HousePricePredict.py主脚本外加 17 张分析图表从朝向与总价、区域与总价到相关性矩阵、对数变换前后对比都有。它能解决的问题很具体拿到真实 CSV 后怎么用 Python 走通数据清洗、特征工程、模型训练到可视化的完整链路。适合刚学完 Python 基础、想用真实业务数据练手的人也适合面试前快速复盘完整项目。压缩包里的wq155像数据备份解压后先别急着删。2. 数据探查与预处理用 Python 从 data_guangzhou.csv 读出关键信息熟悉一个数据分析项目我习惯先不碰代码而是把压缩包里的文件名过一遍。这个包里的 17 张 PNG 命名其实已经把数据集的字段结构暴露得差不多了——朝向-总价所在区域-样本数建成时间-总价这些图名就是在告诉你 CSV 里有哪些列、哪些是类别、哪些是数值。从输出倒推输入这是很多数据分析老手看别人项目时的第一步也是 Python 数据分析与可视化场景里最实用的读包技巧。2.1 字段反推从图表文件名读出数据集的列结构把图名拆开看能还原出data_guangzhou.csv的核心字段结构字段推断类型依据所在区域类别所在区域-总价.png、所在区域-样本数.png面积平方米数值面积-总价.png、面积平方米.png朝向类别朝向-总价.png、朝向-样本数.png所在楼层类别/数值所在楼层-总价.png、所在区域-楼层-总价.png建成时间数值建成时间-总价.png、建成时间-样本数.png装修类别装修-总价.png房屋结构类别房屋结构-总价万元.png总价万元目标变量多个图的 y 轴这个表的意义在于正式写代码之前先确认口径。比如所在楼层到底是低中高分类还是具体数字建成时间是年份还是楼龄这两种写法直接决定特征工程的走向。我一般会先跑一遍df.dtypes扫类型如果建成时间被读成 object多半是 Excel 里混入了文本比如2005年带单位这种列要先用pd.to_numeric(..., errorscoerce)转回来否则画图时 X 轴会乱序模型也会直接报错。2.2 用 Pandas 做第一轮探查形状、缺失、重复一个都别漏拿到 CSV 后第一件事不是建模型而是回答三个问题多少行多少列、有没有缺失、有没有重复和脏数据。常见做法是先用info()和describe()摸底import pandas as pd import numpy as np df pd.read_csv(data_guangzhou.csv, encodingutf-8) print(df.shape) # 行数和列数先建立样本量概念 print(df.info()) # 每列非空计数和数据类型 print(df.describe(includeall)) # 数值列的描述统计 类别列的 top 值df.shape一定要先看如果只有两三百行后面做复杂交叉验证意义不大模型上限就摆在那里如果有几千行随机森林这类模型才有发挥空间。info()的价值在于一眼定位缺失——非空计数明显少于其他列的字段就是需要处理的。describe(includeall)对数值列给均值、标准差、分位数对类别列给 unique 数和频次最高的值第一轮探查基本够用。然后是缺失值和异常值处理。这个项目里最典型的坑集中在面积和总价两个字段常见的问题是 0 值和极端值混在正常样本里# 1. 缺失率检查超过 30% 的列直接考虑删除 missing df.isnull().mean() print(missing[missing 0]) # 2. 重复行检查完全重复的样本会让模型对重复数据过度学习 print(f重复行数: {df.duplicated().sum()}) df df.drop_duplicates().reset_index(dropTrue) # 3. 面积不可能小于 5 平米这种记录基本是录入错误 df df[df[面积平方米] 5] # 4. 总价做分位数裁剪去掉上下 1% 的离群点 lower df[总价万元].quantile(0.01) upper df[总价万元].quantile(0.99) df df[(df[总价万元] lower) (df[总价万元] upper)] print(f清洗后样本量: {len(df)})这里的逻辑要说清楚面积小于 5 平米的房子在住宅市场里基本不可能存在删除不是矫情总价用 1% 分位数裁剪是为了防止某套顶层复式把模型整体带偏。注意裁剪只在训练通用预测模型这个目标下成立——如果业务目标就是预测高端豪宅这个策略就得重新讨论。缺失值方面单列缺失率超过 30% 我建议直接删列填充出来的字段没有真实信息量反而让模型误以为该特征可信。还有一个容易忽略的动作把清洗后的数据单独存一份副本。我给这个项目的习惯是清洗完立刻df.to_csv(data_guangzhou_clean.csv, indexFalse)后面模型调参时反复读清洗后的文件而不是每次从原始 CSV 重新跑一遍清洗流程。这样既能保证实验可复现也方便排查是不是清洗步骤改动了什么。3. 特征工程与相关性分析哪些字段真正影响总价预处理做完下一步回答哪些特征和总价有关系这一步直接决定模型质量上限。这个项目里的相关性.png就是这一阶段的产物。要注意相关性矩阵只能捕捉线性关系类别型特征和总价的非线性关系要靠分组统计图来补两张图配合着看才是完整的特征筛选。3.1 相关性图和分组统计线性与非线性分开看相关性.png里通常包含数值字段两两之间的皮尔逊相关系数。以这个项目为例面积、建成时间是连续数值朝向、装修是类别混合计算时相关系数只对面积-总价建成时间-总价这两对有效。从面积-总价.png这张散点图能明显看到正向线性趋势面积越大总价越高这符合常识也是后续模型里权重最大的特征。建成时间和总价的关系则更微妙老城区老破小单价不低但总价低近郊次新房总价反而高所以它的相关性强度通常弱于面积。类别字段靠分组聚合而不是相关系数# 分组聚合看每个朝向的平均总价和中位数辅助判断是否保留 orient_group df.groupby(朝向)[总价万元].agg([mean, median, count]) print(orient_group.sort_values(mean, ascendingFalse)) # 检查类别字段的 unique 数量防止出现几百个值的伪类别 for col in [所在区域, 朝向, 装修, 房屋结构, 所在楼层]: print(col, df[col].nunique())这段代码做两件事第一groupby 算出每个朝向的均值、中位数和样本数样本数太少的朝向比如只有 3 套的西北建模时合并成其他否则 one-hot 之后这个特征就是纯粹噪声第二nunique()检查类别数如果所在区域有 30 个值就要考虑按均价合并或者保留 top 10。分组结果里如果精装和毛坯的中位数总价差距超过 30%说明装修是强特征必须进模型如果差距在 5% 以内就可以考虑丢弃减少特征维度。3.2 对数变换与编码目标变量和类别特征的处理顺序不能乱总价万元-log.png这张图说明项目对目标变量做了对数变换这是房价预测里的标准操作。房价分布通常右偏大部分房子集中在 300 到 500 万少数千万豪宅把均值拉高模型会为了拟合那几个极端值牺牲整体精度。取对数后分布接近正态线性回归对误差的正态假设更容易满足随机森林这类模型也能因为目标分布更均匀而学得更稳。这一步放在任何模型之前且必须和特征处理分开写方便单独验证效果df_clean df.copy() # 目标变量取对数log1p 对 0 值安全避免 log(0) 报错 df_clean[总价_log] np.log1p(df_clean[总价万元]) # 类别字段先统计再决定编码方式 from sklearn.preprocessing import LabelEncoder # 树模型优先走 LabelEncoder线性模型必须 OneHot le_dict {} for col in [所在区域, 朝向, 装修, 房屋结构]: le LabelEncoder() df_clean[col _code] le.fit_transform(df_clean[col]) le_dict[col] le提示LabelEncoder 只适合树模型。如果后面换成线性回归类别列必须用 OneHotEncoder 展开否则天河5、越秀3这种编码顺序会给线性模型传递虚假的数值大小关系。这里特意用np.log1p而不是np.log原因是log1p在输入为 0 时返回 0 而不是负无穷数据里偶尔混入的 0 值不会直接让程序报错。类别编码的选择取决于后续模型树模型做的是条件分裂不 care 类别的顺序LabelEncoder 省内存又方便线性模型则完全不能接受这种编码必须 one-hot。判断标准很简单模型里有没有对系数做线性累加有就用 OneHot没有就随意。特征准备最后一步是拆分数据集顺序放在编码之后、任何统计操作之前from sklearn.model_selection import train_test_split feature_cols [面积平方米, 建成时间, 所在区域_code, 朝向_code, 装修_code, 房屋结构_code, 所在楼层] X df_clean[feature_cols] y df_clean[总价_log] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print(f训练集: {X_train.shape}, 测试集: {X_test.shape})random_state42必须固定否则每次跑出来的训练集不同模型评估结果无法复现这在项目交接时是致命的——别人拿同一份数据跑出不同结果第一反应就是你代码里有随机过程没锁种子。4. 模型训练与评估线性回归和随机森林的实际差距数据集拆分完成就到核心环节。HousePricePredict.py走的是一条从简到繁的路线先线性回归做基线再随机森林做增强最后用 R² 和 RMSE 对比收尾。这个套路和 sklearn 早期的波士顿房价预测案例思路一致——波士顿数据集因为伦理争议已经从新版 sklearn 下架广州这份数据是很合适的替代练手素材同样是小样本、多类别特征、价格预测任务。4.1 线性回归基线系数解读比分数更重要线性回归的价值不是用来拿最高分而是给后续所有模型定一个下限。如果线性回归 R² 有 0.8说明数据基本是线性的后面换复杂模型收益有限如果只有 0.6说明存在明显的非线性交互复杂模型才有上的必要。from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score lr LinearRegression() lr.fit(X_train, y_train) y_pred_log lr.predict(X_test) y_pred np.expm1(y_pred_log) # 还原成万元口径 y_true np.expm1(y_test) # 测试集同样还原 rmse np.sqrt(mean_squared_error(y_true, y_pred)) r2 r2_score(y_true, y_pred) print(fLinearRegression RMSE{rmse:.2f}万元 R²{r2:.4f})注意还原顺序模型在 log 空间训练预测结果必须先expm1还原成万元评估指标也必须在还原后的口径下计算否则 RMSE 的单位是 log 万元既没法跟业务解释也没法和其他模型直接比。这是 log 变换项目中最高频的错误我见过不止一次有人拿着 log 空间的 RMSE 汇报数字看着很小实际上完全不可比。系数解读同样有信息量lr.coef_里面积系数的绝对值通常是最大的说明面积每增加一平方米log 总价按固定幅度上升等价于总价按比例增长。如果所在区域_code的系数绝对值也排在前列说明区域对房价的影响在控制面积之后依然显著这就是后续值得深挖的方向。一个经验值如果某个系数的正负方向和常识相反比如面积系数是负的先别急着调参回头检查是不是特征里有共线性——比如面积和总价之外又混进了一个单价派生列。4.2 随机森林与交叉验证两个参数锁死过拟合线性回归 R² 不上 0.7 时换随机森林是合理选择。随机森林的优势是自动捕获交互作用天河区的 100 平米和增城区的 100 平米价格逻辑完全不同线性模型只能靠区域系数硬加树模型天然按区域分裂这种非线性交互对树模型是零成本的。但随机森林有两个绕不过去的参数n_estimators不是越大越好max_depth不限制必然过拟合。from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import cross_val_score rf RandomForestRegressor( n_estimators200, max_depth12, min_samples_leaf5, random_state42 ) # 5 折交叉验证评分用负均方误差取均值后算 RMSE scores cross_val_score(rf, X_train, y_train, cv5, scoringneg_mean_squared_error) rmse_cv np.sqrt(-scores.mean()) print(fRF 交叉验证 RMSE{rmse_cv:.2f}万元) rf.fit(X_train, y_train) y_pred_rf np.expm1(rf.predict(X_test)) print(fRF 测试集 R²{r2_score(np.expm1(y_test), y_pred_rf):.4f})max_depth12和min_samples_leaf5是这组基线参数里最关键的两个前者限制树生长深度后者要求叶子节点至少 5 个样本两者共同防止树把训练集里的单条异常彻底背下来。调参思路不是 GridSearch 一把梭而是先固定n_estimators200手动试max_depth在 8、10、12、15 四个档位下交叉验证分数的变化选分数不再明显提升的那一档。min_samples_leaf从 3 开始往上试样本量只有几千时叶子太小就是过拟合前兆。特征重要性是随机森林的副产品必须看rf.feature_importances_会输出每个特征对预测力的贡献占比。如果面积 importance 超过 0.5说明价格方差主要由面积解释模型结构符合预期如果某个编码后的类别特征 importance 异常高要警惕是不是该类别编码无意中泄漏了信息比如把天河编成 5 的同时恰好这个数字和总价排序一致。5. 避坑与排查广州房价预测里四个容易翻车的地方这个项目复现的时候踩过不少坑挑四个最有代表性的写出来。每条都是现象、原因、解决三段式照着对就能定位问题。5.1 模型 R² 高达 0.95换一批数据预测立刻崩现象训练集上分数漂亮得不像话测试集或新数据上一塌糊涂典型的高分低能。原因数据泄漏。最常见的是在train_test_split之前用了全量数据做填充或标准化——用全量均值填缺失值、在全量数据上 fit StandardScaler测试集的信息提前进了训练流程评估指标自然虚高。另一种是特征里混入了单价这类由总价直接计算出来的派生列模型等于拿着答案做题。解决所有填充、编码、标准化都必须先 split 再对训练集 fit_transform测试集只 transform。自查方法也简单把面积和疑似派生列从特征里去掉再跑一遍如果 R² 从 0.95 跌到 0.5基本可以确认之前有泄漏或伪强特征。泄漏不是一个可以蒙混过关的细节它会让整个项目的结论失效。5.2 清洗后样本从 5000 行变成 800 行模型方差大得离谱现象数据量骤减同一个模型多次运行结果波动很大交叉验证分数忽高忽低。原因清洗动作叠加太狠。先用dropna()删掉所有含缺失的行再按分位数裁异常值两步叠加把样本量砍掉八成。尤其朝向这类字段缺失其实可以用未知填充直接删行损失太大。解决定清洗优先级——先删确定无效的面积小于 5、总价小于 10 万再对缺失字段分情况处理数值列缺失率低用中位数填类别列新增未知类最后才做分位数裁剪且每一步都打印df.shape看损失量。我给自己定的红线是清洗损失超过 15% 就要回头检查数据源而不是硬着头皮往下跑。5.3 总价取对数后分布很完美预测结果却整体偏小现象总价万元-log.png看起来接近正态但模型预测值系统性低于真实成交价尤其高价房源。原因对数变换的还原偏差。expm1(预测的 log 均值)得到的是中位数估计而不是均值估计在右偏数据上中位数小于均值导致整体低估。另外也有人直接在 log 空间报告误差没做还原口径完全错误。解决预测时用np.expm1还原是基础评估时同时报 RMSE 和 MAE。如果 RMSE 明显大于 MAE说明误差集中在少数高价房上这时候可以针对总价大于 800 万的样本单独建模或者改用分位数回归而不是继续调随机森林参数。5.4 OneHot 后特征从 7 列变成 60 列训练慢了一个数量级现象编码后特征矩阵宽度爆炸随机森林训练和调参的时间肉眼可见变长而且模型分数并没有提升。原因类别字段直接 one-hot 没有合并。所在区域 30 个区展开 30 列朝向 8 个方向展开 8 列房屋结构再展开十几列特征空间膨胀后树模型的分裂计算量上去而低频类别独自成列基本提供不了预测力。解决编码前先value_counts()统计频次把频次低于总数 1% 的类别合并成其他再编码。对区域这类高基数字段也可以改用目标编码——用该区域的平均 log 总价当特征值。目标编码信息量高但容易泄漏需要配合交叉验证使用新手先走合并其他的稳妥路线就行。6. 把预测结果讲清楚残差图检查和结果落地的三个习惯模型调完不是终点项目收尾前我强制自己过一遍验证环节性价比最高的检查是残差图。import matplotlib.pyplot as plt residual np.expm1(y_test) - y_pred_rf plt.scatter(y_pred_rf, residual, alpha0.4) plt.axhline(y0, colorred, linestyle--) plt.xlabel(预测总价万元) plt.ylabel(残差万元)这张图画完看两个点。第一残差点是否围绕 0 轴均匀分布如果呈漏斗形预测值越大残差越散说明模型在高价区间方差大报告里要写明800 万以上房源预测仅供参考。第二是否有系统性偏移如果 300 万以下房子的残差几乎全为正说明该区间整体低估问题大概率出在对数变换的还原偏差上。收尾前我还有两个固定动作。一是把特征重要性排序导出成 CSV留给后续做特征筛选的人免得下次从头跑一遍才知道哪些字段有用二是把训练集和测试集的 RMSE 并列写进注释——训练集 40 万、测试集 120 万这种超过 3 倍的差距就是过拟合得回去调max_depth和min_samples_leaf。这套流程走完这份资源的价值就不只是跑通一个房价预测脚本而是一个可复用的数据分析模板任何一份带目标变量的 CSV都能按探查→清洗→编码→建模→残差检查的顺序过一遍。现在我接手类似的数据分析项目已经习惯把整条链路写进HousePricePredict.py这种单文件里每步输出一张图图名就是业务结论别人拿到手不读代码也能看懂数据讲了什么。希望这份广州二手房预测的资源也能帮到你。本文还有配套的精品资源点击获取