3步搞定2014胡润中国富豪榜数据清洗，保姆级教程

3步搞定2014胡润中国富豪榜数据清洗，保姆级教程 看了一堆教程还是不会写项目？别慌，这篇保姆级教程带你从零到一。 很多人卡在“数据怎么处理”这一步，觉得财经数据高大上，其实拆开看就是几行代码的事。今天我们就拿2014胡润中国富豪榜当练手项目，手把手教你把原始数据变成能直接用的结构化信息。 项目目标：把榜单变成数据库 咱们先明确要干啥。原始榜单通常是Excel或者PDF，里面混杂着排名、姓名、财富值、行业、籍贯这些字段，但格式不统一，有的带空格，有的单位是“亿元”，有的是“万元”。 我们的目标是：读取原始数据文件 清洗脏数据（去空格、统一单位、处理缺失值） 转换成标准CSV格式 做个简单的可视化，看看前10名都干啥的做完这个，你就拥有了一个可复用的数据清洗流程，以后换2024年的榜单，改个文件名就行。 目录结构：保持工程化习惯 别以为写几个脚本就完了，真正的工程化从目录结构开始。哪怕是个小项目，也要有模有样。 hurun_2014_project/ ├── data/ │ └── hurun_2014_raw.csv # 原始数据 ├── src/ │ ├── __init__.py │ ├── data_loader.py # 数据读取模块 │ ├── data_cleaner.py # 数据清洗模块 │ └── visualizer.py # 可视化模块 ├── output/ │ └── hurun_2014_clean.csv # 清洗后的数据 ├── requirements.txt # 依赖管理 └── main.py # 主入口这种结构看着简单，但以后扩展功能时，你不用翻代码找逻辑。data_loader.py 只负责读，data_cleaner.py 只负责洗，visualizer.py 只负责画，各司其职。 我见过太多人把几千行代码堆在一个 main.py 里，最后自己都不敢改。这种目录结构，GitHub 开源仓库里到处都是，照着抄就行。 核心代码实现：逐行讲透 1. 环境准备 先装依赖，别用 pip install *，那样太乱。requirements.txt 里写清楚版本： pandas==2.0.3 matplotlib==3.7.2 numpy==1.24.3用 conda 或者 venv 建个虚拟环境，跑 pip install -r requirements.txt。这一步别省，环境不一致是新手最大的坑。 2. 数据读取：别直接用 pd.read_csv 很多人一上来就 pd.read_csv('raw.csv')，结果发现有的行是空的，有的列名带空格。我们写个稳健的读取函数： # src/data_loader.py import pandas as pd import osdef load_hurun_data(file_path: str) - pd.DataFrame:读取胡润富豪榜原始数据:param file_path: 文件路径:return: 清洗前的DataFrameif not os.path.exists(file_path):raise FileNotFoundError(f文件不存在: {file_path})# 关键：处理编码问题，中文数据常见utf-8-sigdf = pd.read_csv(file_path, encoding='utf-8-sig', skipinitialspace=True)# 去除列名中的空格df.columns = [col.strip() for col in df.columns]print(f成功读取数据: {len(df)} 条记录)return df注意 encoding='utf-8-sig'，这是Windows下Excel导出的CSV常见编码，不带这个参数，中文全是乱码。skipinitialspace=True 则是为了去掉字段前的空格，比如 姓名 变成 姓名。 3. 数据清洗：最核心的部分 这是最容易出错的地方。2014年的榜单里，财富值有的写“100亿”，有的写“100,000,000,000元”，还有的是“95.5亿”。我们统一成“亿元”为单位的浮点数。 # src/data_cleaner.py import pandas as pd import re import numpy as npdef clean_wealth_value(val):将各种格式的财富值统一转换为亿元为单位的浮点数:param val: 原始字符串或数字:return: 亿元为单位的float，无效返回np.nanif pd.isna(val):return np.nan# 转为字符串处理val_str = str(val).strip()# 去掉货币符号和空格val_str = val_str.replace('¥', '').replace('￥', '').replace(' ', '')# 匹配数字部分# 规则：数字(可选千分位逗号)(可选小数点)(可选单位)match = re.match(r'^(\d{1,3}(?:,\d{3})*(?:\.\d+)?|\d+(?:\.\d+)?)\s*(亿元|万元|元)?$', val_str)if not match:# 尝试简单数字解析try:return float(val_str.replace(',', ''))except ValueError:return np.nannumber_str = match.group(1)unit = match.group(2)# 去掉千分位逗号number = float(number_str.replace(',', ''))# 根据单位转换if unit == '亿元':return numberelif unit == '万元':return number / 10000.0elif unit == '元':return number / 100000000.0else:# 默认假设是亿元（胡润榜单通常如此）return numberdef clean_dataframe(df: pd.DataFrame) - pd.DataFrame:清洗整个DataFrame:param df: 原始DataFrame:return: 清洗后的DataFrame# 1. 去除姓名中的空格df['姓名'] = df['姓名'].str.strip()# 2. 转换财富值df['财富值_亿元'] = df['财富值'].apply(clean_wealth_value)# 3. 处理缺失值：排名不能为空，财富值缺失的标记为0df = df.dropna(subset=['排名'])df['财富值_亿元'] = df['财富值_亿元'].fillna(0)# 4. 类型转换：排名转为整数df['排名'] = df['排名'].astype(int)# 5. 去重：同一人可能出现多次（极端情况）df = df.drop_duplicates(subset=['姓名'], keep='first')print(f清洗后剩余: {len(df)} 条记录)return df这里用正则表达式匹配单位，是因为真实数据里，100亿、100 亿元、100亿元 都可能存在。apply 函数逐行处理，虽然慢点，但清晰易懂，对于几千行的数据完全够用。 4. 主程序串联 # main.py from src.data_loader import load_hurun_data from src.data_cleaner import clean_dataframe from src.visualizer import plot_top10 import pandas as pddef main():# 1. 读取raw_df = load_hurun_data('data/hurun_2014_raw.csv')# 2. 清洗clean_df = clean_dataframe(raw_df)# 3. 保存clean_df.to_csv('output/hurun_2014_clean.csv', index=False, encoding='utf-8-sig')print(清洗后数据已保存至 output/hurun_2014_clean.csv)# 4. 可视化plot_top10(clean_df)if __name__ == '__main__':main()运行与测试：别只跑通就完事 跑完 python main.py，别急着看图表。先检查 output/hurun_2014_clean.csv：打开CSV，看财富值列，有没有出现 nan 或异常小的数字？如果有，说明清洗逻辑有漏洞。 检查排名是否连续，有没有跳号？胡润榜单排名是唯一的，如果有重复，去重逻辑可能没生效。 对比原始数据的前10名，看清洗后的结果是否一致。我建议在 data_cleaner.py 里加个测试函数： def test_clean_wealth_value():测试财富值清洗函数assert clean_wealth_value(100亿元) == 100.0assert clean_wealth_value(10,000万元) == 1.0assert clean_wealth_value(100000000元) == 1.0assert clean_wealth_value(95.5亿) == 95.5assert clean_wealth_value(abc) == np.nanprint(所有测试通过!)在 main.py 里加一行 test_clean_wealth_value()，每次改代码都跑一下，确保没改坏原有逻辑。这种习惯，GitHub 开源仓库里的项目都有，不是形式主义，是保命符。 优化扩展：从能用到处用 基础功能跑通后，别停。想想这个数据还能干啥？ 1. 行业分布分析 # src/visualizer.py import matplotlib.pyplot as plt import pandas as pddef plot_top10(df: pd.DataFrame):绘制前10名财富值柱状图top10 = df.nlargest(10, '财富值_亿元')plt.figure(figsize=(10, 6))plt.barh(top10['姓名'], top10['财富值_亿元'], color='steelblue')plt.xlabel('财富值（亿元）')plt.title('2014胡润中国富豪榜 Top 10')plt.gca().invert_yaxis() # 排名靠前的在上面plt.tight_layout()plt.savefig('output/top10.png', dpi=150)plt.show()def plot_industry_distribution(df: pd.DataFrame):绘制行业财富总额分布industry_sum = df.groupby('行业')['财富值_亿元'].sum().sort_values(ascending=False)plt.figure(figsize=(12, 6))plt.bar(industry_sum.index, industry_sum.values, color='coral')plt.xticks(rotation=45, ha='right')plt.xlabel('行业')plt.ylabel('财富总额（亿元）')plt.title('2014胡润富豪榜各行业财富分布')plt.tight_layout()plt.savefig('output/industry_dist.png', dpi=150)plt.show()2. 同比分析 如果你有2013年的数据，可以加个对比模块： def compare_years(df_2014: pd.DataFrame, df_2013: pd.DataFrame):对比两年数据，找出财富增长最快的人merged = df_2014.merge(df_2013[['姓名', '财富值_亿元']], on='姓名', suffixes=('_2014', '_2013'))merged['增长额'] = merged['财富值_亿元_2014'] - merged['财富值_亿元_2013']merged['增长率'] = merged['增长额'] / merged['财富值_亿元_2013'] * 100top_growers = merged.nlargest(10, '增长额')return top_growers这种扩展，让你从一个“跑通代码的人”变成“能分析数据的人”。 3. 打包成CLI工具 用 click 或 argparse 把 main.py 包装成命令行工具： python -m hurun_project --input data/2014.csv --output output/ --top 20这样以后处理其他年份，不用改代码，换个参数就行。GitHub 上很多工具都是这么做的，用户体验直接拉满。 小结：比代码更重要的事 这个项目代码量不大，但踩的坑不少。编码问题、单位不统一、缺失值处理、去重逻辑，这些都是真实数据里的常见问题。 记住几个关键点：永远别相信原始数据是干净的，读取时就要做防御性处理 模块分离，读取、清洗、可视化分开，方便调试和扩展 写测试，哪怕只是几个 assert，也能避免低级错误 版本控制，把这个项目推到 GitHub 上，记录每次修改编程不是背语法，是解决实际问题。你能把2014年的榜单处理干净，就能处理2024年的，也能处理银行流水、销售报表、用户日志。方法是一样的，只是数据字段不同。 现在打开你的终端，建个目录，把上面的代码敲进去，跑一遍。跑不通的地方，就是你要深入学习的点。 还有什么不懂的？评论区留言挨个回