纽约出租车流量预测：从数据处理到LSTM实战全指南

简介面向人工智能课程设计、期末大作业与深度学习者这套纽约出租车流量预测项目提供了基于深度学习的完整可运行方案。代码包含LSTM、GRU、CNN-LSTM、CNN-GRU等多类模型实现并配有data_loader、configuration、func等模块注释清楚适合新手对照阅读。资源整体为zip压缩包共31个文件以Python脚本9个py、编译缓存7个pyc、项目配置xml、训练图像png、数据集npz及docx说明文档为主压缩包仅1.21MB下载后简单部署即可使用。目前已有355人学习下载。项目内含volume_train.npz、volume_test.npz数据集和详细数据说明README与docx文档可帮助快速理解整体结构训练过程还输出多种模型的指标图便于对比效果、撰写实验分析与答辩。对于希望获得高分大作业或系统掌握流量预测建模流程的读者是一份实用且易上手的参考资料。1. 纽约出租车流量预测为什么说它是大作业里的“安全牌”如果你正在为人工智能大作业选题发愁纽约出租车流量预测是个被低估的选择。它没有图像识别那么卷也不像自然语言处理那样需要大模型才能出效果但数据规范、指标清晰、可视化效果好答辩时能讲的东西非常多。更关键的是这个任务的baseline并不弱深度学习模型未必能碾压简单方法这种“反差感”反而成了作业里最值得写的分析点。本文从数据集处理、特征工程、模型实现到踩坑排错完整走一遍这个项目的落地路径。说实话我见过不少学生在这个题目上翻车不是因为模型不会写而是数据预处理和评估方式出了错。流量预测本质是时间序列问题时间序列和普通回归最大的区别在于你不能随机打乱数据。这一条就卡掉了相当一部分人。后面会针对这类问题展开讲跟着步骤走一周内交出一份能跑、能讲、能答辩的完整项目没有问题。2. 任务定义与数据集落地先把“流量”两个字说清楚2.1 流量预测和订单量预测不是一回事开始写代码前先看一个容易被忽略的问题你预测的“流量”到底是什么。纽约出租车数据集里每行是一次行程记录包含上下车时间、上下车地点ID、里程、金额等字段。常见的预测目标有两种一是预测某个区域在某个时间段的订单量二是预测某个区域间的转移流量。后者更像图论问题用深度学习做成本高大作业不划算。前者才是主流也符合“出租车流量预测”这个题目的直觉。我一般建议把目标定为预测纽约每个出租车区域LocationID在未来1小时内的订单数。粒度上时间可以按30分钟或1小时划分区域直接用数据集里的PULocationID。这样任务就变成了一个多变量时间序列预测问题——输入过去若干小时的订单量序列输出下一小时的订单量。加上天气、节假日、时间特征就是一个标准的有监督学习任务。还有一个细节值得注意数据集的字段里有tpep_pickup_datetime和tpep_dropoff_datetime。做流量预测只用上车时间因为订单量的统计口径是“有多少人开始打车”而不是“有多少人下车”。这个细节看着不起眼但答辩时老师问起来你能答清楚就是加分项。2.2 NYC TLC数据集怎么拿、怎么存、怎么聚合纽约出租车数据由纽约市出租车和豪华轿车委员会TLC公开按月度发布。原始文件很大一个月的数据压缩包有一百多兆解压后是几千万行。学生笔记本直接跑全量数据不现实所以第一步要做的是裁剪和聚合先把数据变成能处理的大小。常见做法是下载某一个月的黄色出租车数据然后用Pandas分块读取按PULocationID和小时聚合。import pandas as pd # 分块读取避免内存爆炸 chunks pd.read_csv( yellow_tripdata_2023-01.csv, usecols[tpep_pickup_datetime, PULocationID], chunksize500_000 ) frames [] for chunk in chunks: chunk[tpep_pickup_datetime] pd.to_datetime(chunk[tpep_pickup_datetime]) chunk[pickup_hour] chunk[tpep_pickup_datetime].dt.floor(h) # 按区域小时统计订单数 agg chunk.groupby([pickup_hour, PULocationID]).size().reset_index(namecount) frames.append(agg) df pd.concat(frames, ignore_indexTrue) df df.groupby([pickup_hour, PULocationID])[count].sum().reset_index() df.to_parquet(nyc_taxi_hourly.parquet)这段代码的逻辑是分块读入每块只保留上车时间和上车区域两列然后按小时和区域做聚合。最后用Parquet格式保存后续加载快、占空间小。参数上chunksize取500000比较稳妥太大容易撑爆内存太小则循环变慢。dt.floor(h)是把时间对齐到小时整数这一步务必要做否则同一小时内的记录会被拆成不同的时间戳。聚合之后数据量会从几千万行降到几万行处理起来很轻松。到这里原始数据已经变成了“时间 区域 订单量”的规整结构可以直接开始特征工程。2.3 特征工程时间、滞后、天气哪些真的有用流量预测的特征分三层。第一层是时间特征小时、星期几、是否节假日。出租车流量有明显的日内周期和星期周期早高峰、晚高峰、周末夜生活时段特征完全不同。这些特征直接用pandas的dt访问器就能提取。第二层是滞后特征即过去几个小时的订单量。这是时间序列预测里最有效的特征没有之一。第三层是外部特征包括天气和节假日纽约下雨天打车需求明显上升但天气数据需要外接属于可选项。import pandas as pd from pandas.tseries.holiday import USFederalHolidayCalendar df[pickup_hour] pd.to_datetime(df[pickup_hour]) df[hour] df[pickup_hour].dt.hour df[weekday] df[pickup_hour].dt.weekday df[is_weekend] df[weekday].isin([5, 6]).astype(int) # 节假日标记 cal USFederalHolidayCalendar() holidays cal.holidays(start2023-01-01, end2023-01-31) df[is_holiday] df[pickup_hour].dt.normalize().isin(holidays).astype(int) # 滞后特征过去3小时同一区域的订单量 for lag in [1, 2, 3, 24]: df[flag_{lag}] df.groupby(PULocationID)[count].shift(lag) # 去掉有缺失滞后的行 df df.dropna().reset_index(dropTrue)滞后特征用shift实现注意必须按PULocationID分组否则不同区域的滞后值会串位。lag_24是为了捕捉“昨天的同一时刻”这种跨天规律。shift之后前几行会产生NaN直接dropna即可。天气特征我通常放到模型对比阶段再决定要不要加因为大作业的核心在深度学习模型的实现外部特征越多训练时间和调试成本越高。3. 模型选型与最小实现LSTM不是唯一答案但是最稳的答案3.1 baseline先跑起来历史平均、线性回归、XGBoost很多人一上来就写LSTM这是大作业里最常见的错法。没有baseline你无法证明深度学习模型到底有没有用。更现实的问题是如果LSTM的效果连线性回归都比不过论文里“模型有效”这个结论就站不住脚。所以先跑几个简单的baseline既是学术规范也是给自己留后路。历史平均法是最简单的预测值等于过去同一时段的历史均值。比如预测周三上午9点的流量就用过去几个周三上午9点的平均值。线性回归直接拿上一节构造的特征矩阵做训练。XGBoost是树模型的代表对表格特征非常友好能在几分钟内给出强baseline。from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error import numpy as np # 假设df已经包含特征和count列 feature_cols [hour, weekday, is_weekend, is_holiday, lag_1, lag_2, lag_3, lag_24] # 按时间排序后切分前80%训练后20%测试 df df.sort_values(pickup_hour).reset_index(dropTrue) split_idx int(len(df) * 0.8) train, test df.iloc[:split_idx], df.iloc[split_idx:] lr LinearRegression() lr.fit(train[feature_cols], train[count]) pred lr.predict(test[feature_cols]) mae mean_absolute_error(test[count], pred) print(fLinearRegression MAE: {mae:.2f})这段代码最需要注意的是切分方式。这里用了按时间顺序切分没有随机打乱。如果有读者习惯性地用train_test_split(random_state42)就会造成时间泄漏测试集里混着训练集之后的数据评估结果虚高。baseline的MAE建议记录下来后面深度学习模型的每一项改进都要和这个数字对比才有说服力。3.2 LSTM最小实现Keras版本50行内跑通LSTM是这个项目的主力模型。选择LSTM而不是GRU或Transformer的理由很简单LSTM对中等长度的序列预测足够用Keras封装完善调参路径清晰答辩时能讲清楚的东西也多。GRU可以当作对比实验Transformer在这种小规模时间序列上优势不明显而且训练不稳定不建议大作业主模型用。处理LSTM输入前需要把数据整理成三维张量形状是(samples, timesteps, features)。timesteps就是序列长度表示用过去多少个时间步预测下一个时间步。这里用24小时作为回看窗口特征包括时间特征和订单量。import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping def build_sequences(features, target, n_steps24): X, y [], [] for i in range(n_steps, len(features)): X.append(features[i - n_steps:i]) y.append(target[i]) return np.array(X), np.array(y) # 特征列需要归一化这里先用训练集的统计量 from sklearn.preprocessing import StandardScaler scaler StandardScaler() train_feat scaler.fit_transform(train[feature_cols]) test_feat scaler.transform(test[feature_cols]) X_train, y_train build_sequences(train_feat, train[count].values) X_test, y_test build_sequences(test_feat, test[count].values) model Sequential([ LSTM(64, return_sequencesTrue, input_shape(X_train.shape[1], X_train.shape[2])), Dropout(0.2), LSTM(32, return_sequencesFalse), Dropout(0.2), Dense(16, activationrelu), Dense(1, activationlinear) ]) model.compile(optimizeradam, lossmse, metrics[mae]) early_stop EarlyStopping(monitorval_loss, patience5, restore_best_weightsTrue) history model.fit( X_train, y_train, validation_split0.1, epochs50, batch_size64, callbacks[early_stop], verbose1 )代码里的几个参数值得说明。n_steps取24因为流量有很强的日周期回看24小时能覆盖完整的周期模式。第一层LSTM设置return_sequencesTrue是为了把完整的隐藏状态序列传给第二层LSTM如果只有单层LSTMreturn_sequences应该设为False。Dropout推荐放在每个LSTM层后面比例0.2起步序列数据过拟合风险高dropout可以适当加大到0.3。EarlyStopping的patience设5即验证集损失连续5轮不下降就停止restore_best_weightsTrue保证拿回验证损失最小的那套权重。这里需要特别强调一下归一化。scaler是在训练集上fit的然后直接transform测试集。绝不能对整个数据集做fit那是数据泄漏会让测试集信息提前渗入模型。很多学生在这个地方栽跟头后面避坑章节会详细展开。3.3 序列窗口、归一化和数据泄漏三个必须提前定死的事序列窗口长度、归一化方式、数据切分方法这三个决策必须在写模型之前定死否则后面全是返工。先说序列窗口。窗口太短模型看不到周期规律窗口太长LSTM的长期依赖会退化训练时间也变长。24是多数场景下的经验值。如果你的数据是30分钟粒度窗口可以取48。判断窗口是否合理的方法是看滞后特征的重要性如果lag_24在XGBoost里特征重要性很高说明24步窗口大概率够用。归一化方式推荐StandardScaler即减去均值除以标准差。也有人用MinMaxScaler把数据压到0到1之间配合tanh激活函数使用。两种都能用但注意归一化只对输入特征做预测目标count如果是原始值输出层的激活函数必须配合线性激活配StandardScaler是安全的。如果对目标值也做了归一化预测结果要反归一化才能计算指标这一步经常出错。数据切分是时间序列项目里最反直觉的地方。普通机器学习用train_test_split随机切分时间序列必须按时间顺序切分。测试集必须是训练集之后发生的数据否则你的模型“看到了未来”评估结果毫无意义。4. 训练与评估不随机切分数据其他都是白搭4.1 时间序列切分TimeSeriesSplit和手动切分的写法时间序列交叉验证和普通K折交叉验证完全不同。K折随机打乱数据时间序列必须保持顺序。sklearn提供了TimeSeriesSplit它按时间顺序递增地划分训练集和验证集每次验证集都在时间上晚于训练集。from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for fold, (train_idx, val_idx) in enumerate(tscv.split(df)): train_fold df.iloc[train_idx] val_fold df.iloc[val_idx] print(fFold {fold}: train {train_idx.min()}~{train_idx.max()}, val {val_idx.min()}~{val_idx.max()})手动切分的写法更直观也更好向答辩老师解释。先按pickup_hour排序然后指定一个比例比如前80%训练、后20%测试代码在baseline部分已经写过。TimeSeriesSplit适合做模型选择和超参数调优手动切分适合最终的评估。两者的核心逻辑一致训练集时间必须早于测试集时间。有一个常见的反模式按区域切分。有人会想用曼哈顿中城的流量做训练测试皇后区的流量这样可以检验模型的泛化能力。这种思路本身没问题但它改变了任务定义——变成了空间泛化问题而不是时间预测问题。大作业里不建议混用两种逻辑先把时间预测做扎实有余力再做区域级别的泛化分析。4.2 损失函数与评估指标MAE、RMSE、MAPE怎么选LSTM训练用的损失函数是MSE均方误差它惩罚大误差的效果显著能让模型更关注流量峰值时段的准确性。但评估指标不能用MSE因为MSE的量纲是平方不好向人解释。常用的评估指标是MAE、RMSE和MAPE。MAE是平均绝对误差单位就是“订单数”最直观。RMSE是均方根误差对大误差更敏感如果模型在高峰时段的预测经常偏得离谱RMSE会很大。MAPE是百分比误差但有两个问题一是当真实值为0时会除以0二是MAPE对低谷时段的误差惩罚很大纽约凌晨很多区域的订单量就是0MAPE会因此虚高。所以推荐以MAE为主指标RMSE作为辅助MAPE只在排除零值后再计算。from sklearn.metrics import mean_absolute_error, mean_squared_error # 反归一化预测值前先检查是否对目标做了缩放 # 如果目标未缩放可以直接计算指标 mae mean_absolute_error(y_test, pred) rmse np.sqrt(mean_squared_error(y_test, pred)) # 排除真实值为0的样本后再算MAPE mask y_test 0 mape np.mean(np.abs((y_test[mask] - pred[mask]) / y_test[mask])) * 100 print(fMAE: {mae:.2f}, RMSE: {rmse:.2f}, MAPE: {mape:.2f}%)计算MAPE时先做mask过滤。如果不过滤2023年1月某日凌晨3点某个区域订单量为0模型预测了个0.3这一项的MAPE直接是无限大整个指标就废了。这个问题在后面避坑章节还会再提因为很多学生的报告里MAPE大得离谱原因就在这。评估时还有一个细节应该按“小时区域”聚合后评估还是按独立样本评估。前者更符合业务直觉能看出一天里哪个时段预测误差最大后者更简单直接。大作业建议两种都算做一张分时段的MAE曲线图答辩时非常好用。4.3 训练过程调参早停、学习率、batch size的默认值深度学习训练调参是玄学但有几个默认值可以让你少走弯路。优化器用Adam学习率默认0.001batch size取64或32epochs设50加上EarlyStopping。这套组合在大多数表格类和序列类问题上都能稳定收敛。from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import ReduceLROnPlateau model.compile(optimizerAdam(learning_rate0.001), lossmse, metrics[mae]) lr_scheduler ReduceLROnPlateau( monitorval_loss, factor0.5, patience3, min_lr1e-5 ) history model.fit( X_train, y_train, validation_split0.1, epochs50, batch_size64, callbacks[early_stop, lr_scheduler], verbose1 )ReduceLROnPlateau在验证集损失连续3轮不降时把学习率减半最低降到1e-5。这个回调配合EarlyStopping使用可以让模型跳出局部极小点也可以防止学习率过大导致的震荡。如果训练loss在下降但val_loss抖动厉害说明学习率偏高或者数据里有异常值可以先调低学习率再试。batch size的选择和内存以及收敛速度有关。64在大多数电脑上跑得动如果显存或内存吃紧可以降到32。注意batch size不是越大越好过大的batch size会让模型收敛到尖锐极小值泛化能力反而变差。这些内容不用写进代码但答辩时老师问到怎么调参你能说出这些默认值的理由就是个加分项。5. 纽约出租车流量预测避坑清单5个翻车现场与解法5.1 归一化时用到了全量数据的统计量现象模型在训练集上MAE很低测试集MAE也好看但把预测结果画出来发现曲线整体偏移或者指标的方差很大。换成新的时间段数据后效果暴跌。原因对全量数据调用scaler.fit_transform测试集的均值和标准差混进了scaler的参数里属于数据泄漏。虽然测试集的loss没有直接参与训练但归一化参数已经“看过”测试集了评估结果虚高。解决先切分数据再对训练集fit对测试集只transform。这是时间序列项目里最基础也最容易犯的错。# 错误做法 scaler StandardScaler() all_scaled scaler.fit_transform(df[feature_cols]) # 正确做法 scaler StandardScaler() train_scaled scaler.fit_transform(train[feature_cols]) test_scaled scaler.transform(test[feature_cols])5.2 随机切分导致时间泄漏现象模型的测试MAE低得惊人甚至比baseline还低一大截但画预测曲线时发现预测值“提前”跟随了真实值的走势。原因用了train_test_split且没有设置shuffleFalse导致测试集里混入了时间上早于训练集的数据。模型在训练时见过这些样本测试时相当于开卷考试。解决时间序列必须按时间顺序切分直接排序后用索引切分。如果要用交叉验证选TimeSeriesSplit而不是K-fold。5.3 MAPE在低谷时段爆炸现象整体MAE说得过去但MAPE高达几百甚至上千报告里根本没法写。原因纽约凌晨时段很多区域的订单量为0MAPE的公式里真实值做分母0除以任何数都是无穷大。少量零值样本就把平均MAPE拉高了。解决计算MAPE前过滤掉真实值为0的样本或者改用sMAPE对称平均绝对百分比误差。报告中明确写出过滤条件避免被质疑。5.4 模型预测结果总是接近同一个值现象不同区域、不同时段的预测值几乎不变画出来是一条平直的线。原因目标变量count的分布极度右偏少数高峰时段的值很大多数时间接近0。模型学习了均值回归预测所有样本都归到中间值附近。这是回归任务处理偏态分布的典型问题。解决对目标值做对数变换即预测log(count 1)评估时再指数还原。也可以考虑把任务改成分类比如预测流量等级但大作业不建议改任务。对数变换最简单效果也最直接。df[count_log] np.log1p(df[count]) # 模型预测的是log值评估时还原 pred_count np.expm1(pred_log)5.5 长序列上LSTM退化现象把回看窗口从24加大到48或72模型效果没有提升反而变差训练时间还翻倍。原因LSTM虽然有门控机制但超过一定步数后梯度传播仍然会有衰减。尤其在数据量不大的情况下48步的输入里有大量冗余信息模型学不到有效模式。解决回看窗口不是越大越好。24步已经覆盖了日周期。如果确实需要更长的依赖可以考虑把序列做差分或引入注意力机制但大作业不必追求那么复杂。在报告里诚实写出“增加回看窗口未能带来显著提升”反而是个很好的分析点。6. 把作业做出含金量多步预测、空间可视化和答辩要点6.1 从单步到多步三种写法和各自的代价前面实现的都是单步预测即用过去24小时预测下一小时。但大作业如果想冲高分多步预测是很好的扩展方向。多步预测有三种常见写法。第一种是递归多步预测把模型的输出当作下一轮的输入逐步迭代预测未来12个点。实现简单但误差会随着步数累积预测得越远越不准。第二种是直接多步预测把模型输出层改成12个神经元一次预测12个小时。实现也不难但误差不再是单调累积的不过输出神经元之间没有时序关系约束偶尔会出现预测曲线不连贯的问题。第三种是序列到序列模型用Encoder-Decoder结构训练和推理都比较复杂数据量小的时候容易过拟合。大作业推荐第二种直接多步预测实现成本低答辩时有可讲的东西。修改方式很简单把Dense(1)改成Dense(12)然后把训练集的目标值从单列改成未来12小时窗口的矩阵。def build_multi_step_sequences(features, target, n_steps_in24, n_steps_out12): X, y [], [] for i in range(n_steps_in, len(features) - n_steps_out 1): X.append(features[i - n_steps_in:i]) y.append(target[i:i n_steps_out]) return np.array(X), np.array(y) # target传入的是未来12小时的值矩阵 X_train, y_train build_multi_step_sequences(train_scaled, train[count].values) # 模型最后一层改成 Dense(n_steps_out)这样训练出来的模型能一次性输出未来12小时的流量曲线画图时直接对比预测曲线和真实曲线视觉效果很好。6.2 把预测结果画到纽约地图上时间序列的折线图只能展示模型在时间维度上的表现空间维度上的预测效果需要用地图展示。这一步对答辩的冲击力很大而且实现成本不高。用GeoPandas加载纽约出租车区域的地理边界数据把预测误差按区域着色就能直观反映模型在曼哈顿中城和远郊区的预测能力差异。import geopandas as gpd import matplotlib.pyplot as plt # taxi_zone_shp是出租车区域的地理边界文件网上可以找到公开数据 zones gpd.read_file(taxi_zones/taxi_zones.shp) error_by_zone test.groupby(PULocationID).apply( lambda x: mean_absolute_error(x[count], x[prediction]) ).reset_index(namemae) merged zones.merge(error_by_zone, left_onLocationID, right_onPULocationID) merged.plot(columnmae, cmapOrRd, legendTrue, figsize(10, 8)) plt.title(MAE by Taxi Zone) plt.axis(off) plt.savefig(taxi_zone_mae.png, dpi150)注意地理边界文件和数据集的LocationID字段要能对上。不同年份的数据集LocationID范围有差异合并之前先打印两边的唯一值集合做比对。6.3 答辩怎么讲一句话讲清模型、一张图讲清结果答辩时间通常5到10分钟核心要讲清楚三件事任务是什么、模型怎么做、结果怎么样外加一个baseline对比。baseline对比那页PPT最重要因为它是证明深度学习模型有效性的关键证据。如果LSTM的MAE比历史平均法还高就如实说明并分析原因——很可能是因为数据量不足或者特征没有做到位。我个人的习惯是在PPT里放三张图第一张是原始流量曲线按星期分组的分布图说明数据的周期性第二张是LSTM预测曲线和真实曲线的对比用阴影标出±一个标准差的预测区间第三张是按小时划分的MAE柱状图说明模型在哪些时段表现好、哪些时段差。这三张图覆盖了数据理解、模型效果和误差分析比贴一堆训练指标更打动人。多步预测和空间可视化属于锦上添花的部分时间充裕就加时间紧就把baseline和误差分析做扎实。我见过不少作业在基础部分没做扎实的情况下盲目堆模型最后答辩被老师一个问题问倒。记住一个原则用最简单的模型把数据处理流程做对比用最复杂的模型讲不清楚过程要强得多。最后说一个血泪经验别为了追求好看的指标去调随机种子也别在报告里隐藏失败的实验。把“我试了哪些方法、哪些有效、哪些无效、为什么无效”写清楚才是人工智能大作业应该有的样子。这个项目的完整落地路径就是这些每一步都可以直接照做代码、数据和说明文档放进你的项目包里就是一份能站住脚的作业。希望帮到你。本文还有配套的精品资源点击获取