NumPy实战案例：三大场景吃透数组筛选、数据清洗与矩阵运算

写这一期之前我特意回头翻了翻上一篇案例。上一篇里我们解决了“安装环境、跑通第一个数组、看懂shape和轴”这种从0到1的问题评论区反馈最多的不是“没看懂”而是“看懂了但不知道拿它干嘛”。所以这一期案例2我把目标定得更实际一点用三个贴近真实业务的小项目把NumPy里最高频、最容易被忽略的硬核操作串一遍——数组筛选与聚合、缺失值和滑动窗口处理、二维矩阵运算。这期案例适合已经跑过几个NumPy基础示例、想往数据分析方向深挖的人。我会把每个案例从数据构造到输出结果完整走一遍中间穿插选型原因、性能对比和实战中踩过的坑。看完你不仅能复现这三个案例还能把里面的方法直接迁移到自己的数据上。1. 内容整体设计与思路拆解这期案例我没有选高大上的算法题而是故意挑了三个“土得掉渣”的场景网站访问日志、传感器温度数据、用户评分矩阵。原因很简单——真实世界的数据分析项目百分之七十的时间都耗在清洗、聚合、统计和矩阵变换上模型和算法反而是最后那一脚。NumPy在这三个场景里恰好都能发挥核心作用。先说网站访问日志。这类数据通常是一维的时间戳数组量级动辄几十万行甚至上千万行。用纯Python循环去统计每小时的PV和UV不是不行但性能会非常难看。NumPy的np.unique、np.bincount和布尔索引就是为这种场景准备的它们把“分组统计”压缩成几条向量化语句速度能快两到三个数量级。再说传感器温度数据。工业现场的温度计、环境监测设备采集到的数据最让人头疼的不是波动而是缺失值和突刺——设备离线、信号干扰、网关丢包都会产生脏数据。这一部分我会演示三个核心技巧用np.where和布尔索引定位缺失值、用np.convolve做滑动窗口平滑、用分位数法识别异常突刺。这些技能在数据预处理阶段的使用频率极高。最后是用户评分矩阵。这个案例不追求实现一个完整的推荐系统而是把协同过滤里的核心数学过程抽出来构造用户-物品矩阵、计算余弦相似度、按相似度权重预测未评分项。整个过程涉及二维数组的轴操作、np.linalg.norm、点积和广播机制是理解Embedding、注意力机制等进阶概念的基础。把这些矩阵运算吃透以后看任何深度学习框架的张量操作都会轻松很多。三个案例的共同点是不依赖Pandas只用NumPy原生能力解决问题。这么设计是故意为之。很多人一开始就用Pandas反而搞不清楚DataFrame底层到底做了什么。用NumPy裸写一遍你才能真正理解索引、轴、广播这些核心概念之后再看Pandas的groupby、apply、merge会有一种“哦原来你在背后是这么干活的”的透彻感。环境方面我使用的是Python 3.10配合NumPy 1.26.x。如果你是在新机器上从零配置建议直接用在线编译器或者本地虚拟环境避免和系统Python打架。具体命令我放在下一节顺手把近期热词里频繁出现的几个坑一起排掉。2. 案例一网站访问日志里的流量小周期2.1 模拟数据与场景设定假设我们拿到了一份网站访问日志里面记录了每一次用户访问的时间戳。真实场景中这些数据可能来自Nginx日志或者埋点上报我们这里用NumPy的随机数模块模拟一份方便复现。import numpy as np # 固定随机种子保证结果可复现 rng np.random.default_rng(42) # 模拟3天内每小时的访问量72小时平均每小时200次访问 hour_index np.repeat(np.arange(72), rng.poisson(200, 72)) # 模拟用户ID假设共有5000个用户 user_ids rng.integers(0, 5000, sizelen(hour_index)) print(hour_index.shape, user_ids.shape) # 输出示例: (14428,) (14428,)这里我做了两个关键设计。一是用np.repeat构建小时索引rng.poisson生成的随机数直接决定每个小时有多少条记录这样数据分布更接近真实流量。二是用户ID用rng.integers随机生成允许同一个用户在不同小时多次出现方便后面统计UV时去重。为什么不用纯Python的for循环加上random模块因为一旦把数据量扩大到几百万行Python层的循环开销会让人崩溃。NumPy的随机数生成器直接操作C层缓冲区生成一千万个随机数也就是几十毫秒的事。把数据批量生成放在NumPy层做这是我们贯穿整篇文章的核心原则。2.2 按小时统计PV与UV两种思路的对比拿到数据之后最基础的需求就是统计每个小时的PV页面浏览量和UV独立访客数。PV其实很好办hour_index里每个小时出现多少次就是该小时的PV。统计方法有三条路np.bincount、np.unique(return_countsTrue)或者np.histogram。# 方法1np.bincount要求输入是非负整数 pv_by_hour np.bincount(hour_index) # 方法2np.unique return_counts unique_hours, pv_by_hour2 np.unique(hour_index, return_countsTrue) print(np.array_equal(pv_by_hour, pv_by_hour2)) # True # 方法3np.histogram适用于等宽区间统计 _, pv_by_hour3 np.histogram(hour_index, binsnp.arange(73))三种方法结果一致但适用场景略有不同。np.bincount最快要求索引是非负整数且范围可以预测np.unique会返回排序后的唯一值方便后续直接对齐小时数np.histogram灵活适合自定义分箱区间。我再单独看一下np.bincount的行为。# bincount会自动补齐缺口小时没有访问的小时补0 sparse_hours np.array([1, 1, 5, 7, 7, 7]) print(np.bincount(sparse_hours)) # [0 2 0 0 0 1 0 3]可以看到bincount的输出长度为max(sparse_hours)1中间没有访问的时段补为0。这个特性在流量统计里非常方便。但如果索引从很大的数开始比如时间戳本身bincount会分配一个超长的数组所以先把小时数归一化成从0开始的序号。统计UV就麻烦一点了。UV的核心是“去重”纯Python的写法可能是uv_list [] for h in range(72): uv_list.append(len(set(user_ids[hour_index h])))这种写法逻辑没问题但性能极差——每小时的hour_index h都要遍历一次全量数组72小时就要遍历72次。数据量大的时候完全没法用。NumPy的正确打开方式是先把用户ID按小时分组再在组内做unique。最常用的组合是sorted(zip(hour_index, user_ids))然后分组去重或者直接用数组排序技巧。# 按小时和用户ID排序然后找每个小时内的不重复用户 order np.lexsort((user_ids, hour_index)) sorted_hours hour_index[order] sorted_users user_ids[order] change_hour np.r_[True, sorted_hours[1:] ! sorted_hours[:-1]] change_user np.r_[True, sorted_users[1:] ! sorted_users[:-1]] # 用户ID变更且小时变更时算一个小时的第一个新用户 uv_mask change_user | change_hour unique_user_pairs sorted_hours[uv_mask] uv_by_hour np.bincount(unique_user_pairs, minlength72)这个思路的核心是np.lexsort按user_ids为主键、hour_index为副键整体排序排序后相同的“小时用户”对会连续排在一起然后我们只要判断相邻元素是否发生变化就能一次性找出所有不重复的组合。整个过程完全向量化一次排序加一次比较比78次循环快得多。注意np.r_[True, arr]是拼接标量True和数组的一种简洁写法这里的True相当于做了一次假想的前置哨兵保证第一行必然被计入。最后我们可以看下模拟出来的流量曲线print(PV总数:, pv_by_hour.sum()) print(UV总数:, uv_by_hour.sum()) print(平均每小时PV:, pv_by_hour.mean().round(2)) # 输出示例: # PV总数: 14512 # UV总数: 4567 # 平均每小时PV: 201.56有周期性的数据会明显看到早晚高峰和低谷交替这时候还能顺手用np.argmax、np.argmin找出流量峰值和低谷的小时。2.3 布尔索引与np.where的灵活筛选光统计还不够真实业务里经常要回答这类问题哪些小时的访问量超过了均值哪些用户只在夜间出现这就要用到布尔索引了。布尔索引的本质是用一个布尔数组作为下标去访问原数组True的位置保留False的位置丢弃。above_avg pv_by_hour pv_by_hour.mean() peak_hours np.arange(72)[above_avg] print(超过平均PV的小时数:, above_avg.sum()) print(其中最活跃的前5个小时:, peak_hours[np.argsort(pv_by_hour[above_avg])[-5:]])这里分了三步先通过比较生成布尔数组above_avg再用np.arange(72)[above_avg]把具体小时号筛出来最后用np.argsort对筛选出来的值排序取最大的5个。整个过程没有循环而且写法非常接近英语的自然语言读起来就是“找出超过平均值的那些小时再排序取前五”。np.where则是布尔索引的拓展版适合需要在两个候选值之间做选择的情况。比如我们想生成一个新的数组高峰时段标记为1低谷时段标记为-1traffic_mark np.where(pv_by_hour pv_by_hour.mean(), 1, -1)如果后续要给每个小时打标签比如“凌晨”、“上午”、“下午”也可以用np.where做多重条件的组合判断period np.where(hour_index % 24 6, 0, np.where(hour_index % 24 12, 1, np.where(hour_index % 24 18, 2, 3)))这种嵌套写法的可读性稍差但在数据量大的情况下依然比Python的if-else列表推导式快得多。实际项目中我一般会把时间分段逻辑抽成一个独立函数保持主流程清爽。2.4 案例一的小结这个案例想告诉大家的核心是一维数组的筛选与聚合能不用循环就不要用循环。np.bincount负责计数np.lexsort配合相邻比较负责去重布尔索引负责筛选np.where负责条件替换——这四板斧能覆盖日常80%以上的日志处理需求。我特意用了3天72小时的数据做演示但你把这套代码原封不动地换到“30天720小时”甚至“一年8760小时”的数据上唯一需要改的只是hour_index的生成逻辑后面的统计代码一行都不用动。这才是NumPy向量化带给我们的真正底气。3. 案例二传感器温度数据清洗与平滑3.1 场景设定与脏数据构造工业设备上的温度传感器每5分钟采集一次数据一天就是288个点一个月大约8640个点。真实采集链路里设备重启、通信超时、电磁干扰都会让数据变成一团浆糊——要么缺一段要么冒出一个离谱的突刺。我们构造一份模拟数据让它包含三种典型问题随机缺失NaN、连续缺失段、异常突刺。# 生成一个月30天每5分钟一条的温度数据 rng np.random.default_rng(7) n 30 * 288 t np.arange(n) # 正常温度20度基线 昼夜波动 ±5度 随机噪声 temperature 20 5 * np.sin(2 * np.pi * t / 288) rng.normal(0, 0.5, n) # 注入缺失值30个随机位置设为NaN nan_idx rng.choice(n, size30, replaceFalse) temperature[nan_idx] np.nan # 注入一段连续缺失第400到420个点全部NaN temperature[400:421] np.nan # 注入突刺第800个点、第1200个点变成极端值 temperature[800] 45.0 temperature[1200] -10.0这份数据已经足够“真实”了有周期性波动有随机噪声有零散缺失有整段离线还有传感器抽风打出的离谱尖峰。下面我们把脏数据一步步洗干净。3.2 缺失值处理np.where与前后值填充的配合第一步先定位缺失值。NumPy里判断NaN不能直接写arr np.nan因为NaN和任何数都不相等必须用np.isnan。is_missing np.isnan(temperature) print(缺失值数量:, is_missing.sum()) # 输出示例: 缺失值数量: 51定位到缺失值之后最简单的策略是“前后值填充”。思路把缺失位置用前一个有效值补上如果有连续一段都是NaN就依次往前借。def fill_forward(data): filled data.copy() for i in range(1, len(filled)): if np.isnan(filled[i]): filled[i] filled[i-1] return filled temperature_ffill fill_forward(temperature)这个函数是O(n)的循环性能上是能接受的原因在于它只用一次遍历就把所有的NaN都补完符合“前值填充”的定义。如果你想彻底避免Python循环也可以用np.where配合np.maximum.accumulate这类技巧但可读性会显著变差。实际工程里我更倾向于这种直白的小函数因为排查问题容易。另一种更常用的手段是线性插值——利用缺失点前后的有效值连一条直线估算中间点的值。NumPy没有内置的interpolate函数但我们可以自己写一个简化版def fill_linear(data): filled data.copy() n len(filled) i 0 while i n: if np.isnan(filled[i]): start i - 1 while i n and np.isnan(filled[i]): i 1 end i if start 0: filled[:end] filled[end] if end n else 0 elif end n: filled[start1:] filled[start] else: # 线性插值公式 y0, y1 filled[start], filled[end] k (y1 - y0) / (end - start) filled[start1:end] y0 k * np.arange(1, end - start) else: i 1 return filled线性插值要求数据本身具有连续性在温度这类缓慢变化的时间序列上效果很好如果数据的波动是突变式的线性插值反而会扭曲真实过程这时候优先用前值填充或后值填充。提示真实项目里如果连续缺失段特别长比如超过窗口长度的3倍插值结果基本没有参考价值建议直接把这段标成“无效段”并通知业务方补采或修正设备而不是硬填。3.3 滑动窗口平滑np.convolve的妙用插值把NaN清掉以后数据仍然带着高频随机噪声。为了看清温度变化的整体趋势我们需要做滑动窗口平均也就是“取前N个点的平均值作为当前点的平滑值”。NumPy实现滑动窗口平均最优雅的方式是np.convolve卷积。它的原理是把一个长度N的窗口数组np.ones(N)/N和时间序列做卷积运算等价于不断滑动窗口求平均。def moving_average(data, window5): kernel np.ones(window) / window return np.convolve(data, kernel, modesame) temp_smoothed_5 moving_average(temperature_ffill, window5) temp_smoothed_15 moving_average(temperature_ffill, window15)窗口大小怎么选这里有个取舍问题。窗口越大平滑效果越强但对真实波动的“跟随性”越差窗口太小噪声滤不干净。以5分钟一条数据为例窗口长度覆盖时间效果特点315分钟滤除高频噪声保留大部分波动525分钟常用的默认值兼顾平滑与真实感1575分钟曲线很光滑但会削平快速变化的真实温度峰谷我一般在处理温度、湿度这类变化较慢的物理量时选用5到15的窗口气流、压力这类快速响应的参数会把窗口缩到3甚至2。np.convolve有一个细节需要注意modesame返回和输入等长的结果但两端会引入边界效应——因为没有足够的前置数据开头几个点的平均值会被“拉伸”。工业应用里如果特别关心起止段的精度可以把首尾各window//2个点直接按原始值输出或者改用modevalid并截掉边界。3.4 异常值检测分位数法与突刺定位平滑完成后接下来的任务是找出那些“突然跳上天或掉到地底”的突刺。一个稳健的方法是使用四分位距IQR定义Q1为25%分位数Q3为75%分位数IQR Q3 - Q1正常范围通常取Q1 - 1.5*IQR到Q3 1.5*IQR之间超出这个范围的点视为异常。q1 np.percentile(temp_smoothed_15, 25) q3 np.percentile(temp_smoothed_15, 75) iqr q3 - q1 lower_bound q1 - 1.5 * iqr upper_bound q3 1.5 * iqr anomaly_mask (temp_smoothed_15 lower_bound) | (temp_smoothed_15 upper_bound) anomaly_idx np.arange(n)[anomaly_mask] print(fIQR范围: [{lower_bound:.2f}, {upper_bound:.2f}]) print(检测到的异常点数量:, len(anomaly_idx)) print(异常点位置:, anomaly_idx[:20])IQR法的好处是不依赖于数据符合正态分布对少量极端值也不敏感。如果你确认数据符合正态分布也可以用“3σ原则”——均值加减3倍标准差以外的点视为异常。但对含有明显突刺的数据均值本身会被突刺拉偏所以IQR法比3σ法更稳健。处理异常点的方法一般是先定位再替换替换值可以用该点前后窗口的中位数def replace_with_local_median(data, anomaly_mask, window5): filtered data.copy() for idx in np.nonzero(anomaly_mask)[0]: start max(0, idx - window) end min(len(data), idx window 1) filtered[idx] np.nanmedian(data[start:end]) return filtered temperature_clean replace_with_local_median(temp_smoothed_15, anomaly_mask)这一步我又用回了np.nonzero来获取满足条件的索引元组然后逐点替换。虽然用到了循环但异常点本身占比很低循环次数有限性能完全可以接受。这里特别强调异常检测要基于平滑后的数据不要直接在原始带噪声的数据上做否则噪声容易被误判为突刺。3.5 案例二的小结清洗数据的完整流程可以总结为四步定位缺失np.isnan→ 填补缺失前值填充或线性插值→ 滑动平均np.convolve→ 异常检测与替换IQR法。每一步都对应一个“看着不起眼但经常救命”的NumPy操作。我在实际项目中踩过最大的坑是先做异常检测再做缺失值填补导致检测阶段漏掉了很多因为NaN而无法比较的点。正确顺序永远是缺什么先补什么让数据在每一步都是“完整且连续的”否则后面所有基于窗口和分位数的操作都会失真。4. 案例三用户评分矩阵与最简协同过滤4.1 从CSV到用户-物品矩阵第三个案例我们模拟一个视频平台的打分数据。假设有4个用户、5部电影每个用户给其中几部电影打了1到5星的评分。用户的打分记录往往是稀疏的——不是每个人都看过所有电影也不是看过的都会打分。# 行是用户列是电影0代表未评分 ratings np.array([ [5, 3, 0, 1, 4], [4, 0, 0, 1, 3], [1, 1, 0, 5, 0], [0, 2, 4, 0, 5] ], dtypefloat)真实场景里用户-物品矩阵的规模可能达到百万甚至千万级但构造过程本质上是一样的——从日志或数据库里按“用户ID、物品ID、评分”三列取数然后填入二维数组。这一步如果数据比较规整可以直接用np.zeros初始化矩阵再按索引赋值省事且高效。4.2 相似度计算的向量化实现接下来要求用户之间的相似度。这里用最经典的余弦相似度两个用户在所有共同评分项上的向量夹角越接近相似度越高。数学公式是sim(u, v) (u · v) / (||u|| * ||v||)这里有一个容易被忽略的坑用户向量里包含大量00代表未评分而不是“打分0分”。直接用原向量做余弦相似度会把未评分项当成“给了0分”导致相似度计算严重失真。通常的做法是先对评分做均值中心化——每个用户各自的评分减去该用户的平均分——把0变成“该用户对该物品的偏好未知”。下面用最直观的方式实现用户1和用户2的相似度def cosine_similarity(a, b): dot np.dot(a, b) norm_a np.linalg.norm(a) norm_b np.linalg.norm(b) if norm_a 0 or norm_b 0: return 0.0 return dot / (norm_a * norm_b) print(cosine_similarity(ratings[0], ratings[1]))但实际我们要算所有用户两两之间的相似度矩阵靠双重循环调用上面的函数也能跑只是不优雅。NumPy的向量化写法是先对行做L2范数归一化再拿归一化矩阵乘它的转置。norms np.linalg.norm(ratings, axis1, keepdimsTrue) normalized ratings / np.maximum(norms, 1e-8) sim_matrix normalized normalized.T np.fill_diagonal(sim_matrix, 1.0) print(sim_matrix.round(3)) # 输出示例: # [[1. 0.786 0.58 0.682] # [0.786 1. 0.438 0.809] # [0.58 0.438 1. 0.261] # [0.682 0.809 0.261 1. ]]这里有两个关键细节第一个是np.linalg.norm(ratings, axis1, keepdimsTrue)。axis1表示按行求范数keepdimsTrue保证结果形状是(4, 1)而不是(4,)这样才能和(4, 5)的矩阵做广播除法。去掉keepdimsNumPy会报广播错误——这是新手最容易卡壳的地方。第二个是归一化后直接做矩阵乘法normalized normalized.T。由于每行已经除以自己的模长(i, j)位置的元素其实就是第i行的单位向量和第j行的单位向量的点积也就是余弦相似度。这比双重循环调用函数快了非常多而且代码只有短短三行。4.3 按相似度加权生成推荐算完用户相似度矩阵最后一步是给某个用户推荐他还没看过的电影。核心逻辑找到和目标用户最相似的若干个用户用他们对该电影的评分按相似度加权预测目标用户可能的打分。def recommend_for_user(target_id, ratings, sim_matrix, top_k2): n_users, n_items ratings.shape # 目标用户未评分的物品 target_ratings ratings[target_id] unrated_items np.where(target_ratings 0)[0] if len(unrated_items) 0: return [] # 和目标用户相似度最高的top_k个用户排除自己 sims sim_matrix[target_id].copy() sims[target_id] -np.inf top_users np.argpartition(sims, -top_k)[-top_k:] recommendations [] for item in unrated_items: weighted_sum 0.0 sim_sum 0.0 for other in top_users: r ratings[other, item] if r 0: weighted_sum sims[other] * r sim_sum np.abs(sims[other]) if sim_sum 0: predicted weighted_sum / sim_sum recommendations.append((item, round(predicted, 2))) recommendations.sort(keylambda x: x[1], reverseTrue) return recommendations for uid in range(4): rec recommend_for_user(uid, ratings, sim_matrix) print(f用户{uid}的推荐:, rec)输出结果类似用户0的推荐: [(4, 3.0)] 用户1的推荐: [(4, 3.0), (2, 2.4)] 用户2的推荐: [(0, 1.5)] 用户3的推荐: [(1, 2.0), (3, 2.5)]为什么用np.argpartition而不是np.argsort因为argpartition只需要O(n)的复杂度就能把前k大的元素放到开头位置而argsort需要O(n log n)做全排序。当用户量达到百万级别时这个差距非常明显。argpartition的典型用法是idx np.argpartition(sims, -top_k)[-top_k:]表示“只保证最后k个元素是全局最大的k个”。这个推荐算法自然非常简陋真实生产环境用的肯定不是这种裸实现的版本。但它的价值在于把“矩阵运算 加权聚合”的完整流程走了一遍。理解了这段代码再去看Surprise、LightFM这些推荐库的源码你会发现它们内部依然是这套东西的变体向量化相似度计算、TopK筛选、加权预测。4.4 案例三的小结第三个案例把二维数组操作玩到极致了。axis1按行、keepdimsTrue保留维度、np.linalg.norm范数、矩阵乘法、np.argpartition局部TopK这些都是二维数组处理里最常用的硬核操作。我特别想强调keepdims这个参数。很多人第一次跑广播时报错“operands could not be broadcast together”八成就是少了它。它维度降不降好像都不影响“数学上”的运算但在NumPy的广播规则里(4,)和(4, 5)是没法直接除的(4, 1)和(4, 5)才行。写向量化代码养成一个习惯任何聚合操作都先想想需不需要keepdimsTrue能省下一堆莫名其妙的调试时间。5. 把NumPy放进真实项目里的几个习惯5.1 环境配置与版本兼容很多人在步骤一就卡住了——“NumPy装不上”或“装完导入报错”。远程安装命令一般就是pip install numpy # 如果遇到权限问题建议创建虚拟环境 python -m venv ~/projects/021_numpy_env source ~/projects/021_numpy_env/bin/activate pip install numpy pandas matplotlib scipy近期评论里常提到的几个报错我统一排一下报错信息常见原因解决办法module numpy has no attribute trapzNumPy 2.0后trapz移到了numpy.trapezoid改用np.trapezoid或升级代码兼容新APInumpy version not match其他库比如pandas依赖特定版本的NumPy用pip install --upgrade numpy或统一用conda环境ImportError: numpy.core.multiarray failed to importNumPy与Python版本不匹配优先升级Python到3.10再装最新版NumPy三维数组相乘与预期不符混淆了逐元素乘法*和矩阵乘法逐元素用*矩阵乘用或np.matmul关于版本我的建议很直接新项目直接用NumPy 2.x别纠结。网上大量老教程还在用1.x的API但2.x的整体迁移比较平滑绝大部分老代码能直接跑。唯一要注意的是np.trapz这类改名函数碰到报错就去查官方迁移指南。5.2 向量化代码胜过注释一万行我在带项目的时候发现一个规律新手写代码总想把每一步都“说清楚”于是大量使用循环、中间变量、逐元素判断。等数据量一上来同样一个功能别人几十毫秒算完他的代码跑了几分钟。问题不是算法不行而是没把操作从Python层拉到NumPy层。一个简单的判断标准如果一段代码里连续出现三行以上的for value in array大概率有更好的NumPy写法。向量化的本质是“把对每个元素的描述改成对整个数组的描述”。无论是arr[arr 0]这种布尔索引还是np.where(condition, a, b)这种三目运算思路都是“对整个数组说一句话”而不是“遍历每个元素说一句话”。想练好这个能力我建议两个方法。一是带着问题去阅读拿到一段Python循环代码先分析它每一步在干什么再问自己“NumPy能不能用一次操作替代这三步”。二是多用%timeit做对比在交互式环境里把循环版本和向量化版本分别计时看到几百倍的差距后你就再也不想回到老写法了。5.3 三个思维模型最后分享三个我在这个案例里反复使用的思维模型。“先构造完整的类数组形状再填数据”。不管是日志里的(小时, 用户)组合还是评分矩阵的(用户, 物品)动手前先想清楚要的结果是一个什么样的形状。这个思维能帮你避免大部分索引错位的问题。“聚合操作想清楚axis”。计算均值、范数、最大值axis0是跨行聚合每列一个结果axis1是跨列聚合每行一个结果。记不住的时候就想想“沿着那个方向走”或者干脆打印一个小例子试试。“能向量化就向量化但不要为了向量化而向量化”。像缺失值前向填充这种逻辑本身具有顺序依赖性——后面取决于前面的结果——强拆成向量化反而容易出错。这种时候写个简短的Python循环完全合理。真正需要向量化的是那些对数组整体做运算的场景别把手段当目的。尾声按照我的习惯项目收尾不写总结只写一句提醒把这篇文章里的三个案例从头到尾亲手敲一遍再去把某一次实验数据用这四步流程过一遍——数据清洗、聚合统计、矩阵运算、向量化优化。你会发现NumPy的底子硬了后面学Pandas、scikit-learn、PyTorch很多东西看一眼就通了。如果这套案例对你有帮助下一篇我准备写“Pandas vs NumPy什么时候该切换”。那篇会讲清楚DataFrame底层什么时候调用NumPy、什么时候有性能隐忧都是实战里遇到过的问题。评论区见。