Python Pandas 数据分析库深度解析

1. 背景Python 数据分析痛点与 pandas 定位1.1 痛点为什么有了 NumPy 还不够NumPy 提供了高效的同质化多维数组 ndarray 与向量化计算内核但直接面对真实数据分析任务时仍有明显缺口痛点说明后果异构数据一张表里同时有整数、浮点、字符串、日期、缺失值NumPy 要求数组元素同 dtype只能强行 object 数组性能与内存双双恶化列名/行标签缺失NumPy 只有 axis 0/1 的裸下标没有按列名取数的语义代码可读性差业务字段全靠记忆缺失值处理真实数据普遍有空值CSV 空单元格、传感器断点NumPy 的 nan 只适用于浮点且聚合会静默污染需要一套显式的缺失值语义数据清洗样板代码多去重、替换、重命名、类型转换、对齐、透视……每个都要手写循环或费劲的广播技巧大量重复劳动容易出错时间序列日期解析、重采样、滑动窗口、时区、工作日偏移NumPy 无内置支持只能依赖 datetime 手写逻辑文件 IOCSV/Excel/Parquet 读写、编码、表头推断csv 模块太底层工程量大1.2 pandas 的定位pandas 是构建在 NumPy 之上的、面向表格数据关系型数据模型的 Python 数据分析库核心提供两个容器Series带标签的一维数组一列 值 索引。DataFrame带标签的二维表格多列 Series 的集合列可异构 dtype行可带索引。它的设计哲学可概括为把数据操作从逐元素编程提升到整列/整表声明式操作—— 绝大多数操作是整列向量化的底层仍走 NumPy C 内核同时提供类 SQL 的分组聚合groupby与类 Excel 的透视表pivot_table。1.3 与 NumPy 的关系┌─────────────────────────────────────────────────┐ │ 上层应用FastAPI 服务 / PyTorch 训练 / 报表 │ ├─────────────────────────────────────────────────┤ │ pandas表格语义清洗/聚合/时间序列/透视 │ ├─────────────────────────────────────────────────┤ │ NumPy ndarray数值内核向量化/广播/线性代数 │ ├─────────────────────────────────────────────────┤ │ CPython / C 扩展ufunc、SIMD、BLAS │ └─────────────────────────────────────────────────┘上下层DataFrame 的每一列本质上是一个或多个 NumPy ndarray同 dtype 列直接共享底层缓冲df.values / df.to_numpy() 取回 ndarray。分工NumPy 解决怎么算得快pandas 解决数据长什么样、怎么组织、怎么清洗、怎么聚合。互转零拷贝pd.DataFrame(arr) / df.to_numpy()同 dtype 时通常零拷贝copyFalse 语义跨 dtype 时必然拷贝。生态位置scikit-learn / PyTorch / Matplotlib / Apache Arrow / DuckDB 全部以 pandas 或 DataFrame 语义为通用接口pandas 是数据科学栈的事实标准中间语言。2. 核心概念与 API 说明2.1 Series / DataFrame 创建与索引创建import pandas as pd import numpy as np # Series一维带标签数组 s pd.Series([10, 20, 30], index[a, b, c], namescores) s pd.Series({a: 10, b: 20}) # 由 dict 创建键变索引 s pd.Series(np.arange(5)) # 由 ndarray 创建默认 RangeIndex # DataFrame二维表格 df pd.DataFrame({ name: [Alice, Bob, Carol], age: [25, 30, 35], score: [88.5, 92.0, 79.5], }) # 由 dict of list/Series 创建键变列名 df2 pd.DataFrame(np.random.randn(4, 3), columns[a, b, c], indexpd.date_range(2026-01-01, periods4)) # 由 ndarray 创建 df3 pd.read_csv(data.csv) # 由文件创建见 2.5索引体系pandas 的标签优先语义pandas 有两套并存的定位方式语义完全不同这是新手最大分水岭方式含义示例边界.loc[行标签, 列标签]按标签定位含右端点df.loc[2, name]、df.loc[1:3]标签 1~3含 3标签可以是任意值字符串/日期/自定义索引.iloc[行位置, 列位置]按整数位置定位不含右端点df.iloc[0, 1]、df.iloc[1:3]位置 1~2不含 3永远是 0-based 整数位置与标签无关df[col]按列名取一列Seriesdf[age]列名索引df[[a,b]]按列名列表取多列DataFramedf[[age,score]]列名列表索引df[df[age] 30]布尔掩码选行见下行过滤布尔掩码最常用的行过滤方式adult df[df[age] 30] # 布尔 Series 作为行掩码 mask (df[age] 30) (df[score] 80) # 注意 而非 and result df.loc[mask, [name, score]]按标签与按位置混用.loc / .iloc 支持 行, 列 两维同时定位如 df.loc[df[age]30, score]。重设/设置索引df.set_index(name, inplaceFalse) # 把某列提升为行索引返回新对象 df.reset_index() # 把索引还原为普通列新增 index 列 df.index.name # 索引名查看与统计df.head(3) / df.tail(3) # 前/后 N 行 df.info() # 列 dtype、非空计数、内存占用 df.describe() # 数值列五数概括 均值/标准差 df.shape # (行数, 列数) df.dtypes # 每列 dtype df.columns.tolist() # 列名列表2.2 数据清洗dropna / fillna / replace / duplicated数据清洗是 pandas 最日常的场景四件套API作用关键参数dropna()删除含缺失值的行/列axis0/1、howany/all、subset[列]、threshN至少 N 个非空才保留fillna(value)填充缺失值value 标量/dict/方法methodffill/bfill 前向/后向填充、inplacereplace(old, new)值替换支持标量/列表/dict/正则regexTrue、整列替换duplicated() / drop_duplicates()标记/删除重复行subset[列]、keepfirst/last/Falsedf df.dropna(subset[age]) # 删除 age 为空的整行 df df.fillna({score: 0, age: df[age].median()}) # 按列不同策略填充 df df.replace({待定: np.nan, —: np.nan}) # 把占位字符串统一转 NaN df df.drop_duplicates(subset[name], keeplast) # 按 name 去重保留最后一条缺失值判定df.isna() / df.isnull() # 逐元素是否缺失二者等价 df.notna() df.isna().sum() # 每列缺失计数重要语义NaNNot a Number是 pandas 表示缺失的通用哨兵值。注意 NaN ! NaN因此判断缺失必须用 isna()不能用 np.nan。2.3 分组聚合groupby / agg / transformgroupby 是 pandas 的类 SQL GROUP BYsplit-apply-combine三步# 按类别分组对数值列求均值 df.groupby(category)[value].mean() # 多列分组 多聚合 df.groupby([category, region]).agg( total(value, sum), avg(value, mean), count(value, count), max_ts(ts, max), ) # 分组内归一化transform 保持原行数便于生成新列 df[value_norm] df.groupby(category)[value].transform(lambda x: (x - x.mean()) / x.std()) # 分组内排名/差值 df[rank_in_group] df.groupby(category)[value].rank() df[delta] df.groupby(category)[value].diff() # 透视表 pd.pivot_table(df, valuesvalue, indexcategory, columnsregion, aggfuncmean, fill_value0)API返回形状典型用途groupby(...).agg(...)分组数 × 聚合列统计报表sum/mean/count/max/min/median/std/nuniquegroupby(...).transform(...)与原 DataFrame 同形状组内归一化、组内填充、生成新列groupby(...).apply(...)视函数而定复杂自定义逻辑性能一般慎用groupby(...).filter(...)行的子集只保留满足条件的组groupby(...).size() / .count()组大小size 含 NaN 行count 不含坑点预告groupby 后的结果分组键会成为索引需要 reset_index() 才能还原成普通列详见 4.12。2.4 时间序列pandas 内置了完整的时间序列处理能力核心 API能力API说明解析日期pd.to_datetime(series)自动识别多种字符串格式format 指定可提速数十倍设为索引df.set_index(ts)时间列提升为索引重采样df.resample(1h).mean()降采样/升采样聚合窗口1h/1D/7D/1M/1min 等滑动窗口df[v].rolling(10).mean()滚动均值/标准差/最大值时间偏移df.index pd.Timedelta(days1)pd.DateOffset(months1) 等日历偏移时区df.tz_localize(Asia/Shanghai).tz_convert(UTC)本地化/转换时区周期df.index.to_period(M)转为月份周期便于按月聚合日期范围pd.date_range(2026-01-01, periods10, freqD)生成等间隔时间索引df[ts] pd.to_datetime(df[ts]) # 字符串 - datetime64 df df.set_index(ts).sort_index() # 时间序列必须有序 hourly df.resample(1h)[value].agg([mean, max, count]) # 小时聚合 df[ma_10] df[value].rolling(10, min_periods1).mean() # 10 点滑动均值坑点预告时间索引在 .loc 切片时是含端点的标签切片字符串 2026-01-01 可直接用于 .loc 切片务必保证 sort_index()否则 resample/rolling 行为异常详见 4.14。2.5 IO 读写CSV / Excel / Parquet格式读写备注CSVpd.read_csv(path, encodingutf-8, dtype{...}, parse_dates[...])df.to_csv(path, indexFalse)最常用indexFalse 防幽灵列Excelpd.read_excel(path, sheet_nameSheet1)df.to_excel(path, indexFalse)需 openpyxlxlsx/xlrdxlsParquetpd.read_parquet(path)df.to_parquet(path, indexFalse)列式压缩、跨语言Arrow/DuckDB推荐归档JSONpd.read_json(path)df.to_json(path, orientrecords)API 数据交换# CSV 读取显式指定 dtype 与日期列避免推断翻车 df pd.read_csv(sensor.csv, encodingutf-8, dtype{device_id: str}, # 防止设备号被读成 int前导 0 丢失 parse_dates[ts], na_values[, NULL, NA]) # Parquet性能与跨语言最佳 df.to_parquet(sensor.parquet, indexFalse) df2 pd.read_parquet(sensor.parquet)pandas 2.x 关键升级读写 Parquet/Arrow 默认走PyArrow 后端pd.set_option(mode.dtype_backend, pyarrow) 或 dtype 用 string[pyarrow]性能与内存大幅改善且 pd.read_parquet 对 Arrow 原生类型支持更好。2.6 与 NumPy 互转arr df.to_numpy() # DataFrame - ndarray混合 dtype 会升级为 object df2 pd.DataFrame(arr, columns[a, b, c]) # ndarray - DataFrame series_np df[col].to_numpy() # 单列 - ndarray同 dtype 零拷贝 s2 pd.Series(arr) # ndarray - Series同 dtype 列 to_numpy() 默认零拷贝视图copyFalse跨 dtype如含字符串必然复制。含 NaN 的列转 NumPy 时整数列会被升级为 float64NaN 无法存于 int64这是常见精度坑详见 4.4/4.7。pandas 2.x 可用 df.to_numpy(dtype..., copyFalse) 精确控制。3. 详细使用说明可编译可运行示例环境pip install pandas numpypandas ≥ 2.0。以下示例均为完整可运行脚本可直接 python xxx.py。3.1 示例一最小 DataFrame 操作入门全景# demo1_minimal.py import pandas as pd import numpy as np # 1. 创建 df pd.DataFrame({ name: [Alice, Bob, Carol, David], dept: [RD, Sales, RD, Sales], age: [25, 30, 35, 28], score: [88.5, 92.0, 79.5, np.nan], }) print( 基本信息 ) print(df) print(\ninfo():) df.info() # 2. 索引定位 print(\n 索引 ) print(loc[2, name] , df.loc[2, name]) print(iloc[0, 0] , df.iloc[0, 0]) print(布尔掩码:\n, df.loc[df[age] 30, [name, score]]) # 3. 清洗 df_clean df.fillna({score: df[score].mean()}) # 缺失分用均值填 print(\n 清洗后 ) print(df_clean) # 4. 聚合 print(\n 部门聚合 ) print(df_clean.groupby(dept)[score].agg([mean, max, count])) # 5. 与 NumPy 互转 arr df_clean.to_numpy() print(\nndarray 形状:, arr.shape)3.2 示例二CSV 清洗流水线贴近真实脏数据# demo2_csv_pipeline.py import pandas as pd import numpy as np # 造一份脏数据模拟传感器记录 raw device_id,ts,value,status A001,2026-09-20 08:00:00,12.5,OK 001,2026-09-20 08:01:00,13.0,OK A001,2026-09-20 08:02:00,,FAULT a001,2026-09-20 08:03:00,11.8,OK A001,2026-09-20 08:02:00,12.5,OK A002,2026-09-20 08:00:00,9.2,待定 with open(sensor_raw.csv, w, encodingutf-8) as f: f.write(raw) df pd.read_csv(sensor_raw.csv) print(原始数据:) print(df) # 清洗流水线 df[device_id] df[device_id].str.upper() # 统一设备号大小写 df[ts] pd.to_datetime(df[ts]) # 解析时间 df[value] pd.to_numeric(df[value], errorscoerce)# 非数值 - NaN df df.replace({待定: np.nan}) # 占位状态 - NaN df df.dropna(subset[ts, value]) # 缺时间/值 - 删行 df df.drop_duplicates(subset[device_id, ts], keeplast) # 同一设备同一时刻去重 print(\n清洗后:) print(df) print(\n每列缺失计数:\n, df.isna().sum()) # 导出 df.to_csv(sensor_clean.csv, indexFalse) print(\n已导出 sensor_clean.csv)3.3 示例三分组聚合统计类 SQL 报表# demo3_groupby.py import pandas as pd import numpy as np rng np.random.default_rng(42) n 2000 df pd.DataFrame({ region: rng.choice([华东, 华南, 华北], n), category: rng.choice([A, B, C], n), amount: np.round(rng.normal(1000, 300, n), 2), qty: rng.integers(1, 50, n), }) df.loc[rng.choice(n, 50), amount] np.nan # 注入缺失 # 1) 单级分组多指标 report df.groupby(region)[amount].agg( total(sum), avg(mean), cnt(count), miss(count) if False else None, ).reset_index() report[miss] df.groupby(region)[amount].apply(lambda s: s.isna().sum()).values print( 按区域汇总 ) print(report) # 2) 双键分组多列聚合 g df.groupby([region, category]).agg( amount_sum(amount, sum), amount_mean(amount, mean), qty_sum(qty, sum), orders(qty, count), ).reset_index() print(\n 区域×品类 ) print(g.head(10)) # 3) transform组内占比保持原行数生成新列 df[region_amount] df.groupby(region)[amount].transform(sum) df[amount_share] df[amount] / df[region_amount] print(\n 组内占比前 5 行) print(df[[region, amount, region_amount, amount_share]].head()) # 4) 透视表 pivot pd.pivot_table(df, valuesamount, indexregion, columnscategory, aggfuncmean, fill_value0) print(\n 透视表 ) print(pivot.round(1))3.4 示例四时间序列重采样与滑动窗口贴合工业数采# demo4_timeseries.py import pandas as pd import numpy as np # 生成 10 天每 5 分钟一条的模拟温度序列含部分缺失 idx pd.date_range(2026-09-01 00:00:00, 2026-09-10 23:55:00, freq5min) rng np.random.default_rng(7) temp 25 5 * np.sin(np.arange(len(idx)) / 60) rng.normal(0, 0.5, len(idx)) ts pd.Series(temp, indexidx, nametemp) ts[rng.choice(len(ts), 300)] np.nan # 注入传感器断点 print(f原始点数: {len(ts)}缺失: {ts.isna().sum()}) # 1) 前向填充断点传感器断线用上一个值补限 6 步防长时间瞎补 ts_filled ts.fillna(methodffill, limit6) print(f填充后缺失: {ts_filled.isna().sum()}) # 2) 小时重采样均值/最大值/最小值/计数 hourly ts_filled.resample(1h).agg([mean, max, min, count]) print(\n 小时重采样前 5 行) print(hourly.head()) # 3) 滑动窗口30 分钟均值6 个 5min 点 ts_filled ts_filled.to_frame(nametemp) ts_filled[ma_30min] ts_filled[temp].rolling(6, min_periods1).mean() ts_filled[std_30min] ts_filled[temp].rolling(6, min_periods1).std() # 4) 按天聚合 异常点超出当日均值±3σ daily ts_filled.resample(1D)[temp].agg([mean, std]) ts_filled[day] ts_filled.index.date merged ts_filled.merge( daily.rename(columns{mean: day_mean, std: day_std}), left_onday, right_indexTrue) merged[is_anomaly] (merged[temp] - merged[day_mean]).abs() 3 * merged[day_std] print(\n 当日 3σ 异常检测 ) print(f异常点数: {merged[is_anomaly].sum()} / {len(merged)}) print(merged[merged[is_anomaly]].head())4. 常错点/坑20 条4.1 视图view与拷贝copy混淆 —— 改一个变量惊动原表pandas 的切片/布尔索引有时返回视图、有时返回拷贝由内部内存布局决定官方不保证。典型事故sub df[df[age] 30] sub[flag] 1 # 可能触发 SettingWithCopyWarning且可能没写回 df正确做法要么显式 .copy()sub df[df[age]30].copy() 再改要么直接对原 DataFrame 操作df.loc[df[age]30, flag] 1。写代码时一律假设会触发警告不要依赖碰巧是视图。4.2 inplaceTrue 的误用df.dropna(inplaceTrue) 这类写法有三大问题pandas 2.x 已弃用/移除部分 inplace 与链式 methodffill 语法fillna(method...) 在 2.1 触发 FutureWarning2.2 移除需改用 ffill()/bfill()。inplaceTrue 对设置了 copy-on-writepandas 3.0 默认的 DataFrame 可能静默无效。语义不统一部分 API如 groupby、pivot_table根本没有 inplace。推荐风格始终使用赋值式df df.dropna() / df df.fillna(...)可读、可链式、与 CoW 兼容。4.3 链式索引chained indexing赋值丢失df[df[a] 0][b] 1 # ❌ 先取视图再赋值可能写不进原表触发警告 df.loc[df[a] 0, b] 1 # ✅ 单步 .loc 赋值语义明确规则读写都用 .loc/.iloc 一步完成杜绝取出来再改的两段式链式索引。4.4 dtype 推断翻车设备号前导 0、ID 变数字# ❌ 设备号 00123 被推断为 int 123 df pd.read_csv(devices.csv) # ✅ 显式声明 df pd.read_csv(devices.csv, dtype{device_id: str})同理长 ID如 19 位数字会被读成 float64 而丢失精度1.2345678901234567e18必须 dtypestr 或 dtypeInt64可空整数类型。4.5 NaN 的传染与判定陷阱NaN ! NaN所以 df[df[col] np.nan]永远返回空判断缺失必须 isna()/notna()。含 NaN 的整数列to_numpy() 后自动升级 float64。聚合时 mean()/sum() 默认跳过 NaNskipnaTrue而 count() 不含 NaN、size() 含 NaN——统计口径混用会造成报表不一致。4.6 布尔运算用 and/or 而不是 /|df[(df[a] 1) and (df[b] 2)] # ❌ ValueError: truth value ambiguous df[(df[a] 1) (df[b] 2)] # ✅ 元素级与 df[(df[a] 1) | (df[b] 2)] # ✅ 元素级或 df[~(df[a] 1)] # ✅ 取反每个条件必须加括号因为 的优先级高于比较运算。4.7 整数列遭遇 NaN 后变 floatdf[qty] df[qty].replace(0, np.nan) # qty 是 int64 - 自动变 float64若要保持整数语义用可空整数类型 pd.Int64Dtype()大写 Idf[qty] df[qty].astype(Int64)4.8 字符串列误做数值运算 / 数值列被读成 objectCSV 中混入 1,234、12% 或空格整列会被读成 objectdf[v].mean() 直接报错或静默错。解决方案pd.to_numeric(df[v], errorscoerce)非法转 NaN 清洗分隔符。4.9 read_csv 的编码/分隔符/表头坑中文 CSV 常是 gbk/gb18030 编码read_csv 默认 utf-8 会 UnicodeDecodeErrorencodinggb18030 或 encodingutf-8-sig处理 BOM。文件无表头headerNone, names[...]。分隔符不标准sep; 或 sepr\s。空行/注释行skiprows、comment#。4.10 replace 与 fillna 作用域混淆fillna 只处理NaN想替换具体值用 replace。replace 默认全表匹配df.replace({col: {old: new}}) 可限定列。replace 默认精确匹配需要正则时加 regexTrue。4.11 修改列时用 apply 逐行循环性能杀手df[new] df.apply(lambda r: slow_func(r[a], r[b]), axis1) # 慢正确能向量化就向量化df[a] * 2、np.where、Series.str、pd.cut/pd.qcut必须逐行时考虑 numba 或先在 NumPy 层循环。pandas 2.x 的 apply(axis1) 已明显提速但仍远慢于向量化。4.12 groupby 之后忘 reset_indexg df.groupby(dept)[score].mean() g[dept] # ❌ KeyError分组键 dept 现在是索引不是列 g.reset_index() # ✅ 分组键还原为普通列需要分组键作为列参与后续 merge/筛选时务必 reset_index()或用 groupby(..., as_indexFalse) 一步到位。4.13 agg 传字符串 vs 可调用对象语义df.groupby(a)[v].agg(sum) 字符串写法对应 pandas 优化路径快。自定义 lambda 时注意输入是Serieslambda s: s.max() - s.min()命名聚合 agg(total(v, sum)) 语法在 pandas ≥ 1.0 可用。NamedAgg 的元组里第二项是字符串函数名传 np.sum 也兼容。4.14 时间索引的排序与切片resample/rolling/asof 要求索引单调有序未排序时结果诡异部分版本直接报错。时间 .loc 切片含端点且支持字符串df.loc[2026-09-01:2026-09-02]含 09-02 全天。解析日期务必确认时区pd.to_datetime 默认 naive跨时区数据先 tz_localize 再 tz_convert禁止 naive 与 aware 混拼会抛 TypeError: Cannot compare tz-naive and tz-aware。4.15 内存优化object 列与重复字符串中文/分类列默认 objectPython 指针数组内存与性能都差。转 categorydf[dept] df[dept].astype(category)。pandas 2.x 用 PyArrow 字符串 df[s] df[s].astype(string[pyarrow]) 可进一步节省内存。大批量读 CSV 先 df.info(memory_usagedeep) 看真实内存能按需选列的用 usecols能过滤的用 nrows 试点。4.16 共享底层数据的 与视图修改爆炸a df[col] # 可能是视图 a 1 # 可能直接改 df也可能不行为依赖内部状态与 NumPy 一样不要假设 Series 赋值是否写回原表需要独立副本时显式 a df[col].copy()。4.17 read_csv 时重复列名 / 空列名列名重复会得到 df[a] 返回 DataFrame而非 Series后续逻辑崩。空列名 Unnamed: 0 是索引被误存读时 index_col0写时 indexFalse。4.18 浅拷贝修改嵌套对象df.copy() 默认 deepTrue安全但 df.copy(deepFalse)浅拷贝共享底层数据修改会互相影响。使用 copy() 前确认参数别手滑写 copy(False)。4.19 索引不对齐算术/合并时按标签自动对齐s1 pd.Series([1, 2, 3], index[a, b, c]) s2 pd.Series([10, 20], index[b, c]) s1 s2 # 结果a-NaN, b-21, c-23索引对齐缺失 NaNpandas 的算术默认按索引对齐——这是特性也是坑两个看起来一样的 DataFrame 相加若索引顺序不同会得到 NaN 堆。合并用 merge(on...) 或 join 时同样注意键的 dtype 一致1 与 1 不会匹配。4.20 版本迁移1.x → 2.x → 3.0 的行为变化fillna(methodffill) 已废弃改用 df.ffill() / df.bfill()。append 已移除改用 pd.concat([df1, df2])。pandas 3.0 将默认开启Copy-on-Write链式索引赋值将直接抛错不再只是警告inplace 语义弱化——现在就开始写 CoW 兼容风格赋值式 .copy() 显式化。df.values 与 df.to_numpy() 的行为差异values 已弃用倾向统一用 to_numpy()。5. 总结适用场景表与 FAQ 速查表5.1 适用场景表场景是否适合 pandas说明 / 替代方案中小规模表格清洗几万~几千万行内存内✅ 首选清洗/聚合/透视/时间序列一站式开发效率最高海量数据 内存⚠️ 谨慎用 read_csv(usecols, chunksize) 分块、ParquetPyArrow或交给 DuckDB第 52 篇/TDengine第 110 篇高并发 OLTP点查/事务❌用 SQLite/PostgreSQL ORM参考 Go GORM 第 102 篇高维数值计算/深度学习数据装载⚠️ 过渡训练前转 NumPy/PyTorch Tensordf.to_numpy() → torch.from_numpy在线推理服务内小数据变换✅请求数据 → DataFrame 清洗 → 转 NumPy → ORT 推理配合 FastAPI 第 96 篇跨语言数据交换/归档✅to_parquet/to_arrow与 Apache Arrow第 82 篇/DuckDB 无缝衔接实时流式处理毫秒级延迟❌用 Kafka 流/流处理框架pandas 适合微批与离线分析复杂 SQL 多表 JOIN 报表⚠️pandas 能做但 SQL 更清晰超大数据集优先 DuckDB 直查 Parquet5.2 工业数采场景实践建议贴合本系列主线采集链路libmodbus/open62541 采集第 100/103 篇→ MQTT/Kafka 传输第 106/101/104 篇→ 时序落库 TDengine第 110 篇。pandas 定位离线分析历史回放、3σ 异常检测、降采样报表、AI 特征工程与 TDengine/DuckDB 构成「在线查询 离线深度分析」双库组合。特征工程流水线read_parquet或从 TDengine/DuckDB 拉数→ to_datetime set_index → resample 对齐 → groupby 组内归一化 → to_numpy → PyTorch 训练 → ONNX 导出 → ORT 推理第 108/105 篇。性能建议统一 dtypecategory/string[pyarrow]、避免 apply 热路径、大文件分块读取、显式 format 解析日期。5.3 FAQ 速查表问题一句话答案判断缺失为什么不能用 np.nanNaN ! NaN必须 isna()/notna().loc 和 .iloc 区别.loc 按标签含端点.iloc 按位置不含端点布尔索引必须用什么连接符/出现 SettingWithCopyWarning 怎么办用 .loc 单步读写或显式 .copy()inplaceTrue 还能用吗建议不用pandas 2.x 部分废弃、3.0 CoW 下语义弱化用赋值式groupby 后分组键变哪去了变成索引reset_index() 还原为列groupby 的 size() 和 count() 区别size 计整组行数含 NaNcount 计非空整数列出现 NaN 变成浮点怎么办用可空整数 astype(Int64)设备号前导 0 丢了read_csv(dtype{id: str})中文 CSV 读不了encodinggb18030 或 utf-8-sigfillna(methodffill) 报 FutureWarning改 df.ffill(limit...) / df.bfill()df.append 报错已移除用 pd.concat时间重采样结果不对先 set_index sort_index()再 resampleDataFrame 转 NumPy 变 object 了混合 dtype 必升级按列 to_numpy() 或先 astype 统一数据太大内存爆了分块读 category/PyArrow 字符串 只选 usecols 转 Parquetpandas 与 NumPy 的关系pandas 是 NumPy 之上的表格数据组织/清洗/聚合层底层计算仍走 NumPy C 内核pandas 与 PyTorch 怎么接df.to_numpy() → torch.from_numpy()零拷贝如何与 DuckDB/TDengine 配合pandas 导出 Parquet/ArrowDuckDB 直查在线时序查询归 TDengine离线分析归 pandasapply 很慢怎么办向量化np.where/str/cut必要时 numbato_csv 多出一列 Unnamed: 0写时 indexFalse读时 index_col0merge 两个表的键匹配不上检查键列 dtype 一致int vs str、有无空格/大小写差异