描述性统计分析：集中趋势、离中趋势与正态分布实战

手上有份业务数据表两三千行、十几个字段第一反应是扔进模型跑个结果——这种开局我见过太多最后大多败得莫名其妙。真正决定后面所有环节能不能立得住的往往是最不起眼的那一步描述性统计分析。集中趋势告诉你数据“往哪儿靠”离中趋势告诉你数据“散不散”正态分布告诉你后面那些基于均值和方差的推断到底站不站得住脚。这三件事做完你才知道该用均值还是中位数、该上参数检验还是换非参数方法、该不该在建模前先把那几个离谱的极值处理掉。这篇内容面向的是刚接手数据工作、或者做了一阵子但总觉得结论“不太稳”的人。不管你是写 SQL 取数的、做报表的、跑模型的还是做实验数据分析的只要你的日常里存在“一堆数字要变成一句话结论”的场景这套东西就用得上。我不打算复述教材定义而是按实际干活的顺序讲指标怎么选、坑在哪、代码怎么写、结论怎么下、出错怎么查。文中代码基于 Python 的 pandas / numpy / scipy换成 R、Excel 或 SQL 逻辑完全一致因为底层思路是通用的。1. 先想清楚这三个概念各自在回答什么问题1.1 三个指标体系对应三种不同的提问方式集中趋势回答的是“这批数据最典型的水平大概是多少”。均值、中位数、众数三个口径在数据对称时几乎一样一旦数据歪了分歧就出来了。我习惯把均值理解成“把总盘子平均分给每个人的结果”——它受总量影响任何一个人拿走一大块均值就动中位数理解成“排队站中间那个人”谁拿走多少根本不影响他站的位置众数则是“最常出现的那个值”适合类别型或者高度重复的数据。离中趋势回答的是“这批数据有多不像话”。两个团队平均产出都是每天 100 单一个团队人人 95 到 105另一个团队一半人 20、一半人 180均值一模一样但管理方式完全是两码事。方差、标准差、极差、四分位距、变异系数这些量的共同作用是给均值配一个“可信度区间”的直觉。只报均值不报离散度等于只说了半句话。正态分布回答的是一个更底层的问题数据长成这个形状后面那套建立在“均值和方差足够描述一切”的前提才成立。很多经典方法——t 检验、方差分析、控制图的 3σ 线、线性回归的残差假设——都默认数据或残差近似正态。形状不对结论的可信度就打折。所以这三者不是并列的三个知识点而是一条链先看集中趋势定“中心”再看离中趋势定“稳定度”最后看分布形态定“能不能用常规方法”。我个人的习惯顺序是先画图再算数。一张直方图加一张箱线图30 秒就能判断出该用均值还是中位数比先算一堆数字再反推形状高效得多。1.2 拿到数据的第一小时我会按这个顺序过一遍第一步看数据规模与缺失情况样本量多少、每个字段空缺多少、有没有明显的录入错误比如年龄 200、金额为负。样本量直接决定了后面统计量的可信度30 条数据和 3 万条数据算出来的同一个均值含义完全不同。第二步看极值和分位数min、max、25%、50%、75%这五个数比均值有用得多。它一眼就能看出数据是否偏斜——如果75%和max相差极大说明右侧拖了一条长尾这时候均值基本失真。第三步算集中趋势和离中趋势两边对照着看。均值远大于中位数说明右偏均值远小于中位数说明左偏。第四步判断形状。样本量小于 5000 用正态性检验配合 Q-Q 图样本量大就直接看偏度和 Q-Q 图因为大样本下正态性检验几乎必然拒绝原假设参考价值有限。这个顺序不是教条但它能避免一个特别常见的错误一上来就算均值、算标准差然后拿去做假设检验结果数据严重偏斜检验结论完全跑偏还浑然不觉。1.3 一个容易忽略的前提这些统计量都有“适用范围”均值要求数据是数值型且具有可加性。评分、金额、时长这些没问题但像“用户满意度等级 1 到 5”均值 3.7 在数学上能算业务上解读起来要小心它默认了 1 到 2 的差距和 4 到 5 的差距是等价的。中位数要求数据可排序所以它天然适用于等级数据。众数适用于任何类型包括纯类别。标准差建立在平方和之上对极端值极其敏感一条离群值能让标准差翻倍。所以当你看到标准差大得离谱时第一反应不该是“数据波动大”而是“先看看有没有脏数据”。正态分布的适用前提更严格连续型数据。计数数据、比例数据、时间间隔数据往往天然不正态硬套正态假设是新手最容易犯的错误之一。搞清这些前提比记住公式重要得多。2. 集中趋势均值、中位数、众数怎么选2.1 三个数的计算与它们的“性格差异”均值的计算公式是把所有值加起来除以个数数学上叫算术平均。它的优点是用到了每一个观测值的信息缺点是任何一个异常值都能把它拽走。中位数是排序后取中间位置的数样本量为偶数时取中间两个的平均它对异常值几乎免疫代价是忽略了中间值以外的具体大小。众数是出现频次最高的值在描述型数据里它是唯一能用的集中趋势指标。我在实际项目里最常做的一件事是把这三个数一起算出来对比。如果三者接近说明数据大致对称均值可以放心用如果均值明显偏离中位数数据偏斜报告里就该以中位数为主要参考同时把均值作为补充如果众数和其他两个差得远说明数据里存在一个特别集中的取值区段可能对应某种业务上的“默认值”或者“档位”。举个具体例子。某业务线的单笔订单金额均值 86 元中位数 42 元众数 9.9 元。这三个数放在一起故事的轮廓就出来了大量用户只买最低价的小件众数在 9.9一半用户花不到 42 元但少数大额订单把均值抬到了 86。此时如果向上汇报“平均客单价 86 元”再拿这个数去定营销预算基本会亏。注意报告中出现“平均”二字时务必注明是均值还是中位数。这两个词在业务沟通中经常被混用一旦被对方按另一个口径理解后续所有推算都会错。2.2 判断该用哪个偏度与均值的拉锯判断依据不用背公式看一个关系就够均值对中位数的偏离方向就是长尾的方向。均值大于中位数右偏长尾在右被大值拉动均值小于中位数左偏。偏离越大偏斜越严重均值越不可信。偏度的粗略判断标准偏度绝对值小于 0.5 视为近似对称0.5 到 1 之间为中度偏斜超过 1 为高度偏斜。这个阈值不是铁律但作为快速判断够用。pandas 里Series.skew()默认给的就是这个指标。代码上非常直接import pandas as pd import numpy as np df pd.read_csv(orders.csv) amt df[order_amount].dropna() stats { 样本量: amt.count(), 均值: amt.mean(), 中位数: amt.median(), 众数: amt.mode().iloc[0] if not amt.mode().empty else np.nan, 偏度: amt.skew(), 标准差: amt.std(ddof1), } print(pd.Series(stats).round(2))运行完先看“均值减中位数”的差值。如果差值超过中位数的 20%我就不会在结论里主推均值了。2.3 分组之后集中趋势会骗人这是我认为最容易翻车的一处。整体算出的均值可能在每一个分组里都被反过来。一个经典的场景某个功能改版后整体转化率略有下降但把用户按活跃度分层看每一层的转化率都在上升——原因是改版吸引了大量低活跃新用户他们的转化率本来就低把整体均值往下拖了。这就是分层与整体的方向相反做数据汇报时必须先分层再合并。实操建议是任何集中趋势结论都要至少做一次分组复核。按时间、按渠道、按用户类型各切一刀看方向是否一致。如果某个分组的方向和整体相反那这个结论就不能直接对外讲得先解释清楚结构性差异。grp df.groupby(channel)[order_amount].agg( 样本量count, 均值mean, 中位数median, 标准差std ).round(2) print(grp)跑完这张表再决定要不要合成一个总数。合成的话记得用加权平均而不是简单平均——各分组样本量不同直接平均会严重失真。加权平均的权重就是各组样本量或者更严谨地用业务上的“权重”比如各渠道的营收占比。2.4 截尾均值一个被低估的折中方案当数据既有离群值、又不想完全放弃均值信息时截尾均值是个很好用的工具。做法是把排序后两端各去掉一定比例常见 5% 或 10%再对剩下的求平均。它比中位数用到了更多信息又比纯均值抗干扰。from scipy.stats import trim_mean tm trim_mean(amt, proportiontocut0.1) # 两端各去掉 10% print(f截尾均值: {tm:.2f})我一般在计算绩效、评分、响应时长这类容易有极端值的数据时用它。但要记住一点截尾比例必须写进报告因为不同比例算出来的数不一样别人复现不了你的结果就没法验证。3. 离中趋势波动到底该怎么量3.1 方差为什么除以 n-1这是新手问得最多的一个细节。计算方差时如果用的是样本均值而不是总体真实均值那么每个偏差平方和会系统性地偏小一点除以 n-1而不是 n正好把这个偏差补回来得到无偏估计。这就是常说的贝塞尔校正。实际影响有多大样本量 1000 时n 和 n-1 的差别只有 0.1%可以忽略但样本量只有 10 时差别有 11%用错会明显低估波动。所以小样本场景务必用 n-1。pandas 的std()和var()默认就是ddof1numpy 的np.std()默认是ddof0这两个库的默认值不一样混用会导致同一份数据算出不同的数这是个实打实的坑。注意用 numpy 计算样本标准差时必须显式写np.std(x, ddof1)。我见过因为这一点导致两版报告数字对不上、排查了一整晚的情况。3.2 标准差不能跨量纲直接比较变异系数可以标准差带单位单位不同就不能比。订单金额的标准差是 30 元配送时长的标准差是 2 小时这两个数谁“更分散”根本没法比。解决办法是变异系数 CV 标准差 / 均值它把量纲消掉了得到的是一个相对波动率。CV 的解读很直观CV 为 0.15 意味着波动大约是均值的 15%。我在做多指标横向对比时第一件事就是把所有指标的 CV 算出来排个序波动最大的那几个就是需要重点盯的。但 CV 有前提均值必须为正且要有实际意义。如果均值接近 0CV 会爆炸到无意义。像“温差”这种可能为正也可能为负的数据CV 就完全不能用这时候该看标准差或四分位距。def cv(s): m s.mean() return s.std(ddof1) / m if m ! 0 else np.nan print(df[[order_amount, delivery_hours]].apply(cv).round(3))3.3 四分位距与箱线图抗离群值的那条路四分位距 IQR Q3 - Q1即 75 分位减 25 分位中间 50% 数据的跨度。它完全不看两端所以极端值对它没有影响。箱线图的“胡须”规则是 Q1 - 1.5×IQR 到 Q3 1.5×IQR超出这个范围的点被标记为离群点。我个人的用法是先用 IQR 判断“正常范围”在哪再回头看那些越界的点。这里有个关键认知——离群点不等于错误数据。它可能是录入错误也可能是真实存在但极其罕见的情况比如大客户一次性采购。处理方式完全不同前者要删或改后者要保留并单独分析。q1, q3 amt.quantile([0.25, 0.75]) iqr q3 - q1 low, high q1 - 1.5 * iqr, q3 1.5 * iqr outliers amt[(amt low) | (amt high)] print(fIQR{iqr:.2f}, 正常范围[{low:.2f}, {high:.2f}], 离群点 {len(outliers)} 个 f({len(outliers)/len(amt):.1%}))离群点占比在 1% 到 5% 之间属于正常超过 10% 就要怀疑是不是分布本身极度偏斜或者阈值规则不适用于这份数据。3.4 离散度的业务含义稳定性、风险与一致性标准差在业务语境里最常见的翻译是“稳定性”和“风险”。生产线上产品尺寸的标准差就是良品率的直接反映客服场景里首次响应时长的标准差就是服务一致性的度量投资场景里收益率的波动率就是风险。同一个指标均值相同但标准差差一倍管理动作完全不同。还有一个常被忽略的用法用离散度做异常检测。设定“均值 ± 2 倍标准差”作为正常区间连续多期落在区间外就触发告警。这套逻辑简单、可解释、易落地在监控看板里比复杂的模型更受业务方欢迎。前提是数据大致对称否则区间会偏得离谱——这也是为什么第 4 节的分布形态判断不能跳过。4. 正态分布判断形状、检验方法与它的边界4.1 三个数字背后的实际意义正态分布的经验法则很好记约 68% 的数据落在均值 ± 1 个标准差内约 95% 落在 ±2 个标准差内约 99.7% 落在 ±3 个标准差内。这组数字的实用价值在于它给出了一把“这件事有多反常”的尺子。比如某接口的平均响应时间是 200 毫秒标准差 30 毫秒。那么 290 毫秒3 个标准差之外的响应从统计上看属于异常事件概率不到 0.3%。监控系统完全可以按这个阈值报警而不是拍脑袋定一个 300 毫秒。这就是 3σ 控制线的由来它把“异常”从主观判断变成了可量化标准。反过来用也成立如果一份数据里 3σ 之外的点占了 5% 以上那基本可以断定数据不正态或者混入了另一类样本。这时候先别急着报警先查数据来源。4.2 四种判断方式别只依赖一种第一种是直方图叠加核密度曲线肉眼判断对称性和钟形。最直观但主观性强样本量小时形状会很杂乱。第二种是 Q-Q 图。横轴是理论分位数纵轴是样本分位数如果数据来自正态分布点会紧贴一条 45 度直线。两端明显偏离直线、中间贴合说明尾部较重或较轻整体呈弧形说明偏斜。Q-Q 图是我最推荐的判断工具一张图能同时看出偏斜和峰态问题。第三种是偏度和峰度。偏度衡量左右不对称峰度衡量尾部的厚重程度。pandas 的kurt()返回的是超额峰度正态分布下为 0大于 0 表示尖峰厚尾。第四种是正态性检验常用 Shapiro-Wilk样本量建议小于 5000、Kolmogorov-Smirnov、Anderson-Darling。这些检验的原假设是“数据来自正态分布”p 值小于 0.05 就拒绝正态假设。import scipy.stats as st print(偏度:, round(amt.skew(), 3), 超额峰度:, round(amt.kurt(), 3)) sample amt.sample(min(len(amt), 5000), random_state42) w, p st.shapiro(sample) print(fShapiro-Wilk W{w:.4f}, p{p:.4g}) # Q-Q 图 import matplotlib.pyplot as plt st.probplot(sample, distnorm, plotplt) plt.title(Q-Q Plot) plt.show()4.3 大样本下检验会“过度敏感”这是必须强调的一点。样本量上万时即使数据只是极其轻微地偏离正态检验也会给出 p 0.001。这时候如果你严格按照“p0.05 就拒绝正态”几乎没有任何真实数据能通过检验。原因是检验的统计功效随样本量增长微小偏差也能被识别出来。我的处理原则是样本量在 5000 以内看检验 p 值超过 5000主要看 Q-Q 图和偏度峰度检验结果只作参考。判断标准也要放软偏度绝对值小于 1、超额峰度绝对值小于 2同时 Q-Q 图中段贴合就可以认为“近似正态常规方法可用”。现实中的数据几乎从不完美正态追求完美正态是理论研究的事工程上只需要“偏差不足以影响结论”。注意不要因为数据不正态就直接放弃参数方法也不要在严重偏斜的数据上硬套 t 检验。折中的做法是用非参数方法交叉验证一次如果两种方法结论一致那就放心用参数方法的结果因为它的解释力更强、置信区间更窄。4.4 数据不正态时能做的四件事第一件事是变换。右偏数据金额、时长、计数取对数通常能拉回对称方差不齐时用平方根严格正值的偏斜数据可以用 Box-Cox 自动搜索最优变换参数含零或负值时用 Yeo-Johnson。变换之后要记得结论是建立在变换后的尺度上的向业务解释时要反变换回来。from scipy.stats import boxcox import numpy as np pos amt[amt 0] fitted, lam boxcox(pos) print(f最优 lambda {lam:.3f})第二件事是改用稳健统计。中位数替代均值MAD中位数绝对偏差或 IQR 替代标准差这些指标不受极端值影响。在很多风控、绩效场景里稳健指标比经典指标更有说服力。第三件事是换非参数方法。Mann-Whitney U 检验替代 t 检验Kruskal-Wallis 替代方差分析。代价是损失一点统计功效但前提假设大大放松。第四件事是承认分布形态本身就是信息。幂律分布、双峰分布背后的业务含义往往比“均值多少”更值得挖。双峰通常意味着两类人群混在一起找到那个分层变量比强行求一个平均有用得多。5. 完整落地从原始表到一份可用的描述性统计报告5.1 数据预处理与缺失值处理统计量算错八成问题出在清洗这一步。缺失值处理有几种策略但要按缺失比例和缺失机制选。缺失比例低于 5% 且完全随机缺失可以直接删行或删列比例在 5% 到 30% 之间用中位数或均值填补偏斜数据用中位数超过 30% 的字段基本要重新考虑是否保留。关键是填补之后的所有统计量都是“填补后”的报告里必须注明否则读者会以为这些是原始观测。极端值处理也类似删、改、保留都要留痕。我的习惯是在脚本里单独记录被剔除的行数并在报告开头列一个“数据处理说明”把每一步的样本量变化写清楚。这个小动作能省掉后面无数次“为什么你的数字和我的不一样”的拉扯。raw_n len(df) df df.dropna(subset[order_amount]) df df[df[order_amount] 0] print(f原始 {raw_n} 行清洗后 {len(df)} 行剔除 {raw_n - len(df)} 行)5.2 一段可以直接套用的脚本下面这段我会存成模板换数据源只改字段名。它的输出基本覆盖了描述性统计需要的全部内容。import pandas as pd import numpy as np import scipy.stats as st def describe_full(s: pd.Series, name: str 指标) - pd.Series: s pd.to_numeric(s, errorscoerce).dropna() q1, q3 s.quantile([0.25, 0.75]) iqr q3 - q1 return pd.Series({ 样本量: s.count(), 均值: s.mean(), 中位数: s.median(), 众数: s.mode().iloc[0] if not s.mode().empty else np.nan, 标准差: s.std(ddof1), 方差: s.var(ddof1), 变异系数: s.std(ddof1) / s.mean() if s.mean() else np.nan, 最小值: s.min(), Q1: q1, Q3: q3, IQR: iqr, 最大值: s.max(), 偏度: s.skew(), 超额峰度: s.kurt(), 离群点比例: ((s q1 - 1.5*iqr) | (s q3 1.5*iqr)).mean(), 均值中位数比: s.mean() / s.median() if s.median() else np.nan, }, namename) res describe_full(df[order_amount], 订单金额) print(res.round(3))“均值中位数比”这个我自己加的指标用来快速定位偏斜程度接近 1 说明对称大于 1.2 或小于 0.8 就说明该看中位数了。它比偏度更符合业务方的直觉用来做沟通很好使。5.3 报告怎么组织一张表加三句话描述性统计报告不需要长篇大论核心是一张指标表加一组结论。表里按“样本量、集中趋势、离中趋势、分布形态”四块排列每块放 2 到 4 个指标。结论部分我一般写三句话数据典型水平是多少、波动范围有多大、分布形态是否支持后续的常规分析方法。举个具体的表达方式指标数值说明样本量1,842剔除缺失与负值后均值 / 中位数86.3 / 42.1均值约为中位数两倍明显右偏标准差 / 变异系数121.5 / 1.41波动极大相对波动超过 100%IQR55.0中间一半数据跨度偏度3.82高度右偏均值不可作为典型水平离群点比例6.3%高于常规水平建议分层分析三句结论可以这样写该指标典型水平应以中位数 42 元为准均值 86 元受少数大额订单拉动波动极大变异系数 1.41 说明个体差异远大于平均量级分布严重右偏且离群点占比偏高后续分析建议先取对数变换或直接采用非参数方法。这套写法我在好几个团队里推过最大的好处是结论无法被曲解——每个数字后面都写明了为什么。6. 常见问题与排查技巧实录6.1 问题速查表现象最可能原因排查与解决均值和手工算的不一致缺失值被自动跳过或含非数值检查count()与len()是否相等确认数据类型标准差为 0 或异常小数据几乎全为同一值或样本量极小看唯一值个数nunique()小于 5 时谨慎解读两版报告数字对不上ddof 取值不同0 与 1统一显式写ddof1numpy 与 pandas 默认值不同正态检验全部拒绝样本量过大微小偏差被放大转看 Q-Q 图与偏度峰度放宽判断标准箱线图出现大量离群点数据极度右偏或双峰取对数变换或改用分位数展示分组均值都高于总均值样本量分布不均结构性差异改用加权平均检查各组样本占比中位数与分位数算出来是整数数据为整数型且样本量小属正常现象插值方式不同会导致差异变异系数出现天文数字均值接近 0改用标准差或 IQR不要用 CV6.2 我踩过的坑写在最后第一个坑是拿整数型数据算中位数结果出现 42.5 这种值被业务方质疑“订单金额怎么会有半毛钱”。其实那是偶数样本量下取中间两个值的平均属于正常计算。处理办法是提前说明或者在展示时按业务规则取整并注明。第二个坑是过度依赖正态性检验。有次一份三万多条的数据检验 p 值小到小数点后十几位我据此判定“非正态”并换了非参数方法结果后面所有结论的置信区间都宽得没法用。后来画了 Q-Q 图才发现偏差主要出在两端极少数点上主体部分贴合得非常好。换回参数方法、只在结论里加一句“尾部略厚”效果立刻好了。这件事让我彻底改掉了只看 p 值不看图的习惯。第三个坑更隐蔽在缺失值填补之后做描述性统计忘了标注结果下游同事用它去算样本量、做功效分析全部偏了。从那以后我养成一个习惯——所有统计量输出都带一个后缀标注数据版本比如order_amount_mean_filled_v2。名字长一点但不会搞混。说到底集中趋势、离中趋势、正态分布这三件事本质上是在给数据画一张“身份证”它大概多少、有多不听话、长什么形状。这三样摸清了后面用什么方法、得出什么结论心里才有底。我自己的经验是凡是在这一步多花二十分钟认真看一眼图形和分位数的人后面返工的概率会低一大截——省下来的时间远不止二十分钟。