概率论与数理统计核心知识：从随机事件到假设检验

简介这份《概率论与数理统计笔记.pdf》面向高校理工经管类专业学生及考研、期末复习人群用提纲式结构梳理课程核心概念、公式与定理适合课堂同步整理、考前速查和知识框架复盘。压缩包仅含1个PDF文件约432KB轻量易存便于在电脑、平板与手机上随时翻阅。笔记内容覆盖随机事件及其概率、随机变量及其分布、随机向量及其分布以及数理统计中的大数定律、中心极限定理、常用统计量、点估计、区间估计、假设检验、独立性检验、方差分析和回归分析等模块对古典概型、几何概型、分布函数、概率密度、数字特征与条件概率等易混点亦有归纳可帮助读者快速定位公式、对照概念并建立章节脉络。目前已有5986人学习下载适合作为课程复习与查漏补缺的辅助资料。1. 概率论与数理统计到底在研究什么从一次抛硬币说起扔一枚硬币落下来是正是反谁也没法提前断言。可要是连着扔一万次正面出现的比例会稳稳地贴在二分之一附近这件事几乎所有人都有直觉。概率论与数理统计干的事就是把这种“说不准但有规律”的直觉变成一套能算、能证明、能拿去下判断的公式前半段叫概率论从已知的规则推出结果出现的可能性后半段叫数理统计反过来从看到的结果去猜背后那套规则。一份完整的概率论与数理统计笔记通常就沿着这条线走先讲随机事件和概率再讲随机变量、随机向量最后落到抽样、估计和检验。搞懂这条主线比背一百条公式都管用。2. 随机事件与概率为什么“可能发生”也能算得清清楚楚2.1 随机试验先把“不确定”框进一个笼子里概率论不处理所有的不确定它只处理一类被称作随机试验的东西。教材里给随机试验列了四条特征在相同条件下可以重复进行所有可能结果事先都已知每次试验出现且仅出现其中一种结果试验之前无法预测到底出现哪一个。这四条其实是在说“边界清楚落点随机”。比如掷一颗骰子结果必定在 1 到 6 之间但你猜不准这一次是几比如从一批产品里随机抽一件检验只有合格与不合格两种结果抽之前不知道是哪种。反过来“明天某只股票涨多少”就不太符合——同样的条件没法重复涨跌幅也没有一份事先列尽的清单。概率论不管这种事。守住这四条之后就能定义样本空间一次随机试验所有可能结果组成的集合通常记作 Ω其中每个结果叫样本点。而随机事件就是样本空间的某个子集。这个定义看着抽象作用却很大它把“事件”变成了“集合”后面所有的运算都有了着落。必然事件就是 Ω 本身不可能事件就是空集。2.2 事件的关系和运算其实就是集合那一套事件之间的关系完全照搬集合关系包含、相等、并至少一个发生、交同时发生、差A 发生而 B 不发生。运算律也一样交换、结合、分配还有对偶律——“A 和 B 至少一个发生”的否定是“两个都不发生”。这一块几乎不用额外背把事件当集合看就顺了。真正需要单独记的是几个带概率味道的概念概念定义方式一句话理解容易踩的点互斥A∩B∅两个事件不能同时发生可以两个都不发生对立A∩B∅ 且 A∪BΩ非此即彼必有一个发生对立一定互斥互斥不一定对立独立P(AB)P(A)P(B)一个发生与否不影响另一个和“能不能同时发生”是两回事完备事件组两两互斥且并为 Ω把样本空间切成几块每次必落一块是最常用的“分类讨论”工具最容易翻车的是互斥和独立。初学者看到两个事件“没有交集”就以为它们互不影响正好反了如果两个事件互斥而且概率都大于 0那么知道其中一个发生另一个就绝不可能发生这恰恰是强影响。所以互斥的正概率事件一定不独立。完备事件组值得多说一句。它就是把所有可能情况不重不漏地分成若干类比如“产品来自甲厂、乙厂、丙厂”比如“机器处于正常、轻微异常、严重异常三种状态”。这个工具本身不复杂但后面全概率公式、贝叶斯公式都靠它撑着。2.3 古典概型和几何概型两种“公平”的定义方式古典概型要求两条样本空间是有限集合每个基本事件发生的可能性相同。满足这两条时概率就等于一个除法P(A) A 包含的样本点数 / 样本点总数用这个公式之前必须确认“等可能性”成立。掷一枚均匀骰子是古典概型掷一枚灌了铅的骰子就不是——结果仍然只有六种但可能性不同公式直接用就错了。这是很多人做题时栽的第一个跟头。几何概型换了个场景样本空间对应一个可以度量的几何区域基本事件和区域里的点一一对应无限个并且事件发生的概率只和子区域的度量成正比与位置、形状无关。公式变成两个度量的比值P(A) 子区域 D 的度量 / 区域 S 的度量举个常见的例子。两个人约在某个小时内见面先到的等 20 分钟等不到就走。把两人到达时刻分别记作 x、y样本空间是边长 60 的正方形面积 3600。能见面的条件是 |x−y|≤20在正方形里挖出两条直角三角形总面积 1600剩下的 2000 就是“能见面”的区域。所求概率是 2000/3600约等于 0.556。整个过程没有一次“数样本点”全是面积在说话。这两种概型的区别本质上是“数个数”和“量长度”。一个离散一个连续但背后的思路一致把“公平”翻译成可计算的度量。2.4 加法、乘法、全概率与贝叶斯概率的公理化定义只有三条非负性、规范性必然事件概率为 1、可列可加性两两互斥的事件列并的概率等于概率之和。别小看这三条后面所有性质都能从它们推出来不可能事件概率为 0P(A−B)P(A)−P(AB)对立事件概率相加为 1以及最常用的加法公式P(A∪B) P(A) P(B) − P(AB)三个以上事件就用容斥原理展开一加一减交替往下走。条件概率是另一个转折点。在 B 已经发生的条件下 A 发生的概率定义为 P(A|B)P(AB)/P(B)要求 P(B)0。它本身也满足那三条公理所以“条件概率也是概率”性质照搬。由它变形得到乘法公式 P(AB)P(A)P(B|A)多个事件连乘就一路乘下去。接下来是最有实用价值的两条。全概率公式负责“由因推果”把复杂事件按完备事件组拆开各路分别算再相加P(B)ΣP(Aᵢ)P(B|Aᵢ)。贝叶斯公式负责“由果推因”看到了结果 B反推它来自哪个原因P(Aₖ|B)P(Aₖ)P(B|Aₖ) / ΣP(Aᵢ)P(B|Aᵢ)。抽签问题就是全概率公式最漂亮的用法。十个人依次抽一张中奖签第一个人的中奖概率是 1/10。第二个人呢分两种情况第一个人抽中概率 1/10他中奖概率为 0第一个人没抽中概率 9/10剩下九张里有一张中奖签中奖概率 1/9。两路一加(1/10)×0(9/10)×(1/9)1/10。一路推下去每个人都是 1/10。所以先抽后抽一样公平这个结论用全概率公式推出来最干净。贝叶斯公式最反直觉的应用是筛查。某地区某种疾病的患病率是 1%检测方法对患者查出阳性的概率是 99%对健康人查出阴性的概率也是 99%。一个人查出阳性他真正患病的概率是多少算一下真患者且阳性 0.01×0.990.0099健康人且被误判阳性 0.99×0.010.0099。两者一比正好对半。也就是说检测阳性之后真正患病的概率只有 50%。这个结果之所以让人不舒服是因为分母里健康人的基数太大了1% 的误判率乘上 99% 的人群绝对数量就和真患者持平。贝叶斯公式的意义就在于逼着你把“基数”算进去而不是只盯着那个 99% 的准确率。3. 随机变量及其分布把不确定的结果翻译成数字3.1 分布函数一个 F(x) 把整张概率表压平随机变量的定义很直白如果对随机试验的每个结果 e都有一个单值实函数 XX(e) 与之对应X 就叫随机变量。通俗地说给每个可能结果贴一个数字标签掷骰子贴 1 到 6抽检产品贴 0 和 1测身高贴一个实数。贴完标签“事件”就变成了“X 落在某个范围里”概率就能用函数来描述了。分布函数是所有随机变量通用的描述工具F(x) P(X ≤ x)x 取任意实数它把离散型和连续型统一在同一个框架下。只要知道 F任何区间概率都能算P(aX≤b)F(b)−F(a)。这就是为什么教材先讲分布函数再分头讲离散和连续——它是那个共同的地基。F 有四条性质单调不减右连续x 趋于负无穷时 F 趋于 0x 趋于正无穷时 F 趋于 1。为什么是右连续而不是左连续因为定义里用的是 X≤x等号在右边函数值由右侧决定。这一点考试爱考实际用起来也常被忽略。3.2 离散型看分布律连续型看密度离散型随机变量的取值可以一个一个列出来描述它的是分布律pᵢP(Xxᵢ)每个 pᵢ 非负全部加起来等于 1。这张表就是它的全部信息。连续型随机变量取值不可数描述它的是一个非负可积函数 f(x)叫概率密度满足F(x) ∫(−∞ 到 x) f(t)dt P(aX≤b) ∫(a 到 b) f(x)dx密度有两条最反直觉的地方。第一连续型随机变量在任何一个点上的概率都是 0P(Xx)0因为一个点没有长度积分为零。所以 P(aXb) 和 P(a≤X≤b) 是一样的开闭区间无所谓这跟离散型完全不同。第二f(x) 的取值不是概率它可以大于 1。比如在 [0, 0.5] 上取均匀分布密度恒等于 2比 1 大得多但它在任何区间上的积分都不超过 1。密度更像物理里的线密度某一点密度值大不代表那一点有多少质量得看一段上的积分。理解了这一层就不会再把 f(0.3)2 当成“概率是 2”这种错误。3.3 期望和方差一个说重心一个说胖瘦期望是随机变量的加权平均物理意义是重心。离散型用求和连续型用积分E(X) Σ xᵢpᵢ E(X) ∫ x·f(x)dx这两个式子都要求绝对收敛否则就说期望不存在——极端值太肥的分布会出现这种情况。期望的常用性质常数的期望是它自己线性性 E(aXbY)aE(X)bE(Y)注意这条不要求独立非负随机变量的期望非负两个变量独立时才有 E(XY)E(X)E(Y)。方差衡量的是分散程度通俗说就是“离重心有多远”D(X) E(X−EX)² E(X²) − (EX)²后面那个展开式更好算考试和实际计算都用它。方差的性质常数的方差是 0D(aXb)a²D(X)平移不改变分散程度缩放要平方两个变量独立时 D(XY)D(X)D(Y)不独立时后面还要加一项协方差——这就是为什么第 4 章还得回头讲协方差。还有一个绕不开的工具切比雪夫不等式。P(|X−EX| ≥ ε) ≤ D(X)/ε²它不要求知道分布长什么样只用期望和方差就能给一个界。代价是这个界很松属于保底估计。它的价值不在算题而在证明大数定律的证明要靠它来顶着。此外还有几个描述工具中位数把概率劈成两半k 阶原点矩是 E(Xᵏ)期望就是一阶矩k 阶中心矩是 E(X−EX)ᵏ方差是二阶中心矩三阶中心矩看分布有没有偏四阶中心矩看分布陡不陡。3.4 几个必须记住名字的分布这些分布之所以值得记不是因为名字好听而是因为它们各自对应一类反复出现的随机机制。分布参数期望方差对应的现实场景0-1 分布ppp(1−p)一次试验只有两种结果二项分布n, pnpnp(1−p)n 次独立重复试验中成功的次数泊松分布λλλ单位时间内的稀有事件计数几何分布p1/p(1−p)/p²首次成功所需的试验次数超几何分布n, M, NnM/N—不放回抽样中的次品数均匀分布a, b(ab)/2(b−a)²/12区间内随机投点的落点指数分布λ1/λ1/λ²器件寿命、等待时间正态分布μ, σ²μσ²测量误差、大量微小因素叠加的量几个关键的性质值得单独拎出来。二项分布在 n 很大、p 很小时可以用泊松分布近似参数取 λnp这就是泊松定理它的实际意义是“大量试验中的稀有事件计数”。指数分布和几何分布都有无记忆性已经等了多久不影响还要再等多久的分布通俗讲就是“不记得自己等过”。正态分布最需要说清楚。它的密度是一条钟形曲线μ 决定中心在哪σ 决定胖瘦σ 越小曲线越陡、峰值越高。任意正态变量标准化之后都变成标准正态Z (X − μ) / σ ~ N(0, 1)实际算概率时就是先标准化再查表。这条路之所以走得通第 4 章的中心极限定理会给出解释。最后是随机变量的函数。已知 X 的分布求 Yg(X) 的分布。离散型好办把函数值相同的那些 x 的概率加在一起就行。连续型要用分布函数法先写 F_Y(y)P(g(X)≤y)把事件翻译成 X 落在哪个区域积分算出结果再对 y 求导得到密度。如果 g 是单调的也可以直接用密度变换公式把反函数的导数绝对值乘上去。4. 随机向量与数理统计从联合分布一路走到假设检验4.1 联合、边缘、条件三个分布之间的关系现实里一个指标往往不够用。描述一个人不能只看身高还要看体重描述一道工序不能只看第一道误差还要看第二道。这时候就需要随机向量把几个随机变量放在一起研究。它们必须定义在同一个样本空间上否则没法谈联合行为。联合分布函数是二维版本的地基F(x,y)P(X≤x, Y≤y)。离散型用联合分布律 pᵢⱼP(Xxᵢ, Yyⱼ)排成一张列联表连续型用联合密度 f(x,y)概率等于在区域上的二重积分。边缘分布是从联合里“抠”出一个变量的分布。离散型把一行的概率加起来或者把一列加起来连续型对另一个变量积分pᵢ· Σⱼ pᵢⱼ f_X(x) ∫ f(x,y)dy“边缘”这个词很形象它就写在列联表的边上行和、列和。这里有个容易忽略的事实联合分布能推出边缘分布边缘分布推不出联合分布。两个人的身高分布各自都知道不代表知道他们一起出现的规律。条件分布描述的是“知道一个变量取值之后另一个变量怎么分布”P(Yyⱼ | Xxᵢ) pᵢⱼ / pᵢ· f_{Y|X}(y) f(x,y) / f_X(x)这一步是后面回归分析的起点——条件期望就是“给定 X 之后 Y 的平均走向”。独立性在随机向量里的写法是 F(x,y)F_X(x)F_Y(y)离散型等价于 pᵢⱼpᵢ·p·ⱼ连续型等价于 f(x,y)f_X(x)f_Y(y)。直观理解知道 X 的取值完全不会改变 Y 的分布。二维的常见分布里多项分布是二项分布推广到多种结果平面均匀分布是数轴均匀分布的推广二元正态是正态分布的推广。二元正态有个特殊性质值得记一笔它的相关系数为 0 时两个分量不仅不相关而且独立。这个结论在一般分布里不成立是正态分布独有的“特权”也是后面误区章要重点说的点。4.2 大数定律和中心极限定理一切统计方法的底气这两个定理是概率论通向数理统计的两座桥。大数定律讲的是“平均下来会稳定”。三个常见版本一列两两不相关、方差有上界的随机变量其样本均值依概率收敛到期望一列独立同分布的随机变量样本均值依概率收敛到总体均值n 重伯努利试验中事件发生的频率依概率收敛到该事件的概率。第三个版本最直观——扔一万次硬币正面频率会贴着 0.5这就是“用频率估计概率”的理论依据。注意“依概率收敛”的含义它不保证每一次都靠近只保证偏离较远的可能性趋于 0。这和数学分析里的收敛不是一回事别混。中心极限定理讲的是“标准化之后长什么样”。一列独立同分布、方差有限的随机变量其标准化后的和或样本均值的分布函数随着 n 增大逐点趋于标准正态分布。二项分布在 n 大时的正态近似是它的一个特例。为什么这两条这么重要因为整个数理统计的推断都建立在它们之上。大数定律保证了“用样本估计总体”这件事在大样本下靠谱中心极限定理保证了不管总体原来是什么形状样本均值的分布在大样本下都近似正态所以才能用正态的临界值去构造区间、去定拒绝域。用一段模拟代码可以直观看到这件事import numpy as np rng np.random.default_rng(20240501) # 固定随机种子保证结果可复现 n 2000 # 每组样本的容量 rounds 5000 # 重复抽样的次数 # 故意选一个明显偏态的分布指数分布期望 1、方差 1 samples rng.exponential(scale1.0, size(rounds, n)) means samples.mean(axis1) # 每组算一个样本均值 print(样本均值的平均:, means.mean()) # 应接近 1体现无偏 print(样本均值的波动:, means.std()) # 应接近 1/sqrt(2000) ≈ 0.022这段代码干的事从指数分布里反复抽 2000 个样本每组算一个均值看这些均值怎么分布。参数说明——scale1.0是指数分布的尺度参数等于它的期望size(rounds, n)一次生成 5000 行、每行 2000 个数axis1表示按行求均值。运行完会发现两件事均值的平均贴着 1大数定律在说话均值的波动量级是 σ/√n中心极限定理在说话。这个 1/√n 的收敛速度很关键它意味着样本量翻四倍误差才减半——做实验设计时衡量成本用的就是这条。4.3 点估计与区间估计给未知参数一个数或一个范围总体的分布类型已知、但里面的参数未知这时候就要从样本出发去猜。猜法分两种点估计给一个具体数值区间估计给一个范围加一个可信度。点估计最常用的两种方法。矩估计的思路很朴素用样本矩代替总体矩。先写出总体一阶矩、二阶矩关于未知参数的表达式解方程组把参数表示出来再把样本均值、样本二阶矩代进去就得到估计量。极大似然估计换个思路既然这批样本已经出现了那就选一个参数值使得“在这组参数下出现这批样本”的概率最大。步骤是写似然函数样本联合密度或联合分布律、取对数、对参数求导令其为零、解方程。对数这一步纯粹是为了把连乘变连加好算。评价一个估计量好不好看三条无偏反复抽样取平均能回到真值没有系统偏差、有效方差尽量小波动小、一致样本量越大越贴近真值。样本方差之所以除以 n−1 而不是 n就是为了满足无偏性——除以 n 会系统性低估总体方差这是很多人第一次见到的“反直觉设计”。区间估计要给出的是一个范围。通用方法是枢轴变量法找一个既包含未知参数、分布又完全已知且不依赖任何未知参数的统计量 U然后利用 P(aUb)1−α 把不等式反解成参数的区间。单正态总体下σ 已知时用标准正态的临界值σ 未知时用 t 分布的临界值形式分别是X̄ ± u(α/2) · σ/√n X̄ ± t(α/2, n−1) · S/√n两种情况都依赖样本均值近似正态而这正是中心极限定理给的底气。4.4 假设检验先假定它成立再看数据打不打脸假设检验的逻辑和法庭有点像先假定被告无罪原假设 H₀然后看证据。如果证据在“无罪”这个前提下出现的可能性小到某个程度就认为无罪这个假定站不住转而接受备择假设 H₁。标准步骤有五步提出 H₀ 和 H₁构造检验统计量通常用 H₀ 下分布已知的那个量给定显著性水平 α它是一个小概率描述“H₀ 为真却被拒绝”的风险根据 α 确定拒绝域把样本算出来的统计量扔进拒绝域比对落进去就拒绝 H₀否则不拒绝。两类错误必须说清楚拒真错误H₀ 为真但被拒绝概率为 α和取伪错误H₀ 为假但被接受概率为 β。这两类错误此消彼长唯一的办法是增加样本容量。实践中的通行做法是先控制第一类错误再尽量压低第二类错误因为“把真的说成假的”通常代价更高。p 值是这一套的现代版本在 H₀ 成立的条件下出现当前观测结果或更极端结果的概率。p 小于 α 就拒绝。它比“拒绝域”更好沟通但解释起来也更容易出错后面误区章会专门讲。除了参数检验正文里还包含几类结构检验。拟合优度检验判断样本是否来自某个指定的分布做法是把样本空间分成若干互不相交的区间比较实际频数和理论频数的偏差平方和这个统计量近似服从卡方分布。独立性检验判断两个分类变量是否独立把数据排成 r 行 s 列的列联表用同样的偏差平方和构造统计量自由度是 (r−1)(s−1)。方差分析比较多个正态总体的均值是否相等本质上是把总波动拆成组间和组内两部分再作比。回归分析则是建立变量之间的定量关系式并用它做预测。这四类方法看着花样不同底层逻辑一致构造一个“数据与假设的偏离程度”的统计量看它在假设成立时有多大可能出现。5. 常见误区与易混概念独立与不相关、密度与概率到底差在哪5.1 独立和不相关一个说“分布无关”一个说“线性无关”易混点很多人把这两个词当同义词用看到相关系数为 0 就说“两个变量没关系”。为什么混两者都表现为“一个变量动另一个不跟着动”而且独立时相关系数确实为 0方向一致容易让人以为是等价命题。怎么区分独立是分布层面的强条件——联合分布等于两个边缘分布的乘积知道 X 就完全知道 Y 的分布。不相关只是说线性相关系数为 0即不存在线性关系但完全可能存在很强的非线性关系。比如 X 服从标准正态YX²两者明显有依赖但协方差为 0。唯一的例外是二元正态分布这时候不相关和独立等价。记住这个例外别把它推广到所有分布上。5.2 概率密度的值和概率密度可以大于 1易混点把 f(x) 的值直接当概率用看到 f(0)2 就以为出了错。为什么混离散型的分布律 pᵢ 就是概率切换到连续型时最自然的联想是把 f(x) 当成 pᵢ 的对应物于是以为它也必须在 0 到 1 之间。怎么区分密度是“单位长度上的概率”必须积分才有概率。判断标准只有一条f(x) 非负且在全实数上的积分等于 1。单个点的函数值没有任何概率含义连续型随机变量在任意一点的概率都是 0。这和物理里的线密度完全同构某个点密度大不代表那个点有多少质量。5.3 频率和概率一个是测出来的一个是理论值易混点把某次试验得到的频率当成概率或者认为试验次数够多频率“一定等于”概率。为什么混大数定律说频率依概率收敛到概率那个“收敛”听上去很像“最终相等”。怎么区分概率是模型里的一个固定数值是先验给定的频率是试验做出来的统计量每做一轮都不一样本身也是随机变量。大数定律保证的是试验次数趋于无穷时频率与概率偏差超过任意小量的可能性趋于 0。它不保证某一次具体试验的频率等于概率也不保证偏差会单调地变小。扔十次硬币出现七次正面完全正常这不违反任何定理。5.4 置信区间 95%说的是方法不是参数易混点认为“参数落在当前这个区间里的概率是 95%”。为什么混这句话读起来太顺了几乎没人第一遍会觉得有问题。怎么区分参数是一个固定的数它要么在区间里要么不在谈不上概率。95% 描述的是构造区间这套方法如果重复抽样无数次每次都按同样公式算一个区间其中大约 95% 的区间会盖住真值。所以正确的表述是“用这个方法构造的区间长期看有 95% 的覆盖率”。当前这一个区间盖没盖住谁也不知道。这个区别在考试里是概念题在实际工作里会影响你对结论的解读尺度。5.5 接受原假设和证明原假设证据不足不等于成立易混点假设检验没有拒绝 H₀就宣布“证明了 H₀ 是对的”。为什么混日常语言里“没找到反对证据”和“确认成立”经常混着用。怎么区分假设检验的结论只有两种——“拒绝 H₀”和“不拒绝 H₀”。不拒绝只说明在当前样本量下数据没有提供足够强的反对证据可能因为 H₀ 真的成立也可能因为样本太小、检验功效不够。另外p 值也不是“H₀ 为真的概率”它是在 H₀ 成立的前提下出现当前数据的概率条件的方向正好相反。把这两句话分清看论文和报告时能少被带偏很多次。6. 什么时候用、什么时候别用这套笔记能帮到哪一步这套笔记真正能派上用场的地方是那些“结果不确定、但可以重复观察”的问题。判断一批产品的次品率、估计某个工艺参数的波动范围、比较两种方案的效果差异是不是真实存在、给测量结果配一个误差范围——这些都属于它的主场。核心场景可以归成三类需要量化不确定性本文还有配套的精品资源点击获取