首页/新闻资讯/正文详情

《信息论基础》第三章学习笔记(3.4–3.6)

发布时间:2026/11/4 7:02:29 来源:云帆数科 栏目:资讯中心
《信息论基础》第三章学习笔记(3.4–3.6)
《信息论基础》第三章学习笔记3.4–3.6参考教材翟明岳《信息论基础》清华大学出版社版权声明本文为个人课程学习总结所有内容均为个人理解、重新语言梳理整理无教材原文摘抄仅用于学习交流禁止任何商业用途。专业概念版权归原作者及出版社所有。如有侵权问题可联系删除。在上一节中我们掌握了最简单的离散单符号信源模型。但在实际的通信场景中信源输出往往不是单个独立符号而是一串连续的符号序列。第三章3.4、3.5、3.6小节依次拓展了无记忆扩展信源、离散平稳信源、马尔可夫信源三种进阶模型从简单独立序列过渡到有关联、有记忆的真实信源完善了离散信源的整套分析体系是信源编码学习的重要铺垫。3.4 离散无记忆扩展信源离散单符号信源只能描述单次输出的符号无法描述连续传输的符号组因此教材引入了扩展信源的概念。离散无记忆N次扩展信源就是将原始单符号信源连续输出N个符号组合成一个新的复合符号序列。这类信源的核心特点是无记忆性。序列里的每一个符号输出概率都互不影响、相互独立完全继承原始信源的概率分布不会因为前后符号变化改变自身概率。简单来说扩展信源只是把单个符号批量组合符号之间依旧没有关联性。在信息度量上扩展信源的熵有着固定规律。N次扩展信源的总熵等于原始单符号信源熵的N倍。这个性质极大简化了计算不用单独计算每一组序列的信息量直接通过基础熵值就能推算出序列整体的平均信息量。该小节让我们学会批量分析符号序列为后续信源压缩、编码效率计算打下基础。3.5 离散平稳信源现实中绝大多数信源都不是完全无记忆的比如文字、语音序列前后符号存在固定关联为此教材引入了离散平稳信源模型用来描述有记忆、但统计特性稳定的信源。平稳信源的核心定义是统计平稳性信源输出符号的概率分布、关联规律不会随着时间推移发生改变。无论从哪个时刻截取符号序列它的概率特性、平均不确定性都是一致的。和无记忆信源最大的区别是平稳信源前后符号存在依赖关系前序符号会影响后序符号的出现概率。本节重点区分了平稳信源的熵特性。因为符号存在关联性后一个符号的不确定性会被前序符号降低所以平稳信源的平均符号熵会小于无记忆扩展信源的符号熵。符号关联性越强冗余信息越多单位符号承载的有效信息量就越少。同时教材引入了极限熵的概念用来描述符号长度趋于无穷时平稳信源最终稳定的平均信息量。极限熵是衡量平稳有记忆信源信息效率的核心指标也是后续判断信源压缩极限的重要依据。3.6 马尔可夫信源马尔可夫信源是平稳有记忆信源中最常用、最贴近实际的模型也是本章重难点。普通平稳信源只知道符号有关联而马尔可夫信源精准定义了关联规则信源下一时刻的符号只和最近有限个符号有关和更早的符号无关。最基础的是一阶马尔可夫信源即当前符号仅由前一个符号决定更早的历史符号不产生任何影响。这种特性被称为“无后效性”完美适配日常文本、语音、编码序列的规律是工程中应用最广的信源模型。本节核心学习了马尔可夫信源的状态与状态转移。信源的每一个符号对应一个状态符号的交替输出就是状态的不断转移且所有状态转移概率固定不变保证了信源的平稳特性。依托转移概率我们可以精准计算条件熵、稳态熵量化有记忆信源的不确定性。对比前面的信源模型马尔可夫信源弥补了无记忆模型脱离实际的缺陷用有限记忆简化了复杂信源的计算难度兼顾了真实性和可计算性。章节小节总结3.4至3.6三节内容层层递进完成了信源模型的完整升级。从无记忆扩展信源的独立符号序列到离散平稳信源的整体记忆特性最后落地到马尔可夫信源的精准状态关联模型逐步贴合真实通信场景。整体逻辑非常清晰无记忆扩展信源解决了“批量符号计算”的问题平稳信源引入了“符号关联”的真实特性马尔可夫信源给出了“量化关联规律”的可行方法。这三类信源的熵值变化规律是核心考点——符号关联性越强信源冗余越大有效信息量越少可压缩空间也就越大。

相关推荐

AngusSecurity MCP 怎么接入:对话里查高危、Finding 与门禁
AngusSecurity MCP 怎么接入:对话里查高危、Finding 与门禁

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:29

ScrcpyForAndroid锁屏密码自动填充教程:生物识别一键解锁受控设备的完整攻略
ScrcpyForAndroid锁屏密码自动填充教程:生物识别一键解锁受控设备的完整攻略

【免费下载链接】ScrcpyForAndroid scrcpy android client (unofficial) 项目地址: https://gitcode.com/gh_mirrors/scr/ScrcpyForAndroid 点击查看 免费下载 📱 ScrcpyForAndroid 是一款 Android 端的 scrcpy 客户端,内置 锁屏密码自动填充… · 2026/11/4 7:01:29

MAS 激活脚本教程:免费一键激活 Windows 与 Office,4 种方式怎么选
MAS 激活脚本教程:免费一键激活 Windows 与 Office,4 种方式怎么选

MAS 激活脚本教程:免费一键激活 Windows 与 Office,4 种方式怎么选 【免费下载链接】Microsoft-Activation-Scripts Open-source Windows and Office activator featuring HWID, Ohook, TSforge, and Online KMS activation methods, along with advance… · 2026/11/4 7:01:29

K-means聚类收敛真相:局部最优、初始化与MATLAB避坑
K-means聚类收敛真相:局部最优、初始化与MATLAB避坑

简介:围绕K-means聚类算法与MATLAB实现整理的一份入门型文档,面向正在学习无监督学习、数据分析或需要快速复现聚类实验的高校学生与算法初学者,重点解决聚类原理理解、内置函数调用和结果可视化等问题。压缩包共1个docx文件,约15… · 2026/11/4 7:43:37

变时域MPC在智能驾驶超车控制中的应用与优化
变时域MPC在智能驾驶超车控制中的应用与优化

1. 项目背景与核心价值在智能驾驶领域,超车动作一直是最考验车辆决策能力的场景之一。传统PID控制方法在面对动态障碍物时往往显得力不从心,而基于模型预测控制(MPC)的解决方案正在成为行业新宠。这个项目特别引入了变时域&#x… · 2026/11/4 7:43:37

Oracle 11.2.0.1 补丁实战指南:OPatch 打补丁全流程与避坑手册
Oracle 11.2.0.1 补丁实战指南:OPatch 打补丁全流程与避坑手册

简介:本资源是一份面向Oracle数据库运维工程师与DBA的实战型补丁管理指南,聚焦11.2.0.1版本数据库的补丁安装全流程,解决生产环境中常见的补丁下载、验证、应用及回滚等关键问题。文档以清晰步骤覆盖安装前环境检查与全量备份、OPatch工具部署… · 2026/11/4 7:43:37

Pretext文本排版引擎:多格式出版的技术解析与实践
Pretext文本排版引擎:多格式出版的技术解析与实践

1. 为什么我们需要关注文本排版引擎在数字内容创作领域,排版质量直接影响着读者的阅读体验和信息获取效率。传统文字处理软件虽然功能强大,但往往存在跨平台兼容性差、样式控制不精确等问题。Pretext作为新一代文本排版引擎,正是为解决这些痛… · 2026/11/4 7:43:37

智能驾驶中的变时域MPC超车控制技术解析
智能驾驶中的变时域MPC超车控制技术解析

1. 项目背景与核心价值在智能驾驶领域,超车场景一直被视为最具挑战性的控制问题之一。传统PID控制方法在面对动态变化的道路环境和不确定的周边车辆行为时,往往显得力不从心。而模型预测控制(MPC)凭借其滚动优化和反馈校正的特性&… · 2026/11/4 7:43:37

Visual Studio调试技巧与多语言开发实践
Visual Studio调试技巧与多语言开发实践

1. Visual Studio:程序员的多功能工具箱作为一名使用VS多年的开发者,我始终认为它是Windows平台上最强大的集成开发环境。VS不仅仅是一个代码编辑器,它更像是一个完整的开发套件,从代码编写、调试到发布部署,提供了一站… · 2026/11/4 7:42:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码