首页/新闻资讯/正文详情

最小二乘问题详解:目录

发布时间:2026/11/18 5:15:10 来源:云帆数科 栏目:资讯中心
最小二乘问题详解:目录
最小二乘问题详解目录1. 引言什么是最小二乘问题最小二乘问题是数学与工程领域中一种经典的优化方法其核心思想是通过最小化误差的平方和来寻找数据的最佳函数匹配。从高斯1809年首次用于天体轨道计算到今天机器学习中无处不在的损失函数最小二乘已成为数据拟合、参数估计和信号处理的基础工具。最小二乘问题的通用形式为[\min_{\mathbf{x}} | \mathbf{Ax} - \mathbf{b} |2^2]其中(\mathbf{A} \in \mathbb{R}^{m \times n}) 为数据矩阵(\mathbf{x} \in \mathbb{R}^n) 为待求参数(\mathbf{b} \in \mathbb{R}^m) 为观测值。当 (m n) 时超定系统不存在精确解因此我们寻找使残差平方和最小的解。## 2. 最小二乘的数学原理### 2.1 从几何角度理解最小二乘的几何意义是将向量 (\mathbf{b}) 投影到矩阵 (\mathbf{A}) 的列空间上。最优解 (\mathbf{x}^) 满足[\mathbf{A}^T \mathbf{A} \mathbf{x}^ \mathbf{A}^T \mathbf{b}]这就是著名的正规方程。当 (\mathbf{A}^T \mathbf{A}) 可逆时解为[\mathbf{x}^* (\mathbf{A}^T \mathbf{A})^{-1} \mathbf{A}^T \mathbf{b}]### 2.2 条件数与数值稳定性直接求解正规方程在条件数大时数值不稳定。(\mathbf{A}^T \mathbf{A}) 的条件数是原矩阵 (\mathbf{A}) 条件数的平方因此当 (\mathbf{A}) 病态时正规方程法会放大误差。更稳定的方法包括QR分解和奇异值分解SVD。## 3. 最小二乘的数值解法### 3.1 正规方程法直接法适用于小规模、良态问题。计算简单但数值稳定性差。### 3.2 QR分解法将 (\mathbf{A}) 分解为 (\mathbf{A} \mathbf{QR})其中 (\mathbf{Q}) 为正交矩阵(\mathbf{R}) 为上三角矩阵。则正规方程变为[\mathbf{Rx} \mathbf{Q}^T \mathbf{b}]通过回代即可求解。QR分解比正规方程更稳定复杂度为 (O(mn^2))。### 3.3 SVD分解法将 (\mathbf{A}) 分解为 (\mathbf{A} \mathbf{U} \mathbf{\Sigma} \mathbf{V}T)则解为[\mathbf{x}* \mathbf{V} \mathbf{\Sigma}^ \mathbf{U}^T \mathbf{b}]其中 (\mathbf{\Sigma}^) 是伪逆。SVD适用于严重病态或秩亏问题但计算开销最大。## 4. 代码示例多项式拟合与数值稳定性### 4.1 基础线性最小二乘拟合pythonimport numpy as npimport matplotlib.pyplot as plt# 生成带噪声的二次函数数据np.random.seed(42)x np.linspace(0, 10, 20)true_coeffs [2.5, -1.3, 0.8] # 真实参数: 2.5x^2 - 1.3x 0.8y_true np.polyval(true_coeffs, x)y_noisy y_true np.random.normal(0, 2, sizex.shape) # 添加高斯噪声# 构建设计矩阵 (多项式拟合最高次n2)A np.vstack([x**2, x, np.ones_like(x)]).T # 每一列对应一个基函数# 方法1: 正规方程求解ATA A.T AATb A.T y_noisyx_normal np.linalg.solve(ATA, ATb) # 解线性方程组# 方法2: 使用numpy内置的lstsq (基于SVD)x_lstsq, residuals, rank, s np.linalg.lstsq(A, y_noisy, rcondNone)# 打印结果对比print(真实参数: , true_coeffs)print(正规方程解: , x_normal)print(lstsq解 (SVD): , x_lstsq)# 绘制拟合曲线x_plot np.linspace(0, 10, 100)y_fit_normal np.polyval(x_normal, x_plot)y_fit_lstsq np.polyval(x_lstsq, x_plot)plt.scatter(x, y_noisy, labelNoisy data, colorgray)plt.plot(x_plot, np.polyval(true_coeffs, x_plot), k--, labelTrue curve)plt.plot(x_plot, y_fit_normal, r-, labelNormal eq fit)plt.plot(x_plot, y_fit_lstsq, g:, labelSVD fit)plt.legend()plt.xlabel(x)plt.ylabel(y)plt.title(Polynomial Fit Comparison)plt.show()输出说明该代码展示了两种方法对二次多项式的拟合结果。通常两者在良态时结果一致但在病态条件下例如高次多项式或数据点密集会显示出差异。### 4.2 病态问题的数值稳定性对比pythonimport numpy as npimport matplotlib.pyplot as plt# 构造病态问题接近重复的列np.random.seed(0)m, n 10, 5A np.random.randn(m, n)# 让第4列近似等于第2列造成病态A[:, 3] A[:, 1] 1e-8 * np.random.randn(m)b np.random.randn(m)# 方法1: 正规方程法try: x_normal np.linalg.solve(A.T A, A.T b) residual_normal np.linalg.norm(A x_normal - b) print(正规方程法残差:, residual_normal)except np.linalg.LinAlgError: print(正规方程法失败矩阵奇异)# 方法2: QR分解法Q, R np.linalg.qr(A)x_qr np.linalg.solve(R, Q.T b) # 注意R是上三角residual_qr np.linalg.norm(A x_qr - b)print(QR分解法残差:, residual_qr)# 方法3: SVD法U, s, Vt np.linalg.svd(A, full_matricesFalse)# 计算伪逆解s_inv np.diag(1.0 / s)x_svd Vt.T s_inv U.T bresidual_svd np.linalg.norm(A x_svd - b)print(SVD法残差:, residual_svd)# 比较解的稳定性print(\n解的范数:)print(正规方程解范数:, np.linalg.norm(x_normal) if x_normal in dir() else N/A)print(QR分解解范数:, np.linalg.norm(x_qr))print(SVD解范数:, np.linalg.norm(x_svd))输出分析当矩阵病态时正规方程的解可能严重偏离真实解解范数很大而QR和SVD方法能提供更稳定的结果。SVD通过截断小奇异值可以进一步提升稳定性。## 5. 最小二乘的扩展与应用### 5.1 加权最小二乘当观测值的噪声方差不同时引入权重矩阵 (\mathbf{W})[\min{\mathbf{x}} (\mathbf{Ax} - \mathbf{b})^T \mathbf{W} (\mathbf{Ax} - \mathbf{b})]解为(\mathbf{x}^* (\mathbf{A}^T \mathbf{W} \mathbf{A})^{-1} \mathbf{A}^T \mathbf{W} \mathbf{b})。这在异方差回归中非常有用。### 5.2 正则化最小二乘为解决过拟合添加L2正则项岭回归[\min_{\mathbf{x}} | \mathbf{Ax} - \mathbf{b} |_2^2 \lambda | \mathbf{x} |_22]解为(\mathbf{x}* (\mathbf{A}^T \mathbf{A} \lambda \mathbf{I})^{-1} \mathbf{A}^T \mathbf{b})。L1正则化则对应LASSO可产生稀疏解。### 5.3 非线性最小二乘对于非线性模型 (y f(x, \theta))使用高斯-牛顿法或Levenberg-Marquardt算法迭代求解。每次迭代将非线性函数线性化求解线性最小二乘子问题。## 6. 实战线性回归中的最小二乘在机器学习中线性回归的损失函数正是最小二乘形式pythonfrom sklearn.linear_model import LinearRegressionimport numpy as np# 生成数据X np.random.rand(100, 3) # 100个样本3个特征true_theta np.array([1.5, -2.0, 0.8])y X true_theta np.random.normal(0, 0.5, 100)# 使用sklearn的线性回归内部使用最小二乘model LinearRegression()model.fit(X, y)print(真实参数:, true_theta)print(估计参数:, model.coef_)print(截距项:, model.intercept_)## 7. 总结最小二乘问题不仅是数值线性代数的核心更是连接理论数学与工程应用的桥梁。从正规方程到QR分解再到SVD每一步都体现了对数值稳定性和计算效率的权衡。在实际应用中选择合适的方法取决于问题的规模、矩阵条件数以及对精度的要求。对于病态问题优先考虑QR或SVD对于大规模稀疏问题则可能需要迭代法如共轭梯度法。掌握最小二乘的原理与实现是深入理解现代数据科学和优化理论的关键一步。

相关推荐

springboot高考志愿填报系统
springboot高考志愿填报系统

一、关键词高考志愿填报系统、高考志愿填报、高考志愿填报信息管理、高考志愿填报后台管理二、作品包含源码数据库万字设计文档PPT全套环境和工具资源本地部署教程三、项目技术前端技术: Html、Css、Js、Vue3.2、Element-Plus后端技术:Java、SpringBoot3… · 2026/10/29 4:58:04

AI Agent技术演进与职场生产力提升实践
AI Agent技术演进与职场生产力提升实践

1. AI Agent技术演进全景 2026年的AI Agent已经完成了从"对话玩具"到"生产力工具"的质变。核心突破在于多模态理解、任务分解和工具调用三大能力的融合。现在的Agent不仅能理解你的文字指令,还能处理图片、语音甚至视频输入,像人类一… · 2026/10/28 13:55:30

Dify 1.15 人工介入功能详解:从工作流审核到对话转人工的实践指南
Dify 1.15 人工介入功能详解:从工作流审核到对话转人工的实践指南

1. 先搞清楚“人工介入”到底能解决什么实际问题 如果你在用 Dify 这类 AI 应用开发平台,最头疼的往往不是把流程跑通,而是当 AI 的回答不靠谱、不准确或者需要人工把关时,怎么把“人”这个环节平滑地加进去。Dify 1.15 版本里强调的“人工介入”功能,核心解决的就是这个问… · 2026/11/2 4:39:23

哈尔滨电工证啥样的实操考试考什么 郑州报考避坑指南
哈尔滨电工证啥样的实操考试考什么 郑州报考避坑指南

哈尔滨电工证啥样的实操考试考什么 郑州报考避坑指南 你是不是也遇到过这样的问题: 不知道去哪报名怕被中介坑 ?特别是在哈尔滨这样的城市,电工证报考流程复杂、报名渠道多,稍不注意就容易被坑,不仅浪费钱,还耽误了工作安排。今天我们就来聊聊… · 2026/11/18 5:14:37

宝坻区电工证报考值不值得考?工地太忙根本没时间复习考试
宝坻区电工证报考值不值得考?工地太忙根本没时间复习考试

宝坻区电工证报考值不值得考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线工人的真实写照。尤其是像电工这样的特种作业岗位,不仅责任重,还关系到人身安全,必须持证上岗。但问题是, 宝坻区电工证报考值不值得考… · 2026/11/18 5:14:37

吊装作业电工证怎么考值不值得考?学历不高也能上手的干货来了
吊装作业电工证怎么考值不值得考?学历不高也能上手的干货来了

吊装作业电工证怎么考值不值得考?学历不高也能上手的干货来了 你是不是也这样想:自己学历不高,怕报名吊装作业电工证考不上,白白浪费时间还搭钱?其实不然,很多人和你一样,学历不占优势,但通过正规渠道报考,照样能拿到证书,甚至因此改变职业轨迹。… · 2026/11/18 5:14:37

亳州电工证年审在哪里 电工证年审流程全解析 附官方报名入口
亳州电工证年审在哪里 电工证年审流程全解析 附官方报名入口

亳州电工证年审在哪里 电工证年审流程全解析 附官方报名入口 工地太忙根本没时间复习考试,这话说得一点不假。我认识的张师傅,是驻马店一家公路工程公司的电工,去年刚做完一次高压线路检修,结果年审忘了,被公司扣了三个月绩效,还被安监部门约谈了一次… · 2026/11/18 5:14:37

济南市电工证办理多久拿证?别被中介坑了,这些细节你必须知道
济南市电工证办理多久拿证?别被中介坑了,这些细节你必须知道

济南市电工证办理多久拿证?别被中介坑了,这些细节你必须知道 你是不是也在找济南市电工证办理的地方,结果发现网上一堆信息,真假难辨?怕被中介坑,又不知道多久拿证?别急,我来告诉你怎么避坑,怎么选对机构,还有多久拿证的详细时间线,让你少走弯路,… · 2026/11/18 5:14:37

凌源什么时候考电工证保姆级教程:别被中介坑了,这样报名最靠谱
凌源什么时候考电工证保姆级教程:别被中介坑了,这样报名最靠谱

凌源什么时候考电工证保姆级教程:别被中介坑了,这样报名最靠谱 你是不是也在纠结, 凌源什么时候考电工证 ?是不是总听说要找机构报名,又怕被坑?别急,这篇文章就带你搞清楚,从报名到取证, 保姆级教程… · 2026/11/18 5:13:36

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37

许昌电工证在哪复审 别踩坑怕考不过白交培训费
许昌电工证在哪复审 别踩坑怕考不过白交培训费

许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码