首页/新闻资讯/正文详情

《Machine Learning in Action》—— 浅谈线性回归的那些事

发布时间:2026/11/17 5:20:30 来源:云帆数科 栏目:资讯中心
《Machine Learning in Action》—— 浅谈线性回归的那些事
《Machine Learning in Action》—— 浅谈线性回归的那些事大家好我是你们的老朋友一个天天和代码、数据打交道的技术博主。今天我们来聊聊机器学习里的一个经典话题——线性回归。别看它名字里带个“线性”就觉得它简单到不值一提。实际上线性回归是机器学习入门的基石也是很多复杂算法比如逻辑回归、神经网络的“老祖宗”。《Machine Learning in Action》这本书相信很多搞ML的朋友都翻过。它讲线性回归的方式非常接地气不跟你整一堆晦涩的数学公式而是直接告诉你“线性回归就是找一条直线让所有数据点离这条直线尽可能近。”今天我就用这本书的精神带大家把线性回归的那些事掰扯清楚。## 什么是线性回归一个生活化的比喻想象一下你是一个房产中介。你手里有一堆房子的数据面积x和价格y。你想建立一个模型告诉客户“如果房子面积是100平米大概能卖多少钱”这时候线性回归就派上用场了。线性回归假设房价和面积之间的关系是线性的也就是一条直线y wx b其中-w是斜率权重表示面积每增加1平米价格涨多少。-b是截距表示面积为0时的价格虽然现实中不可能但数学上需要。我们的目标就是找到最合适的w和b让这条直线尽可能穿过所有数据点。怎么衡量“尽可能”呢答案是最小化误差。最常见的误差度量是均方误差MSE即所有点到直线的垂直距离的平方和。## 怎么求解 w 和 b两种江湖流派在《Machine Learning in Action》里作者介绍了两种主流的求解方法正规方程法和梯度下降法。我们来分别看看。### 1. 正规方程法一步到位但怕大数据正规方程法直接用数学公式求解一步到位。对于一个数据集我们把它写成矩阵形式X是特征矩阵每行一个样本第一列全是1用来对应截距by是目标值向量。那么最优的权重向量θ为θ (X^T X)^(-1) X^T y这个公式推导简单但有个致命缺点当特征数量很多比如上万时计算 (X^T X) 的逆矩阵非常慢甚至内存爆炸。所以它适合小数据大数据请用下一种。### 2. 梯度下降法慢慢走终会到梯度下降法是一种迭代优化算法。它的思想很简单从某个随机点出发沿着误差函数下降最快的方向梯度负方向迈出一小步然后重复直到误差足够小。步骤1. 初始化权重比如全0。2. 计算当前误差对每个权重的偏导数梯度。3. 更新权重w w - learning_rate * 梯度。4. 重复第2、3步直到收敛。学习率learning_rate是关键参数太大可能跳过最优解太小则收敛太慢。## 代码示例从零实现线性回归光说不练假把式。我们直接用Python实现一个简单的线性回归分别用正规方程和梯度下降来求解。代码里我加了详细注释方便你理解。### 示例1正规方程法pythonimport numpy as npimport matplotlib.pyplot as plt# 生成模拟数据y 2*x 3 噪声np.random.seed(42)X 2 * np.random.rand(100, 1) # 100个样本每个样本1个特征y 4 3 * X np.random.randn(100, 1) # 真实斜率3截距4加上高斯噪声# 正规方程求解# 在X前面加一列1用来对应截距项X_b np.c_[np.ones((100, 1)), X] # 形状 (100, 2)# 计算最优权重: theta (X^T X)^(-1) X^T ytheta_best np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)print(正规方程求解结果)print(截距 (b):, theta_best[0][0])print(斜率 (w):, theta_best[1][0])# 画出拟合直线X_new np.array([[0], [2]])X_new_b np.c_[np.ones((2, 1)), X_new]y_predict X_new_b.dot(theta_best)plt.scatter(X, y, alpha0.6, label数据点)plt.plot(X_new, y_predict, r-, linewidth2, label拟合直线)plt.xlabel(X)plt.ylabel(y)plt.legend()plt.title(正规方程法拟合结果)plt.show()运行这段代码你会看到一条红色的直线穿过数据点截距和斜率分别接近4和3——和我们的真实参数基本一致。正规方程法干净利落一步搞定。### 示例2梯度下降法pythonimport numpy as npimport matplotlib.pyplot as plt# 使用相同的数据np.random.seed(42)X 2 * np.random.rand(100, 1)y 4 3 * X np.random.randn(100, 1)# 添加偏置项截距X_b np.c_[np.ones((100, 1)), X]# 梯度下降参数learning_rate 0.1 # 学习率n_iterations 1000 # 迭代次数m len(X_b) # 样本数量# 随机初始化权重theta np.random.randn(2, 1)# 记录每次迭代的误差用于可视化cost_history []for iteration in range(n_iterations): # 计算预测值 y_pred X_b.dot(theta) # 计算梯度对所有样本的平均梯度 gradients (2/m) * X_b.T.dot(y_pred - y) # 更新权重 theta theta - learning_rate * gradients # 记录当前均方误差MSE cost (1/(2*m)) * np.sum((y_pred - y)**2) cost_history.append(cost)print(梯度下降求解结果)print(截距 (b):, theta[0][0])print(斜率 (w):, theta[1][0])# 画出误差下降曲线plt.plot(range(n_iterations), cost_history)plt.xlabel(迭代次数)plt.ylabel(均方误差 (MSE))plt.title(梯度下降误差下降曲线)plt.show()这段代码展示了梯度下降的迭代过程。你会看到误差曲线一开始下降很快然后逐渐平缓最终收敛到最小值。注意这里的学习率是0.1如果改成1.0可能会发散如果改成0.001则收敛极慢。调参是门艺术。## 线性回归的实战陷阱与技巧在实际应用中线性回归有几点需要注意### 1. 特征缩放如果特征取值范围差异很大比如一个特征0-1另一个0-10000梯度下降会非常慢甚至不收敛。解决方法标准化或归一化。### 2. 过拟合 vs 欠拟合线性回归容易欠拟合因为假设太简单但加入高阶特征如x^2后也可能过拟合。这时候可以用正则化如岭回归、Lasso来约束权重。### 3. 异常值敏感均方误差对异常值非常敏感因为平方放大了误差。如果数据有离群点可以考虑用绝对误差MAE代替MSE或者先做数据清洗。## 总结线性回归虽然简单但它是理解更复杂模型的基础。从《Machine Learning in Action》的角度来看它的核心思想就两句话1. 用一条直线拟合数据2. 用最小二乘法或梯度下降找到最优直线。今天我们用正规方程和梯度下降两种方法实现了线性回归并看到了它们的区别正规方程适合小数据一步到位梯度下降适合大数据需要调参。希望这些代码和讲解能帮你打通线性回归的“任督二脉”。下次遇到房价预测、销量分析这类问题别慌先试试线性回归说不定它就是你想要的“银弹”。如果你觉得这篇文章有帮助欢迎点赞、收藏、转发我们下期再见

相关推荐

魔兽争霸3终极优化指南:5个简单步骤解决Win10/Win11卡顿闪退问题
魔兽争霸3终极优化指南:5个简单步骤解决Win10/Win11卡顿闪退问题

魔兽争霸3终极优化指南:5个简单步骤解决Win10/Win11卡顿闪退问题 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper 还在为心爱的《魔兽争霸3… · 2026/7/30 18:38:17

应对大模型 API 服务突发中断的 Taotoken 容灾路由实践
应对大模型 API 服务突发中断的 Taotoken 容灾路由实践

应对大模型 API 服务突发中断的 Taotoken 容灾路由实践 在依赖大模型 API 的生产环境中,服务中断或响应延迟是不可忽视的风险。单一供应商的故障可能导致关键业务功能停滞。Taotoken 作为大模型聚合分发平台,其设计天然包含了对多模型服务的统一接入与管… · 2026/8/15 21:48:08

终极指南:5分钟实现STL到STEP格式转换,打通3D打印与CAD设计壁垒
终极指南:5分钟实现STL到STEP格式转换,打通3D打印与CAD设计壁垒

终极指南:5分钟实现STL到STEP格式转换,打通3D打印与CAD设计壁垒 【免费下载链接】stltostp Convert stl files to STEP brep files 项目地址: https://gitcode.com/gh_mirrors/st/stltostp 还在为3D打印模型无法在专业CAD软件中编辑而烦恼吗&… · 2026/9/25 9:29:51

塔吊工特种作业操作证怎么考?官方报名入口你必须知道
塔吊工特种作业操作证怎么考?官方报名入口你必须知道

塔吊工特种作业操作证怎么考?官方报名入口你必须知道 你现在手上拿着塔吊工特种作业操作证吗?没有的话,别想上工地干活。工地老板第一件事就是查证,没有证直接走人。塔吊工特种作业操作证不仅是你找工作的一张通行证,更是你未来在建筑行业发展的敲门砖。… · 2026/11/17 5:19:38

桐乡电工证怎么考,考前押题能帮你少走弯路
桐乡电工证怎么考,考前押题能帮你少走弯路

桐乡电工证怎么考,考前押题能帮你少走弯路 你是不是正为找不到工作发愁?特种作业证不拿在手里,很多岗位连门都进不去,尤其是电工证,可以说是很多建筑、装修、制造类工作的“通行证”。桐乡电工证怎么考?别急,听我给你道来, 考前押题… · 2026/11/17 5:19:38

西安电工证办证真实经历:别被中介坑,这是我走过的弯路
西安电工证办证真实经历:别被中介坑,这是我走过的弯路

西安电工证办证真实经历:别被中介坑,这是我走过的弯路 你是不是也这样,看到网上各种西安电工证办证广告,心里直打鼓,不知道去哪报名,怕被中介坑?我之前就是个周口房建工程的施工员,为了搞个电工证,跑了不少地方,踩了不少坑,差点花了冤枉钱还拿不到… · 2026/11/17 5:19:38

吴忠市低压电工证值不值得考?学历不高怕报不上名的你必须看完
吴忠市低压电工证值不值得考?学历不高怕报不上名的你必须看完

吴忠市低压电工证值不值得考?学历不高怕报不上名的你必须看完 你是不是也遇到过这样的情况:想做电工,但又怕自己学历不够、经验不足,根本报不了名?吴忠市低压电工证值不值得考?这可能是你最关心的问题。别急,下面我就从零开始,一步一步告诉你怎么报名… · 2026/11/17 5:19:38

井下电工作业的危害值不值得考?开封应届生别再被中介坑了
井下电工作业的危害值不值得考?开封应届生别再被中介坑了

井下电工作业的危害值不值得考?开封应届生别再被中介坑了 你是不是也在纠结要不要考井下电工作业证?担心报名流程复杂、怕被中介坑,又不确定这个证到底有没有用?作为在应急管理领域摸爬滚打多年的老手,今天我就从开封应届工程类毕业生的角度,给你讲讲井… · 2026/11/17 5:19:37

网上检电工证怎么办模拟考试题库
网上检电工证怎么办模拟考试题库

电工证网上怎么查?郑州报考避坑指南全攻略 你是不是正为找不到电工证而发愁?手上拿着一份电工证,却不知道网上怎么查真伪?在郑州找电工证报考渠道,又担心被坑?别急,这篇文章就是为你量身打造的,手把手教你【网上检电工证怎么办】,同时附上【郑州报考… · 2026/11/17 5:18:37

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码