【人工智能基础】线性模型

文章目录一. 线性回归1. 基本形式2. 线性回归二. 优化方法梯度下降法1. 梯度下降法的直观意义2. 随机梯度下降法三. 分类问题1. 二分类逻辑回归-sigmoid函数2. 多分类问题--softmax函数四. 岭回归与套索回归1. 基础概念1.1. 什么是正则化1.2. 范数的概念3. 正则化的类型L1(套索)、L2岭4. L1、L2的应用岭回归应用例子套索回归应用例子5. 普通线性回归、岭回归、套索回归之间的区别五. 支持向量机SVM1. 完美可分情况SVM概念超平面划分数据的低一维子空间支持向量确定最优超平面重要结论2. 不完美可分的情况-核技巧核函数定义核函数类型在支持向量机中的应用一. 线性回归1. 基本形式线性模型线性模型形式简单、易于建模而且很多更强大的非线性模型都是在线性模型的基础上通过引入层级结构比如多层感知机模型或者高维映射如非线性支持向量机得到的因此线性模型是很多模型学习的基础。回归任务举例以回归任务为例在给定n个属性描述的示例x ( x 1 , ⋯ ⋯ x ( x _ { 1 } , \cdots \cdotsx(x1​,⋯⋯, x _ { n } )其中的x i x _ { i }xi​是x在第i个属性上的取值线性模型是最简单的试图通过建立一个属性的线性组来预测的函数可以表示为f ( x ) ω 1 x 1 ω 2 x 2 ⋯ ω n x n b f ( x ) \omega _ { 1 } x _ { 1 } \omega _ { 2 } x _ { 2 } \cdots \omega _ { n } x _ { n } bf(x)ω1​x1​ω2​x2​⋯ωn​xn​b更一般化的向量形式可表示为f ( x ) ω T x b f ( x ) \omega ^ { T } x bf(x)ωTxb其中ω ( ω 1 , ⋯ ⋯ , ω n ) \omega ( \omega _ { 1 } , \cdots \cdots , \omega _ { n } )ω(ω1​,⋯⋯,ωn​)ω和b通过学习得到之后模型也就确定了。2. 线性回归线性回归Linear Regression用于建立一个或多个自变量解释变量与因变量响应变量之间的线性关系模型。线性回归分析的目标是确定自变量对于因变量的影响程度并用这种关系来预测未来事件。我们试图找到一个决策边界f ( x i ) ω T x i b 使得 f ( x i ) 无限接近 y i f ( x _ { i } ) \omega ^ { T } x _ { i } b使得f ( x _ { i } )无限接近y _ { i }f(xi​)ωTxi​b使得f(xi​)无限接近yi​我们常常采用均方误差的方法来作为回归任务最常用的度量方法。二. 优化方法梯度下降法作用寻找最优解在机器学习模型训练中它的主要作用是寻找损失函数的最小值。损失函数衡量了模型预测结果与真实结果之间的差异通过不断调整模型参数来最小化损失函数从而得到最优的模型参数使模型能够更好地拟合数据。算法具体描述关键词梯度的反方向、学习率、学习率的调整以免错过最优解算法基本思想: 迭代更新以到达算法收敛导数0达到迭代次数。求最小损失使用梯度下降法寻找L的最小解特征在线性回归问题中称输入的不同维度为特征。有些特征比较重要有些不重要。1. 梯度下降法的直观意义梯度下降法Gradient Descent用于寻找函数的最小值。在机器学习中常用于最小化损失函数如均方误差、交叉熵等进而找到最佳的模型参数。这段距离的长度与L的具体大小有关L越大说明函数导数变换速度越快那么距离越短L越小则说明变化速度缓慢距离越长。L越小说明变化速度越慢距离越长。因此L的大小控制了梯度下降法可以前进的距离。2. 随机梯度下降法小批和整批小批过小会产生比较大噪声不容易收敛但收敛速度快。收敛速度慢但计算快。三. 分类问题1. 二分类逻辑回归-sigmoid函数线性模型处理分类问题可以通过构造对数几率函数也就是我们通常说的逻辑回归另外还可以采用线性判别分析LDA的方法来处理二分类问题。逻辑回归Logistic Regression是一种广泛使用的统计方法用于处理二分类问题即因变量是分类的并且类别只有两个如是否成功失败通过未通过等。注意尽管它的名字中有“回归”二字但它实际上是一个分类算法。逻辑回归将二分类问题变为两个维度的概率分布 f ( x ) , 1 − f ( x ) f(x),1-f(x)f(x),1−f(x)使用Sigmoid函数保证输出是一个[ 0 , 1 ] [0,1][0,1]之间的数将Sigmoid函数与线性函数结合得到一个概率这样便能使用梯度下降法注意使用复合函数的链式求导。2. 多分类问题–softmax函数函数定义Softmax 在多分类中的作用概率解释- Softmax函数输出的向量(p)中的每个元素p j p_jpj​可以被解释为样本属于第(j)个类别的概率。例如在一个五分类问题中如果经过Softmax函数后得到的概率向量为( 0.1 , 0.2 , 0.3 , 0.2 , 0.2 ) (0.1,0.2,0.3,0.2,0.2)(0.1,0.2,0.3,0.2,0.2)那么可以理解为这个样本属于第三个类别的概率是(0.3)其他类别的概率依此类推。分类决策根据概率进行分类。通常我们会将样本分类到概率最高的那个类别。在上述例子中样本会被分类到第三个类别。与损失函数结合在训练模型时常常会和损失函数如交叉熵损失函数结合使用。Softmax的性质和优势单调性Softmax函数是单调递增的。这意味着输入向量中某个元素的增加会导致对应的输出概率增加这种性质符合我们对概率分配的直观理解。输出归一化它能够将任意实数向量转换为合法的概率分布使得输出结果易于解释和用于分类决策。梯度计算方便在使用梯度下降等优化算法训练模型时Softmax函数的梯度计算相对简单有利于模型的高效训练。将向量转换为概率分布所有数为非负并且相加1使用交叉熵作为分类问题的损失函数熵的概念见p81公式熵越大代表确定性越大。交叉熵的概念y和p相等时四. 岭回归与套索回归1. 基础概念1.1. 什么是正则化“正则”Regularization是一种用于控制模型复杂度为了保证泛化性能防止过拟合的技术手段。正则化通过在模型的目标函数如损失函数中添加一个惩罚项来实现对模型复杂度的约束。这个惩罚项一般是模型复杂度的单调递增函数模型越复杂正则化越大。形象的比喻其他注意点过拟合是指模型过度学习了训练数据中的噪声和细节以至于在新的数据上泛化能力很差。正则化可以用于回归问题和分类问题。1.2. 范数的概念常见的向量范数类型矩阵范数ing3. 正则化的类型L1(套索)、L2岭L1是通过稀疏参数减少参数的数量来降低复杂度L2是通过减小参数值的大小来降低复杂度。4. L1、L2的应用岭回归应用例子应用领域具体应用情况金融领域分析影响股票价格的诸多因素如公司财务指标、宏观经济数据、行业指数等间的共线性问题运用岭回归构建模型预测股票价格走势助力投资决策。推荐系统针对用户特征、产品特征及交互特征等存在的共线性情况通过岭回归模型预估用户对商品喜好程度实现精准个性化推荐。医学影像处理处理医学影像像脑部MRI影像的纹理、形状等特征分析时面临的高维复杂数据借助岭回归优化相关算法辅助医生更精准诊断疾病。套索回归应用例子应用领域具体应用情况医学研究从众多与疾病相关的指标例如心血管疾病涉及的年龄、性别、血压等里利用套索回归的L1正则化筛选关键因素构建疾病预测模型辅助防治。基因组学面对海量基因表达数据使用套索回归筛选出和特定生物表型比如癌症的亚型、预后相关有关的关键基因服务癌症精准医疗。经济学在众多宏观经济变量如货币供应量、经济增长率、失业率等中依靠套索回归挑选对通货膨胀等经济现象起关键作用的变量构建预测模型辅助政策制定。5. 普通线性回归、岭回归、套索回归之间的区别普通线性回归简单直接计算效率高。容易受到多重共线性和过拟合的影响。当自变量之间高度相关或者自变量过多时模型的稳定性和泛化能力会变差。岭回归能有效处理多重共线性问题通过缩小系数来降低模型方差。不会将系数压缩为 0所以模型包含所有自变量没有特征选择功能。套索回归可以进行特征选择将不重要的自变量系数收缩为 0使模型更加简洁。由于 L1 正则化的性质在某些情况下可能会导致模型估计不够稳定但在特征选择方面有独特优势。五. 支持向量机SVM1. 完美可分情况SVM概念支持向量机是一种监督式学习的分类算法它的主要目标是在特征空间中找到一个最优的超平面将不同类别的数据点尽可能清晰地分开。这个超平面被定义为使得两类数据点到它的距离最大化的平面。超平面划分数据的低一维子空间内容描述定义在高维空间中是维度比所在空间少一的子空间。二维是直线、三维是平面、n维是n - 1维子空间。可用w 1 x 1 w 2 x 2 ⋯ w n x n b 0 w_1x_1 w_2x_2\cdotsw_nx_n b 0w1​x1​w2​x2​⋯wn​xn​b0表示(w)为法向量且垂直于超平面性质法向量决定方向根据点代入方程后的正负判断其位于超平面哪一侧。点(x_0)到超平面的距离为d ∣ w ⋅ x 0 b ∣ ∣ w ∣ d\frac{\vert w\cdot x_0 b\vert}{|w|}d∣w∣∣w⋅x0​b∣​应用在机器学习分类如SVM中作决策边界划分类别用于数据降维和投影将高维数据投影到低维超平面上支持向量确定最优超平面定义在支持向量机SVM用于二分类问题时支持向量是位于距离划分超平面最近的那些样本点。这些点对于确定超平面的位置和方向起着关键作用。在最大间隔超平面中的角色当数据线性可分SVM 的目标是找到一个最大间隔超平面将两类数据分开。此时有两条平行于最大间隔超平面的边界超平面支持向量就位于这两条边界超平面上。如下图在一个简单的二维平面上两类数据点被一条直线超平面划分开而位于直线两侧最靠近直线且能决定直线位置的点就是支持向量。重要结论二分类问题可以使用线性函数作为分类器训练完成后的模型与大部分样本点无关只与支持向量相关。所以删除不是支持向量的样本点不会对模型产生影响。2. 不完美可分的情况-核技巧数据集无法完美的分隔开引入松弛变量将之前的做错进行软化将函数间隔加上松弛变量。惩罚系数核函数定义通过一个核函数Kernel Function将原始数据隐式地映射到一个高维特征空间使得在原始空间中线性不可分的数据在高维空间中可能变得线性可分同时避免了在高维空间中直接进行复杂的计算。核函数类型在支持向量机中的应用核函数核方法将点投影到高维空间就可能用一个线性平面将这些点分开。