这个专栏主要是用来分享一下我在 机器学习中的 学习笔记及一些 感悟也希望对你的学习有帮助哦感兴趣的小伙伴欢迎 私信或者 评论区留言这一篇就更新一下《 白话机器学习中的数学——逻辑回归》

1. • 什么是逻辑回归算法

逻辑回归 (Logistic Regression)是一种 基于概率的模式识别算法,虽然名字中带"回归",但实际上是一种分类方法,在实际应用中,逻辑回归可以说是应用最广泛的机器学习算法之一。

2. • 案例分析

我们还是用刚才按横向和纵向对图像进行分类的例子接下来要讲的算法与感知机的方法不一样所以先考虑线性可分的问题比较好这样有助于我们掌握基础知识。接下来要讲的算法与感知机的不同之处在于它是把分类作为概率来考虑的。这里设横向的值为 1、纵向的值为 0。

2.1sigmoid 函数

你还记得在学习回归时定义过这样一个带参数的函数吗

这是通过最速下降法或随机梯度下降法来学习参数 θ的表达式。使用这个 θ 能够求出对未知数据 x 的输出值。这里的思路是一样的。我们需要能够将未知数据分类为某个类别的函数 fθ(x)。这是和感知机的判别函数 fw(x)作用相同的东西使用与回归时同样的参数 θ函数的形式就是这样的。

exp 的全称是 exponential即指数函数。exp(x) 与 ex 含义相同只是写法不同。e 是自然常数具体的值为 2.7182 . . .。也就是说 exp(−θTx) 可以换成 e−θTx 这样的写法。指数部分如果过于复杂上标的字号太小会很难看清所以这时候使用 exp 写法的情况比较多。

这个函数的名字叫 sigmoid 函数设 θTx 为横轴fθ(x)为纵轴那么它的图形是这样的。

θTx = 0 时 fθ(x) = 0.5以及 0 < fθ(x) < 1 是 sigmoid 函数的两个特征。首先刚才说到我们要用概率来考虑分类。因为 sigmoid 函数的取值范围是 0 < fθ(x) < 1所以它可以作为概率来使用。

2.2决策边界

刚才说到把表达式 的 fθ(x)当作概率来使用那么接下来我们就把未知数据 x 是横向图像的概率作为 fθ(x)。其表达式是这样的

P 中的竖线是条件概率这是在给出 x 数据时 y = 1即图像为横向的概率。fθ(x) = 0.7 的意思是图像为横向的概率是 70% 。一般来说这样就可以把 x 分类为横向了fθ(x) = 0.2 是说横向的概率为 20%、纵向的概率为 80%这种状态可以分类为纵向我们是以 0.5 为阈值然后把 fθ(x) 的结果与它相比较从而分类横向或纵向的

之前我们所谈及的sigmoid函数中也出现了0.5在 θTx = 0 时fθ(x) = 0.5

从图中可以看出在 fθ(x) ⩾ 0.5 时θTx ⩾ 0反过来在 fθ(x) < 0.5 时θTx < 0。

所以我们可以把上面表达式改写为这种形式

下面我们像学习感知机时那样设横轴为图像的宽x1、纵轴为图像的高x2并且画出图来考虑。然后像学习回归时那样先随便确定 θ 再具体地去考虑。比如当 θ 是这样的向量时我们来画一下 θTx ⩾ 0 的图像。

这个不等式表示的范围也就是图像被分类为横向的范围了。

那分类为纵向的范围就在另一侧

也就是说我们将 θTx = 0 这条直线作为边界线就可以把这条线两侧的数据分类为横向和纵向了。这样用于数据分类的直线称为决策边界。实际应用时这个决策边界似乎不能正确地分类图像

为了求得正确的参数 θ 而定义目标函数进行微分然后求参数的更新表达式。这种算法就称为逻辑回归