Notice:

实验室新闻

Home > News > 实验室新闻 > 小知识:机器学习之梯度下降法

小知识:机器学习之梯度下降法

date:2020-04-24 source: times: 325

梯度下降迭代法的一种,可以用于求解最小二乘问题(在求解损失函数最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。

一、梯度下降法的基本思想

假设:一个人被困在山上,需要从山上下来。但此时山上的浓雾很大,导致可视度很低。因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮助自己下山。具体来说就是,以他当前的所处的位置为基准,寻找这个位置最陡峭的地方,然后朝着山的高度下降的地方走。

1.jpg

梯度下降的基本过程就和下山的场景很类似。

首先,我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值,也就是山底。根据之前的场景假设,最快的下山的方式就是找到当前位置最陡峭的方向,然后沿着此方向向下走,对应到函数中,就是找到给定点的梯度 ,然后朝着梯度相反的方向,就能让函数值下降的最快!因为梯度的方向就是函数之变化最快的方向。所以,我们重复利用这个方法,反复求取梯度,最后就能到达局部的最小值。

为什么梯度方向是函数变化最快的方向

梯度实际上就是多变量微分的一般化。

1.jpg

可以看到,梯度就是分别对每个变量进行微分,然后用逗号分割开,梯度是用<>包括起来,说明梯度其实一个向量。

在单变量的函数中,梯度其实就是函数的微分,代表着函数在某个给定点的切线的斜率

在多变量函数中,梯度是一个向量,向量有方向,梯度的方向就指出了函数在给定点的上升最快的方向。

二、梯度下降法的数学思想

2.jpg

三、多变量函数的梯度下降

1.jpg

1.jpg

1.jpg



last article:This is the first article!

next article:地铁隧道是怎么挖出来的?

在线留言

(2小时内获得回复)