导数

2024-10-04  本文已影响0人  天空_dst

title: 导数

指数

指数是指多个相同数据的乘积如：

y = x _ x _ x 可以表示为 y = x^3

对数

对数和指数为互逆预算

y=x^3 求 x 的 z 次方是 y： z=logx^y

常见的指数与对数：

  1. y=e^x (e 是一个数学上非常重要的常数 值为： 2.71828)
  2. y=log(x) 以 10 为底的对数
  3. y=ln(x) 以 e 为底的对数

微积分

导数

f(x)' = \lim_{{h \to 0}} \frac{{f(x + h) - f(x)}}{h}

导数在几何上可以表示曲线在某一点的斜率、在物理上可以用来描述物体的速度或者加速度。

常见的求导公式：

  1. 常数求导：\frac{d}{dx}c=0 、\frac{d}{dx}ax=a

  2. 冥函数导数：\frac{d}{dx}(x^n)=nx^{n-1}

  3. 指数求导：\frac{d}{dx}(a^x)=a^xln(a)、\frac{d}{dx}(e^x)=e^x

  4. 对数求导:\frac{d}{dx}(log_ax)=\frac{1}{xln(a)}、\frac{d}{dx}(ln(x)) = \frac{1}{x}

导数的运算公式：

如果一个函数 f(x)与 常数 C 相乘 那么他的导数也等于常数 与原来函数导数的乘积

\frac{d}{dx}(c \cdot f(x)) = c \cdot \frac{e}{dx}(f(x))

如果一个函数 f(x) 与 另外一个函数 g(x) 相加或者相减，那么他们的倒数也等于各自倒数的和或者差

  1. 相加：

\frac{d}{dx}(f(x) + g(x)) = \frac{d}{dx}(f(x)) + \frac{d}{dx}(g(x))



  1. 相减:

\frac{d}{dx}(f(x) - g(x)) = \frac{d}{dx}(f(x)) - \frac{d}{dx}(g(x))

\frac{d}{dx}(f(x) \cdot g(x)) = f(x) \cdot \frac{d}{dx}(g(x)) + g(x) \cdot \frac{d}{dx}(f(x))

如果一个函数由 2 个函数组成 f(x) = f(g(x)) 则：

\frac{dy}{dx} = \frac{df}{du} \cdot \frac{du}{dx}

如果一个函数的导数大于 0，则函数是单调递增的，如果函数的导数小于 0 则函数是单调递减的

偏导数

当一个函数有多个变量组成时 求某一个变量对于函数 f(x)的影响 可以把其他几个变量当做常数

如：

y=x^2 + z^2 + k^2

求 x 的偏导数 ∂f/∂x 把 z 和 k 看做是常数: y=x^2 + z + k(其中 z 和 k 为常数)

高阶导数

对一个导函数再次求导</br>

y=x^3

一阶导数为：

f(y)' = 2x^2

二阶导数为：

f(y)'' = 4x

导数的应用

梯度下降

梯度是一个矢量，在数学中常用来表示函数在某个点处的方向导数的最大值，它描述了在每个点的方向上函数值变化最快的方向以及变化的速度。

梯度下降是一种优化算法，作用是帮助我们找到到函数的最小值点。通过不断地沿着梯度负方向更新参数，逐渐接近函数的最小值点。

以预测打车费用为例：

y = wx + b 要求的 w 权重和 b 偏执的真实值

损失函数为均方误差

y = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2

y_i 为实际值

\hat{y}_i 为预测值

先求得 w 对 y 的偏导数

img

如何找到 B 点 找 B 点的过程即为让损失函数最小
一次对 w 和 b 求偏导数

∂f/∂w = \frac{2}{n} \sum_{i=1}^{n}(-x_i)(y_i - (wx_i + b))

∂f/∂b = \frac{2}{n} \sum_{i=1}{n}(-1)(y_i - (wx_i + b))

假定初始值 w = 1 b = 0

公里数 价格 预测价格 损失 ∂f/∂w ∂f/∂b
1 8 1 49 -14 - 7
2 10 2 64 -32 -16
3 12 3 81 -54 -27
4 14 4 100 -80 - 40
73.5 -45 -22.5

更新梯度

rate 为学习率

dw = w - rate * ∂f/∂w = 1- 4.5 = 5.5

db = w - rate * ∂f/∂b = 0- (-2.25) = 2.25

重复计算 最终得到的 w 和 b 会很接近真实值

本文由mdnice多平台发布

上一篇 下一篇

猜你喜欢

热点阅读