十五、三个公式搭建最简单的AI框架
什么是AI?AI的本质就是从大数据中学习。

举个例题
我们可以用excel表进行散点拟合,也可以使用之前的梯度下降法来计算。

人工智能就是根据输入的数据建立一个效果最好的模型

人工智能建立模型的步骤

本题做了一个假设,那就是父子之间身高关系是线性的,影响的参数是k和b,那么这道题的omega就是k和b组成的向量。当然在别的模型里,它也可以是个标量

人工智能的目标

这里只有w是未知的,我们就是要求L(w)的最小值,这就是个求极值的问题

构建AI模型的三步

三个步骤的调整
不管每一步采用什么方法,这三个步骤是不会变的。
现在让我们从AI的角度重新回顾一下线性回归模型:

截屏2023-11-21 12.40.02.png

截屏2023-11-21 12.41.17.png

截屏2023-11-21 12.42.47.png

第三部这里我们使用求导法
在此,我们可以理解为,线性回归就是一种最简单的人工智能模型。

小结

作业
十六、逻辑回归,通过计算机做出二值化决策

逻辑回归模型是AI中最基础的模型
逻辑回归模型常用于用户的信贷模型、几率识别等等。

逻辑回归是一种分类模型,可以解决分类问题

预测胎儿性别,预测足球比赛结果等问题都是分类问题

根据归属类别的数量,分类问题可以分为二分类问题和多分类问题
多分类问题可以转化为多个二分类问题,因此二分类问题是基础。

逻辑回归的建模流程

第一步,我们使用的输出关系函数为sigmoid函数

使用sigmoid函数通过x得出预测值y的流程图

sigmoid函数简介

sigmoid函数的一阶导数

第二步,写出逻辑回归的损失函数

截屏2023-11-27 12.40.50.png

将上面两个式子用一个式子表示

截屏2023-11-27 20.22.56.png

第三步,估计出参数的值
所以以上第二、三步的本质就是对损失函数求解极大值。

我们使用梯度下降法来求极值,先计算出模型函数关于W的导数

再来计算损失函数的导数
然后使用梯度下降法来计算。
值得注意的是,这个函数式在使用传统的梯度下降法来计算时,会产生大量的求和计算,非常消耗资源。
为了解决这个问题,我们改进为随机梯度下降法。

使用随机梯度下降法
接下来我们实现代码。
现有以下两个数据集:

第一个数据集

第二个数据集
代码如下:

截屏2023-11-27 21.43.03.png

截屏2023-11-27 21.49.50.png

对数据集1的第四个特征预测结果

对数据集2的第四个特征的预测结果
我们发现对第2个数据集的预测结果马马虎虎,首先是第一个样本的第四特征预测错误,其次计算出来的预测值都在0.5附近,不够明显。为什么不通同的两个数据集会出现如此差异呢?
原因就是这个模型是个线性模型。

如图所示的直线,无论怎么平移,都无法将黄色和蓝色完全分割开来
线性回归和逻辑回归有什么区别呢?

从名字上比较
线性归回是一个回归模型,它是要用一条线尽可能地将所有样本点串起来。
而逻辑回归虽然有回归两个字,但它不是回归模型,而是分类模型,是要用一条线尽可能的把几个样本点给分开。

从表达式上比较

从数学函数式的机理来看

总结:逻辑回归里的三个重要的表达式

课后作业
十七、决策树模型——如何对NP难问题进行启发式求解

决策树模型可以做什么

决策树模型的结构和特点

使用决策树预测的简单例子

什么是NP难问题

NP难问题举例

解决NP难问题的思路

如何解决NP难问题
ID3和C4.5都是使用启发式算法。

我们以ID3算法为例探讨一下决策树如何建模

ID3决策树建模步骤

ID3决策树的两个递归终止条件

例题1:根据图中数据集建立ID3决策树

第一步

第二步计算第一个变量的信息增益

第二步计算第二、三个变量的信息增益

第三步变量分裂

截屏2023-12-11 20.28.33.png

截屏2023-12-11 20.29.12.png

最终采用如图所示的决策树

截屏2023-12-11 20.32.30.png

例题2:根据图中数据集建立ID3决策树

第一步,计算信息熵

第二步,计算三个特征的信息增益

第三步,本题只好随机选择特征进行建模

截屏2023-12-11 20.42.08.png

截屏2023-12-11 20.42.46.png
对于像ID3这种成型的算法而言,已经有了很多被封装好的工具包,比如sklearn,可以直接调用。

ID3这类决策树模型建模代码的伪代码
这类代码的结构一定是递归结构。

决策树模型的优势

决策树模型的不足

决策树和深度学习相比,是一种浅层模型

课后作业