MNIST 机器学习入门之线性回归预测（一）

参考文献

1. 极客学院wiki：https://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html
2. TensorFlow优化器：https://blog.csdn.net/xierhacker/article/details/53174558
3. nump库randn()函数详解：https://blog.csdn.net/m0_38061927/article/details/75335069
4. tf.sess.run参数详解：https://blog.csdn.net/huahuazhu/article/details/76178681
5. 必读文献：《白话TensorFlow和机器学习》

TensorFlow流程

读完《白话TensorFlow和机器学习》三分之二，再来看极客学院的 “MNIST机器学习入门” 章节时，还是有点读天书的感觉。但是至少，对于机器学习的内在原理和流程有了初步的认识，我觉得这应该是半入门状态。

看完这些章节和文章，我感觉所谓的机器学习，只不过是在 “自动化寻找最优解” 。尤其是梯度下降优化算法，通过每次调整0.01的值来一步步逼近线性回归的最优解。

概括一下，机器学习的步骤就是：

1. 采集数据集

   这一步包括训练集、测试集和预测集。数据集这个是非常重要的，谷歌TensorFlow只是提供了一个优化方案，对于数据集的前期处理还是需要自己来弄。说得通俗一点，需要我们将数据转换成谷歌所要求的数据类型。

   比如：我们需要识别手写数字是多少，其实第一步就是通过一定的方式，将手写数字的图片转换成图像矩阵，这些矩阵才是数据集。如下图：

MNIST-Matrix.png

2. 线性回归 + 激励函数

   线性回归的目的是 “得到给定图片代表每个数字的概率”。

   你可以理解成，这一步就是通过所谓的线性回归方法+优化算法（梯度下降法）得出某个图片属于 0-9数字的概率。

   激励函数，如果得到的是一个概率值（该图片是0-9任意的一个数字的概率，就有10个概率值），为了更加准备得表达出这个数字是多少，就需要有一个激励函数，完全收敛到一个最大的具体的值。

3. 实现回归模型

   回归模型，本质上就是 y=wx+b，求w和b的值。当然TensorFlow里要复杂得多。

4. 训练模型+损失函数

   为了获得我们回归模型里的w和b，求得w和b的最可能值，这里需要训练模型，因此就会引入损失函数Loss，通过梯度下降法逐步逼近损失函数最小时，w和b值。

   不同的训练模型采用不同的损失函数。

5. 评估模型

   最后一步当然是看看我们的模型的准确率了。第4步已经求解除了我们要的训练模型。比如我们有5000张手写数字图片，最后评估一下，发现92%的图片是识别正确的。

6. over

需要补充的技能

如果需要在机器学习领域有一定成绩，至少入门，需要掌握以下基本知识：

1. python框架：Numpy
2. 一本书：《白话TensorFlow和机器学习》
3. 理解线性回归：https://blog.csdn.net/xierhacker/article/details/53257748
4. 使用TensorFlow的话，需要理解TensorFlow的API

TensorFlow线性回归实战

理解线性回归是读懂MNIST的第一步。本文主要写一个用TensorFlow训练的线性回归的案例。

1. 参考文献：https://blog.csdn.net/xierhacker/article/details/53174558

2. 需要解决的问题：

   自己给自己出一个问题

   对于以下 X，Y
   X：[0.23, 0.34, 0.67, 0.89, 0.90, 0.97]
   Y：[0.25, 0.33, 0.65, 0.80, 0.89, 0.99]
   它们的回归模型是怎样的？
   求它们的回归模型的曲线图。
   

3. 先跑一个Demo

   import tensorflow as tf
   import numpy as np
   import matplotlib.pyplot as plt
   
   # Prepare train data
   # linespace函数的作用是取 -1到1区间的随机数，取100个
   train_X = np.linspace(-1, 1, 100)
   # np.random.randn函数的作用是取0到1的正态分布的随机值
   # *train_X.shape shape是取矩阵的维度，前面的*号将tuple转成int值参数列表。train_Y是根据train_X生成随机数而已
   train_Y = 2 * train_X + np.random.randn(*train_X.shape) * 0.33 + 10
   
   # Define the model
   # tf.placeholder和tf.Variable是生成变量
   X = tf.placeholder("float")
   Y = tf.placeholder("float")
   w = tf.Variable(0.0, name="weight")
   b = tf.Variable(0.0, name="bias")
   # 损失函数采用(y-x*w-b)的平方
   loss = tf.square(Y - X*w - b)
   # GradientDescentOptimizer梯度下降法，每次下降0.01
   train_op = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
   
   # Create session to run
   with tf.Session() as sess:
       # 初始化tf
       sess.run(tf.initialize_all_variables())
   
       epoch = 1
       for i in range(10):
           # zip 函数根据两个list生成tuple组
           for (x, y) in zip(train_X, train_Y):
               # tf.sess.run()本文开头有专门的链接讲解
               _, w_value, b_value = sess.run([train_op, w, b],feed_dict={X: x,Y: y})
           print("Epoch: {}, w: {}, b: {}".format(epoch, w_value, b_value))
           epoch += 1
   
         
   #draw，画图而已，老铁
   plt.plot(train_X,train_Y,"+")
   plt.plot(train_X,train_X.dot(w_value)+b_value)
   plt.show()
   

   最后的效果当然是这样的：

   
   

4. 以上是通过TensorFlow来获取线性回归

   回到我们的问题，

   对于以下 X，Y
   X：[0.23, 0.34, 0.67, 0.89, 0.90, 0.97]
   Y：[0.25, 0.33, 0.65, 0.80, 0.89, 0.99]
   它们的回归模型是怎样的？
   求它们的回归模型的曲线图。
   
   应该很简单，不过是把train data改成我们设置的数据就好了
   # Prepare train data
   train_X = np.array([0.23, 0.34, 0.67, 0.89, 0.90, 0.97])
   train_Y = np.array([0.25, 0.33, 0.65, 0.80, 0.89, 0.99])
   

   回归效果是这样的：

   
   

5. over

下一步

下一步，将会对MNIST手写数字识别Demo详细讲解，并进一步梳理机器学习入门相关概念。