本文是收费课程 https://time.geekbang.org/course/detail/100633001-723519 的学习笔记。

定义及历史

• perceptron，模拟神经元的感知器，单层感知器有局限性，解决不了异或问题。
• multilayer backprop，多层神经网络反向传播算法。
  • 《通过反向传播误差进行表示学习》
• CNN 卷积神经网络，图形识别的代表性网络
• LSTMs 增强版的循环神经网络，（RNN 是增强神经网络），LSTMs 在 RNN 中引入了门控机制，解决了 RNN 中的梯度消失和梯度爆炸的问题。能捕捉长距离的依赖关系，能有记忆的功能。读文章的时候，前面的内容不容易遗忘。LSTM 是 Transformer 出现之前，文本任务， NLP 处理的最强模型。
• 2010 以后深度神经网络爆发，深度神经网络是含有多个隐藏层的神经网络。GPU 的出现加速了深度学习的研究和应用。
• AlexNet 在图形分类中取得了突破性的结果
• GAN 生成性对抗网络，一个生成器，一个判别器。两者相互促进。生成的图片越来越真实，判别的越来越准确。
• 2016 年，AlphaGo，AlphaZero。
• 2017 年底，2018 年初，Transformer 横空出世。一个编码器，一个解码器，引入了自注意力(self attention) 的机制。GPT， BERT 都是 Transformer 架构支持的。
• Diffusion Models，扩散模型，是一种生成模型。可以生成图像、文本、音乐这些数据。并非一次生成图像，而是先生成草图，然后逐步添加细节。最终生成高质量，高分辨率的数据。已经广泛的引用于图像生成，图像编辑和恢复等领域。

这是一个单一模态到多模态的时代。从感知类 AI 到认知类 AI 的时代。