资源 | 多伦多大学“神经网络与机器学习导论”2017年课程表

翻译 | AI科技大本营（rgznai100）

Hinton大神独步天下的人工智能课程——多伦多大学“神经网络与机器学习导论”，2017年课程表上线了。

你可能没学过这门课，但了解机器学习的你一定有听过这门课的大名。今年冬季学期，这门课将交由多伦多大学助理教授Roger Grosse主讲。

如果你还不知道这位教授，请一定要了解一下他在Google Brain实习的本科学生Aidan Gomez，AI100对此做过专门报道：牛！他本科没毕业就进入Google Brain，还发表了最火的深度学习顶级论文... 你呢？

闲话少说，我们直接来看 CSC321 "Intro to Neural Networks and Machine Learning" 的课程表：

http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/

第1课：导论

什么是机器学习，什么是神经网络，它们能够做什么？

监督式学习、非监督式学习、以及强化学习呢？

本课程的组织安排。

第2课：线性回归

线性回归，一种监督式学习模型，通过它你可以预测得到一个目标值。

以最优化问题的形式呈现它，并且通过直接求解方程或者梯度下降算法进行求解。

向量。特征映射和多项式回归。泛化：过拟合、欠拟合、验证。

第3课：线性分类

二元线性分类。线性分类器可视化。感知器算法。线性分类器的局限性。

第4课：分类器学习

二元分类器损失函数比较。

交叉熵损失、Logistic激活函数、Logistic回归。

Hinge 损失。多向分类。凸损失函数。梯度检验。

第5课：多层感知机

多层感知机。激活函数比较。

把深度神经网络视为函数和特征学习。

线性神经网络的局限性和非线性网络的普适性。

第6课：反向传播算法

反向传播算法，一种用于计算梯度的方式，在整个课程中我们都会用到它。

第7课：优化

如何使用反向传播算法得到的梯度。

损失函数特征：局部最优解，鞍点，平顶，低谷。

随机梯度下降算法和momentum算法。

第8课：自动微分法

由助理教授David Duvenaud授课

第9课：泛化

偏差/方差分解，数据增强，限制模型复杂度，提起结束，权重衰减，集成算法，随机正则化，超参数优化。

第10课：分布式表征

语言模型，n-gram模型，神经网络语言模型（一种分布式表征），skip-grams （另一种分布式表征）

第11课：卷积神经网络

卷积操作。卷积层和池化层。等变异数和不变性。

卷积神经网络的反向传播算法规则。

第12课：图像分类

卷积神经网络架构在手写数字和物体分类方面的应用。

卷积神经网络大小的测量。

第13课：玩转卷积网络

卷积神经网络可视化：导向型反向传播算法，输入数据梯度下降。

Deep Dream。神经网络风格迁移。

第14课：递归神经网络

递归神经网络。时间轴上的反向传播。

递归神经网络在语言模型和机器翻译中的应用。

第15课：梯度爆炸和消失

为什么递归神经网络梯度会爆炸或者消失，从两个角度进行分析：第一，反向传播机制；第二，递归神经网络计算的函数。

对应的措施：梯度裁剪、输入反转、LSTM

第16课：ResNet与Attention

深度残差网络。

基于Attention模型在机器翻译和字幕生成方面的应用。

神经网络图灵机。

第17课：学习概率模型

最大似然估计。贝叶斯参数估计基础和最大化后验估计。

第18课：混合模型

K-means。混合模型：后验推断和参数学习

第19课：玻尔兹曼机

玻尔兹曼机：定义；边缘和条件概率；参数学习。受限玻尔兹曼机。

第20课：自编码机

主成分分析；自编码机；逐层训练；将自编码机应用于文件和图像的获取

第21课：贝叶斯超参数优化

贝叶斯线性回归；贝叶斯优化

第22课：对抗学习

对抗学习案例；生成式对抗网络（GANs）

第23课：围棋

“AlphaGo人机对战”

怎么样，看到最后一节AlphaGo有没有眼前一亮的感觉？这就是紧跟技术发展的国外课程，跟国内不一样的地方。

当然，如果你还是怀念Hinton大神的亲自讲授，你总是可以找到他的Coursera页面：https://www.coursera.org/learn/neural-networks