自然语言处理 pytorch版本

从今天开始翻译<Natural Language Processing with PyTorch> by Goku Mohandas, Brian McMahan, Delip Rao

自然语言处理（NLP）为人工智能中的一个有趣问题，是深度学习的应用程序的最新前沿。如果您是一名开发人员或研究人员，准备深入研究这个快速发展的人工智能领域，这本实用的书籍将向您展示如何使用PyTorch深度学习框架来实现最近发现的NLP技术。首先，您需要的是机器学习背景和使用Python编程的经验。

作者Delip Rao和Goku Mohandas为您提供了PyTorch的坚实基础，以及深度学习算法，用于构建涉及文本语义表示的应用程序。每章包括几个代码示例和插图

• 获得对NLP，深度学习和PyTorch介绍
• 了解传统的NLP方法，包括NLTK，SpaCy和gensim
• 探索嵌入：语言中单词的高质量表示
• 使用递归神经网络（RNN）学习语言序列中的表示
• 通过复杂的神经架构改进RNN结果，例如长期短期记忆（LSTM）和门控递归单位
• 探索读取一个序列并产生另一个序列的序列到序列模型（用于翻译）

1. 前言
2. 1.简介
   1. 监督学习范式
   2. 观察和目标编码
      1. 一热表示
      2. TF表示
      3. TF-IDF表示
      4. 目标编码
   3. 计算图
   4. PyTorch基础知识
      1. 安装PyTorch
      2. 创建张量
      3. 张量类型和尺寸
      4. 张量操作
      5. 索引，切片和连接
      6. 张量和计算图
      7. CUDA Tensors
   5. 演习
   6. 解决方案
   7. 摘要
   8. 参考
3. 2.传统NLP的快速浏览
   1. 语料库，代币和类型
   2. Unigrams，Bigrams，Trigrams，...，Ngrams
   3. Lemmas和Stems
   4. 对句子和文件进行分类
   5. 分类单词：POS标记
   6. 分类跨度：分块和命名实体识别
   7. 句子结构
   8. 词语感和语义学
   9. 摘要
   10. 参考
4. 3.神经网络的基础组件
   1. 感知器：最简单的神经网络
   2. 激活功能
      1. 乙状结肠
      2. 正切
      3. RELU
      4. SOFTMAX
   3. 损失函数
      1. 均方误差损失
      2. 分类交叉熵损失
      3. 二进制交叉熵
   4. 深入监督培训
      1. 构建玩具数据
      2. 将它放在一起：基于梯度的监督学习
      3. 辅助培训概念
      4. 正确衡量模型绩效：评估指标
      5. [正确测量模型性能：拆分数据集])
      6. 知道何时停止训练
      7. 寻找合适的超参数
      8. 正则
   5. 示例：餐厅评论的情绪分类
      1. Yelp评估数据集
      2. 了解PyTorch的数据集表示
      3. 词汇表，Vectorizer和DataLoader
      4. 感知器分类器
      5. 训练套路
      6. 评估，推理和检查
   6. 摘要
5. 4.自然语言处理的前馈网络
   1. 多层感知器
      1. 一个简单的例子：异或
      2. 在PyTorch中实现MLP
   2. 示例：使用多层感知器进行姓氏分类
      1. 姓氏数据集
      2. 词汇，Vectorizer和DataLoader
      3. 姓氏分类器模型
      4. 训练套路
      5. 模型评估与预测
      6. 规范MLP：权重正则化和结构正规化（或辍学）
   3. 卷积神经网络
      1. CNN超参数
      2. 在PyTorch中实现CNN
   4. 示例：使用CNN对姓氏进行分类
      1. SurnameDataset
      2. 词汇，Vectorizer和DataLoader
      3. 用卷积网络重新实现SurnameClassifier
      4. 训练套路
      5. 模型评估与预测
   5. CNN中的其他主题
      1. 汇集操作
      2. 批量标准化（BatchNorm）
      3. 网络中网络连接（1x1卷积）
      4. 剩余连接/残留块
   6. 摘要
   7. 参考
6. 5.嵌入单词和类型
   1. 为什么要学习嵌入？
      1. 嵌入效率
      2. 学习Word嵌入的方法
      3. 预训练词嵌入的实际应用
   2. 示例：学习连续的单词嵌入
      1. 弗兰肯斯坦数据集
      2. 词汇，Vectorizer和DataLoader
      3. CBOW分类器
      4. 训练常规
      5. 模型评估与预测
   3. 示例：使用预训练嵌入进行文档分类的转移学习
      1. AG新闻数据集
      2. 词汇，Vectorizer和DataLoader
      3. 新闻分类器
      4. 训练套路
      5. 模型评估与预测
      6. 评估测试数据集
   4. 摘要
   5. 参考
7. 6.自然语言处理的序列建模
   1. 回归神经网络简介
      1. 实施Elman RNN
   2. 示例：使用字符RNN对姓氏国籍进行分类
      1. 姓氏数据集
      2. 矢量化数据结构
      3. SurnameClassifier模型
      4. 培训例程和结果
   3. 摘要
8. 7.自然语言处理的中间序列建模
   1. 香草RNN（或Elman RNN）的问题
   2. 作为香草RNN挑战的解决方案
   3. 示例：用于生成姓氏的字符RNN
      1. SurnamesDataset
      2. 矢量化数据结构
      3. 从ElmanRNN到GRU
      4. 模型1：无条件姓氏生成模型
      5. 模型2：条件姓氏生成模型
      6. 培训常规和结果
   4. 训练序列模型的技巧和窍门
   5. 参考
9. 8.自然语言处理的高级序列建模
   1. 序列到序列模型，编码器 - 解码器模型和条件生成
   2. 从序列中捕获更多：双向递归模型
   3. 从序列中捕获更多：注意力
      1. 深度神经网络中的注意事项
   4. 评估序列生成模型
   5. 示例：神经机器翻译
      1. 机器翻译数据集
      2. NMT的矢量化管道
      3. NMT模型中的编码和解码
      4. 培训常规和结果
   6. 摘要
   7. 参考
10. 9.经典，前沿和后续步骤
11. 我们学到了什么？
12. NLP中的永恒主题
    1. 对话和互动系统
    2. 演讲
    3. 信息抽取与文本挖掘
    4. 文档分析和检索
13. NLP的前沿
14. 生产NLP系统的设计模式
15. 哪里下一个？
16. 参考