NLP resources

资料：
书单 | NLP秘笈，从入门到进阶
斯坦福CS224d课程整理 Natural Language Processing with Deep Learning

Word2vec Tutorial
http://www.52nlp.cn/tag/nlp%E4%B9%A6%E7%B1%8D
gensim 官方教程

word2vec 原理入门
https://blog.csdn.net/u010899985/article/details/81510261
https://blog.csdn.net/u010899985/article/details/79693222
https://www.tensorflow.org/tutorials/representation/word2vec?hl=zh-cn
秒懂词向量Word2vec的本质
https://zhuanlan.zhihu.com/p/26306795

gensim word2vec 使用教程
Word2vec Tutorial
https://github.com/RaRe-Technologies/gensim/blob/develop/tutorials.md#tutorials

Word2vector句子相似度计算
Blog: https://www.jianshu.com/p/71ca8da11fd2
Github: https://github.com/zqhZY/semanaly

超参数调优：
关于 word2vec 我有话要说
贝叶斯优化: 一种更好的超参数调优方式
拟合目标函数后验分布的调参利器：贝叶斯优化

语料：
中文wiki语料库
WebQA 数据集
https://www.jiqizhixin.com/articles/2018-05-15-10
用word2vec分析中文维基语料库

自然语言处理（简称NLP），是研究计算机处理人类语言的一门技术

稀疏向量（Sparse vector）向量中存在大量0值，向量维度大，但是可以表达的信息小
稠密向量（Dense vector）

from gensim import corpora, models, similarities
对 corpora, models, similarities 三个模型的常用方法进行说明

语料 corpus
分词 tokenization，产生 processed_corpus
词典 Dictionary 将分词之后产生的 processed_corpus 构建一个字典，对 processed_corpus 去掉重复的词语，并对每个词创建一个Index
向量化 vectorization，文本的向量化表示，对于词袋模型，
停用词 stop words: 对找到结果毫无帮助、必须过滤掉的词。
TF-IDF与余弦相似性的应用（一）：自动提取关键词

一个文档的向量表示可以有很多种不同的方法，

词袋模型
Under the bag-of-words model each document is represented by a vector containing the frequency counts of each word in the dictionary. For example, given a dictionary containing the words ['coffee', 'milk', 'sugar', 'spoon'] a document consisting of the string "coffee milk coffee" could be represented by the vector [2, 1, 0, 0] where the entries of the vector are (in order) the occurrences of "coffee", "milk", "sugar" and "spoon" in the document. The length of the vector is the number of entries in the dictionary. One of the main properties of the bag-of-words model is that it completely ignores the order of the tokens in the document that is encoded, which is where the name bag-of-words comes from.
由于词袋模型中，每个vector的维度都与dictionary的维度相同，因此当dictionary很大时，会造成维度灾难。
另外，词袋模型完全忽略了文档中词语的出现位置。

向量空间： TF-IDF BM25
缺点：维度大，每个query的维度都与dictionary的维度相同。

矩阵分解： LSA
评价：
优点：解决维度大，同义词问题
缺点：物理含义弱

概率图模型： pLSA, LDA , 对 LSA 引入概率分布，
时间：pLSA 1999, LDA 2003
优点：解决了多义词的问题。
缺点：粗糙

深度学习：
Word2vec 是一种词嵌入（Embedding）的方法。它针对原始语料的训练过程是一种表征学习过程，它的目的是生成一个可以将词语表征成一个稠密向量的工具。
因此不要把 word2vec 想的太神通广大。 它通常用在预处理阶段，之后，学习到的词向量可以被输入到一个判别模型（通常是一个 RNN）中，进而生成预测或被用于处理其他有趣的任务。