介绍 可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。语言模型 此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点,通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集,这是一种常用来衡量模型的基准,同时它比较小而且训练起来相对快速。
在本教程我们来看一下Mikolov et al中提到的word2vec模型。该模型是用于学习文字的向量表示,称之为“word embedding”。亮点 本教程意在展现出在TensorfLow中构建word2vec模型有趣、本质的部分。我们从我们为何需要使用向量表示文字开始。我们通过直观地例子观察模型背后的本质,以及它是如何训练的(通过一些数学方法评估)。