预备知识:对 C++ 有一定了解.已经下载 TensorFlow 源代码并有能力编译它.如果现有的库没有涵盖你想要的操作, 你可以自己定制一个. 为了使定制的 Op 能够兼容原有的库, 你必须做以下工作:在一个 C++ 文件中注册新 Op. Op 的注册与实现是相互独立的. 在其注册时描述了 Op 该如何执行.例如, 注册 Op 时定义了 Op 的名字, 并指定了它的输入和输出.使用 C++ 实现 Op.
介绍 可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。语言模型 此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点,通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集,这是一种常用来衡量模型的基准,同时它比较小而且训练起来相对快速。
在本教程我们来看一下Mikolov et al中提到的word2vec模型。该模型是用于学习文字的向量表示,称之为“word embedding”。亮点 本教程意在展现出在TensorfLow中构建word2vec模型有趣、本质的部分。我们从我们为何需要使用向量表示文字开始。我们通过直观地例子观察模型背后的本质,以及它是如何训练的(通过一些数学方法评估)。