tensorflow 添加 新 的 op 操作
尽管 TensorFlow 自己提供了足够多的操作，而且还在不断完善中(笔者编译的tensorflow1.8版 动态库 win C++dll 调试版893M大小)，一般读者都可以直接用tensorflow的 API 来实现自己的业务需求。能够实现但是效率不高，再或者因为发现在 XLA 框架中难以自己融合 ，想创建一个不包含在现有 TensorFlow 库中的操作，该如何动手呢？
这需要读者有很深的 C++基础知识，并且对深度学习的张量的流动和前向传播和反向传播有很深理解。熟悉导数、矩阵、向量微积分、凸优化等。
本例子融合了 不带参数的op 操作、带参数的op 操作，以及 带模板的 op 操作 。
实现方法： 以 修改tensorflow官方源代码 为例讲解： 源码参见
网址链接: https://github.com/xxxx001/models/tree/master/tutorials/embedding/word2vec_optimized.py
1. 在C++ 文件 (*_ops.cc文件) 中注册新的操作。这里定义了操作功能的接口规范，如操作的名称，输入和输出以及属性等。比如 word2vec_ops.cc 文件。
2.在C++文件(*_kernel.cc文件) 中实现这个操作。这是对操作注册规范的具体实现，可以实现在如CPU,GPU,TPU,FPGA等多个内核上。
3.测试操作算法。输出操作库文件(*_ops.so文件)、然后用python 加载库文件进行测试。
接下来进行具体的实践：
第一步，注册操作，注册五个操作 即ZeroOut 、ZeroOut1(带参数op), ZeroOut2(模板) , SkipgramWord2vec 和 NegTrainWord2vec
网址链接: https://github.com/xxxx001/models/blob/master/project/word/word2vec_ops.cc
代码如下： word2vec_ops.cc (有详细注释) 将宏 REGISTER_OP 、REGISTER_KERNEL_BUILDER进行了展开。
第二步： 定义具体的实现 生成 word2vec_kernels.cc 文件 在CPU 上实现。
https://github.com/xxxx001/models/blob/master/project/word/word2vec_kernels.cc
代码如下：word2vec_kernels.cc (有详细注释)
第三步，编译上述文件，生成 so 类型文件。
我们需要在特定的头文件目录下编译，使用 Python 提供的 get_include 获取头文件目录，
然后使用 C++编译器（如 g++）将操作编译成动态库，如下：(直接在linux终端执行)
TF_INC=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_include())')
g++ -std=c++11 -shared word2vec_ops.cc word2vec_kernels.cc -o word2vec_ops.so -fPIC -I
$TF_INC -O2 -D_GLIBCXX_USE_CXX11_ABI=0
TensorFlow 的 Python API 提供了 tf.load_op_library 函数来加载动态库，并向 TensorFlow 框架注册操作。load_op_library 返回一个包含操作和内核的 Python 模块。
于是，我们测试例子(一) 如下 ：
操作zero_out 代码说明：名字为 "ZeroOut"，输入参数为 int32 类型的 Tensor，输出也是 int32 类型 Tensor。
该 Op 的计算过程由相应的 Kernel 函数完成，利用 C++ 派生类的特性，从 OpKernel 基类派生了 ZeroOutOp 类，该类中的 Compute 函数最为关键，从输入 Tensor 获取输入数据，并为输出 Tensor 分配空间。利用一个 for 循环实现置零运算。注意到输出 Tensor 的第一个元素重新赋值为输入 Tensor 的第一个元素值。
import tensorflow as tf
zero_out_module= tf.load_op_library('./word2vec_ops.so')with tf.Session(''):
zero_out_module.zero_out([[1, 2], [3, 4]]).eval()
打印如下信息: # Prints array ([[1, 0], [0, 0]], dtype=int32)
验证模型：
import tensorflow astf
class ZeroOutTest(tf.test.TestCase):def testZeroOut(self):
zero_out_module
= tf.load_op_library('./zero_out.so')with self.test_session():
result= zero_out_module.zero_out([5, 4, 3, 2, 1])self.assertAllEqual(result.eval(), [5, 0, 0, 0, 0])
if __name__ == "__main__":
tf.test.main()
于是，我们测试例子(二)如下：
import tensorflow as tf
word2vec = tf.load_op_library('word2vec_ops.so')
with tf.Session(''):
word2vec.skipgram_word2vec(filename='text8', batch_size=500, window_size=5,min_count=5, subsample=0.001)
如果成功，则输出：
SkipgramWord2vec(vocab_word=dtype=string>, vocab_freq=dtype=int32>,words_per_epoch=dtype=int64>, current_epoch=dtype=int32>, total_words_processed=dtype=int64>, examples=dtype=int32>, labels= dtype=int32>)
说明我们注册的自定义操作成功了。 如果出错 ，笔者运行时出现以下错误：
Traceback (most recent call last): File "word2vec.py", line 3, in word2vec = tf.load_op_library('/root/project/word2vec_ops.so')
File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/load_library.py", line 56, in load_op_library
lib_handle = py_tf.TF_LoadLibrary(library_filename)
tensorflow.python.framework.errors_impl.NotFoundError: /root/project/word2vec_ops.so: undefined symbol: _ZTIN10tensorflow8OpKernelE
这是 因为在用g++编译代码的时候没用使用tensorflow_framework.so动态库造成的，在gcc+ 的参数中添加-L /usr/local/lib/python3.5(2.7)/dist-packages/tensorflow -ltensorflow_framework即可；
望读者认真理解本篇内容、举一反三。基本都能实现自己所需要的自定义操作和算法。出现问题请联系：qq(2481546246)
