1. 为什么要Chainer?

大多数现有的深度学习框架都是基于”Define-and-Run“的方案。也就是说，首先要有一个预先被定义的网络结构，然后用户才能给这个网络去喂数据。因为所有的网络都是在前向／后向传播计算完成之前就定义好的了，所以所有的逻辑必须以数据的形式嵌入到网络结构中去。

然而，Chainer采纳了“Define-by-Run”的方案，比如网络是通过实际的前向计算在运行中定义的。更确切地说，Chainer存储计算的历史而不是编程逻辑。这个策略使我们能够充分利用Python中编程逻辑的力量。例如，Chainer不需要任何魔法来将条件和循环引入网络定义。定义方案是Chainer的核心概念。

总而言之，Define-and-Run“的方案是结构领着数据走，有了结构才能够通过喂数据来训练网络。而Define-by-Run”的方案是数据领着结构走，有了数据参数的定义才有网络的概念，数据走到哪，网络延伸到哪。

2. 一个简单的网络搭建

2.1 前向传播／反向传播的计算

x=Variable(np.array([[1,2,3],[4,5,6]],dtype=np.float32))

y=x**2-2*x+1

y.grad=np.ones((2,3),dtype=np.float32)

y.backward()

x.grad

在这个例子中就可以看出来，并没有先预先定义一个结构。而是有了x,y的变量，通过调用y.backward()来实现反向传播的计算。

2.2 Links

为了写神经网络，我们不得不用一些参数去把不同的函数结合起来并且优化这些参数。所以，就需要用Links来做这件事情。Link只是一个能容纳参数的对象。

一个最经常使用的links就是linear link。它代表了数学表达式f(x) = Wx + b.  

f=L.Linear(3,2)

这个代表的是一个输入为三维，输出为二维的线性方程。此外，大部分的方程和links都只接受mini-batch的输入，也就是说，第一维被默认为batch的维度，所以，在上面的例子中，输入必须是有着（N,3）的形状。

所有的参数都以属性的形式存放。在上面的例子中，W和b存放在f的属性中，可以通过：

>>>f.W.data

array([[ 1.01847613,  0.23103087,  0.56507462],[ 1.29378033,  1.07823515, -0.56423163]], dtype=float32)

>>>f.b.data

array([ 0.,  0.], dtype=float32)

默认的，W和b都是随机初始化。

所以，合起来，一个完整的例子如下：

>>>x=Variable(np.array([[1,2,3],[4,5,6]],dtype=np.float32))

>>>y=f(x)

>>>y.data

array([[ 3.1757617 ,  1.75755572],[ 8.61950684,  7.18090773]], dtype=float32)

梯度这个参数通过调用backward()方法来实现。注意的是，这个梯度是被累加起来的。所以每次调用之前，需要对梯度进行清零操作。

>>>f.cleargrads()

所以完整的例子是：

>>>y.grad=np.ones((2,2),dtype=np.float32)

>>>y.backward()

>>>f.W.gradarray([[ 5.,  7.,  9.],[ 5.,  7.,  9.]], dtype=float32)

>>>f.b.gradarray([ 2.,  2.], dtype=float32)

2.3 用chain来写一个模块

大部分的神经网络都包含许多个links。比如，一个多层感知起由多个线性层组成。接下来就写一个这个的例子：

>>>classMyChain(Chain):

          ...def__init__(self):

             ...super(MyChain,self).__init__(

                     ...l1=L.Linear(4,3),

                     ...l2=L.Linear(3,2),

                      ...)

            .....def__call__(self,x):

                   ...h=self.l1(x)

                  ...returnself.l2(h)

2.4 优化器

>>>model=MyChain()

>>>optimizer=optimizers.SGD()

>>>optimizer.use_cleargrads()

>>>optimizer.setup(model)

setup()方法只是为优化器提供一个link。需要改梯度衰减值之类的需要调用：

>>>optimizer.add_hook(chainer.optimizer.WeightDecay(0.0005))

使用优化器

方法1:

>>>x=np.random.uniform(-1,1,(2,4)).astype('f')

>>>model.cleargrads()

>>># compute gradient here...

>>>loss=F.sum(model(chainer.Variable(x)))

>>>loss.backward()

>>>optimizer.update()

方法2:

>>>deflossfun(arg1,arg2):

...# calculate loss

...loss=F.sum(model(arg1-arg2))

...return loss

>>>arg1=np.random.uniform(-1,1,(2,4)).astype('f')

>>>arg2=np.random.uniform(-1,1,(2,4)).astype('f')