概述

神经网络大火的今天，各种花式模型层出不穷，有些默认的说法如下：1.DNN理论上有无限拟合能力，2.DCN（某推荐场景下的网络）有高阶特征抽取能力，可以自动提取特征。针对1有理论证明（虽然没咋看懂）但是个人认为，这个理论并不能证明DNN在各种任务上的有效性，因为任务不光涉及模型本身的能力，还涉及到优化、样本分布等多方面因素，能否找到足够泛化的模型参数可能并没有想的这么乐观。对于2，我只能说我没有看懂这个模型（对于他高阶拟合的说法不敢苟同），从神经网络开始到现在，不乏大量搞复杂的网络发出来的文章，个人感觉证明有效性上不具有说服力。

ps:这里聊下自己对新模型的看法

• 模型有效果（可复现，效果提升至少肉眼可见）。
• 模型有可视化能力。
  以上两点，是我对新论文模型的一些判别标准。如果论文从结果上都没啥提升的看看思路就好吧。个人觉得一个比较完整的模型探索，应该包含提出问题，思考模型侧解决方案、验证模型效果、解释模型有效原因（最好可视化）。最后一步可以没有，就像从传统模型到深度模型，就像一次革命，效果提升非常大，又不太能强解释。这种我觉得也ok。（有点像数学物理那样，理论变得越来越不那么直观可理解）

因为自己比较菜，觉得给一个简单的任务类型，自己无法判断dnn是否能进行拟合（各位看官们也可以自行检测一下，自己对DNN的理解是否那么深刻。），所以就有了这篇文章。

问题描述

给定各类简单任务，判断dnn是否有足够的拟合能力。任务类型如下：

• 乘法
• 求序列最大值
• 求序列方差
• 求序列0的个数

以上每一个实验，我会给出数据集逻辑和模型结构，请各位也帮忙做一个评审，看看做法是否合理。

实验细节

乘法

实验1

• input : a,b,c ∈（0，100） ，训练集1w
• output: y = a * b * c
• dnn：

layer_1 = tf.concat([a,b,c],1) 
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.leaky_relu)
y_ = tf.layers.dense(layer_2,1,activation=tf.nn.leaky_relu)
mse = tf.losses.mean_squared_error(y,y_)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：几乎无法拟合。
• 结论：dnn对于乘法计算拟合能力弱，想直接利用复杂网络学乘法也很困难，如有需求得人工构建特征。

实验2

• input : a,b,c ∈（0，10） ，训练集1w
• output: y = a * b * c
• dnn：

layer_1 = tf.concat([a,b,c],1) 
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.leaky_relu)
y_ = tf.layers.dense(layer_2,1,activation=tf.nn.leaky_relu)
mse = tf.losses.mean_squared_error(y,y_)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：开始收敛，结果看起来显得合理。尝试进一步扩大数据量。

实验3

• input : a,b,c ∈（0，10） ,训练集+5w
• output: y = a * b * c
• dnn：

layer_1 = tf.concat([a,b,c],1) 
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.leaky_relu)
y_ = tf.layers.dense(layer_2,1,activation=tf.nn.leaky_relu)
mse = tf.losses.mean_squared_error(y,y_)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：相比实验2，拟合明显提升，计算结果也变得合理，扩大范围0-100也有部分case合理，但误差仍然明显，loss大概在10左右。
• 结论：相比实验1，不能否认乘法拟合能力，只能说这种特征混合在一个大任务里面，想抽取很困难（实战亲测），值域空间也有限制条件（太大不好学）。

序列计数0

实验1

• input:seq(长度10，0-100随机数，30%比例为0)，训练集1w
• output:计算0的个数
• dnn:

layer_1 = num_seq
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.sigmoid)
layer_3 = tf.layers.dense(layer_2,n_hidden2,activation=tf.nn.sigmoid)
y_ = tf.layers.dense(layer_3,1,activation=tf.nn.sigmoid)
mse = tf.losses.mean_squared_error(y,y_) 
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：所有结果等于100 * 30的地方，改变0比例，结果随之变化。
• 结论：这里很奇怪，感觉relu可以达到计算的拟合效果。

实验2

• input:seq(长度10，0-100随机数，30%比例为0)，训练集1w
• output:计算0的个数
• dnn:

layer_1 = num_seq
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.relu)
layer_3 = tf.layers.dense(layer_2,n_hidden2,activation=tf.nn.relu)
y_ = tf.layers.dense(layer_3,1,activation=tf.nn.relu)
mse = tf.losses.mean_squared_error(y,y_) 
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：能快速拟合，和训练分布一致的数据输入可以得到不错的结果。
• 结论：relu的非线性感觉比sigmoid要好啊，看来用的时候不能完全去等价用。

标准差

• input : a,b,c ∈（0，100） ，训练集1w
• output: y = np.std(a , b , c)
• dnn：

layer_1 = tf.concat([a,b,c],1) 
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.leaky_relu)
y_ = tf.layers.dense(layer_2,1,activation=tf.nn.leaky_relu)
mse = tf.losses.mean_squared_error(y,y_)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：效果还不错，输入扩充到0-1000效果也还ok。
• 结论：dnn具备std拟合能力，所以对平方应该是可以拟合住的。相比乘法感觉拟合的更好。

最大值

• input : a,b,c ∈（0，100） ，训练集1w
• output: y = np.max(a , b , c)
• dnn：

layer_1 = tf.concat([a,b,c],1) 
layer_2 = tf.layers.dense(layer_1,n_hidden1,activation=tf.nn.leaky_relu)
y_ = tf.layers.dense(layer_2,1,activation=tf.nn.leaky_relu)
mse = tf.losses.mean_squared_error(y,y_)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(mse)

• 结果：效果还不错，输入扩充到0-1000效果也还ok。
• 结论：dnn具备max拟合能力。

一点总结

• 一些基本任务DNN都可以通过某些调整来做一个大致拟合。但是在样本数量有限的情况下，可能需要调整值域范围。超出其规模，可能导致一些简单的逻辑都无法实现。
• 对于一些复杂的任务，特征还是需要进行一些检验。调参工程师和模型一样很容易陷入局部最优，所以特征和结构设计层面尽量进行一些先验验证后再去调超参数等。
• 不要过于依赖模型的特征抽取。对于显示验证过的优秀特征，模型抽取能力同通常不如手动抽取。