深度学习中的创新模式

最近阅读的几篇人工智能顶会和顶刊的文章，发现文章的创新点可以大致分为三类：1、实打实的创新 2、巧妙拼接各种概念 3、用旧概念玩出新花样

第一种实打实的创新颇有牛顿发明万有引力、香浓发明信息论之势，令众人钦佩不已、拍案叫绝。在深度学习领域典型的代表如同CNN、RNN、GAN、GNN、胶囊网络等新颖的网络结构，这类创新在解决一系列关键问题的同时也挖了一个大坑，引来无数人前来灌水。但是这种创新数量极少，可遇不可求。

第二种巧妙拼接各种概念式的创新将各种甚至看似不相关的概念完美结合，拜读论文时，无不感叹作者洞若观火的观察力、渊博的知识储备以及严密的推理能力。例如，在我所研究的graph classification中有人将graph pooling看成graph上节点的聚类过程，将各种聚类算法引入，完美解决了非网格数据中数据池化的问题。功力高深的作者更是能看出模型数学上的不足，并且借用深奥的数学方法解决相关问题。除此之外， 这类创新中还有一类常见套路——将当前火的方法应用到新的领域，例如将cnn应用到graph、transformer应用到图像、gnn应用到文本。由于这套创新遵循着一个比较明显的范式，因此永远不愁没有别人做，往往更多的是比速度。

第三种旧概念玩出新花样的创新更为常见。不是谁都能够提出第一种开天辟地般的创新，也不是谁都有丰富的知识储备来将各种概念巧妙结合，但是谁都有可能在现有知识的基础上做出一些微小改进。前人的算法不可能完美，只要去挖掘总有一些小缺陷。但这类创新中也不乏很多深刻洞见，有些算法可能就是在某一层中加了一个注意力层，或者在某些地方加了几个多层感知机，抑或是合理的扩大了感受野、增加了网络深度等等，就会有很大的精度提升。这类创新往往更需要一个好的故事来说明为什么前人没有想到这个问题，以及为什么这个问题能够被一个简单的方法解决。阅读这类文章往往有一种“啊~我怎么没想到”的感觉，或者有一种“切~原来是这样的感觉。”不过抛开讲故事的成分，还是得承认用一个简单的方法解决一个问题本身也非常具有吸引力。