可微的逻辑门网络
2023-01-28 本文已影响0人
Valar_Morghulis
Deep Differentiable Logic Gate Networks
Oct 2022
NeurIPS 2022
https://arxiv.org/abs/2210.08277
https://github.com/felix-petersen/difflogic
开源5天，155stars
最近，研究越来越集中于开发高效的神经网络架构。在这项工作中，我们通过学习逻辑门的组合来探索机器学习任务的逻辑门网络。这些网络包括逻辑门，如“AND”和“XOR”，允许非常快速的执行。学习逻辑门网络的困难在于它们通常是不可微的，因此不允许梯度下降训练。因此，为了允许有效的训练，我们提出了可微逻辑门网络，这是一种结合了实值逻辑和网络的连续参数化松弛的架构。由此产生的离散化逻辑门网络实现了快速的推理速度，例如，在单个CPU核上每秒超过一百万个MNIST图像。
