摘要
这项研究探讨了超网络（hypernetworks）：一种利用一个网络（也称为超网络）生成另一个网络权重的方法。超网络提供了一种类似于自然界中的抽象关系：基因型（genotype）——即超网络——与表型（phenotype）——即主网络之间的关系。尽管它们在进化过程中让人联想到HyperNEAT，但我们的超网络是通过端到端的反向传播训练的，因此通常速度更快。本研究的重点是使超网络在深度卷积网络和长循环网络中发挥作用，其中超网络可以被视为层间权重共享的一种放松形式。我们的主要结果表明，超网络可以为LSTM生成非共享权重，并在字符级语言建模、手写生成和神经机器翻译等多种序列建模任务中接近最先进水平，从而挑战了循环网络中的权重共享范式。此外，我们的结果还显示，将超网络应用于卷积网络时，在图像识别任务中仍能取得令人满意的结果，同时所需的可学习参数较少。