摘要
我们提出了一种新颖的实时语义分割网络，其中编码器不仅对输入进行编码，还生成解码器的参数（权重）。此外，为了实现最大的自适应性，每个解码器块的权重在空间上都是变化的。为此，我们设计了一种新的超网络，该网络由一个嵌套的U-Net组成，用于提取高层次的上下文特征；一个多头权重生成模块，在每个解码器块使用前即时生成其权重，以实现高效的内存利用；以及一个主要网络，该网络包含创新的动态分片卷积。尽管使用了不太传统的模块，我们的架构仍能实现实时性能。在运行时间与精度的权衡方面，我们在流行的语义分割基准测试中超越了现有最先进（SotA）的结果：PASCAL VOC 2012（验证集）和Cityscapes及CamVid上的实时语义分割。代码已公开：https://nirkin.com/hyperseg。