Redundanznutzung: Separable Gruppenkonvolutionelle Netze auf Lie-Gruppen

Gruppenkonvolutionelle Neuronale Netze (G-CNNs) haben sich als effektiv erwiesen, um durch die Einbeziehung geometrischer induktiver Voreingenommenheiten die Parametereffizienz und die Modellgenauigkeit zu erhöhen. In dieser Arbeit untersuchen wir die Eigenschaften der durch reguläre G-CNNs gelernten Darstellungen und zeigen erhebliche Parameterredundanzen in den Gruppenkonvolutionskernen. Diese Erkenntnis motiviert eine weitere Gewichtskopplung durch das Teilen von Konvolutionskernen über Untergruppen. Zu diesem Zweck führen wir Konvolutionskerne ein, die über die Untergruppen- und Kanaldimensionen trennbar sind. Um eine Äquivarianz gegenüber beliebigen affinen Lie-Gruppen zu erreichen, bieten wir eine kontinuierliche Parametrisierung trennbarer Konvolutionskerne. Wir evaluieren unseren Ansatz an mehreren Vision-Datensätzen und zeigen, dass unser Gewichtsteilen zu einer verbesserten Leistung und Recheneffizienz führt. In vielen Szenarien übertreffen trennbare G-CNNs ihre nicht-trennbaren Entsprechungen, während sie nur einen Bruchteil der Trainingszeit benötigen. Zudem ermöglicht uns die Steigerung der Recheneffizienz die Implementierung von G-CNNs, die äquivariant zur $\mathrm{Sim(2)}$-Gruppe sind; der Gruppe der Dilatationen, Rotationen und Translationen. Die $\mathrm{Sim(2)}$-Äquivarianz verbessert die Leistung bei allen betrachteten Aufgaben weiter.请注意，这里使用的“Voreingenommenheiten”在学术语境中可能不如“induktive Bias”（即“inductive biases”的德语直译）更为常见。为了保持专业性和准确性，建议使用“induktive Bias”。以下是调整后的版本：Gruppenkonvolutionelle Neuronale Netze (G-CNNs) haben sich als effektiv erwiesen, um durch die Einbeziehung geometrischer induktiver Bias die Parametereffizienz und die Modellgenauigkeit zu erhöhen. In dieser Arbeit untersuchen wir die Eigenschaften der durch reguläre G-CNNs gelernten Darstellungen und zeigen erhebliche Parameterredundanzen in den Gruppenkonvolutionskernen. Diese Erkenntnis motiviert eine weitere Gewichtskopplung durch das Teilen von Konvolutionskernen über Untergruppen. Zu diesem Zweck führen wir Konvolutionskerne ein, die über die Untergruppen- und Kanaldimensionen trennbar sind. Um eine Äquivarianz gegenüber beliebigen affinen Lie-Gruppen zu erreichen, bieten wir eine kontinuierliche Parametrisierung trennbarer Konvolutionskerne. Wir evaluieren unseren Ansatz an mehreren Vision-Datensätzen und zeigen, dass unser Gewichtsteilen zu einer verbesserten Leistung und Recheneffizienz führt. In vielen Szenarien übertreffen trennbare G-CNNs ihre nicht-trennbaren Entsprechungen, während sie nur einen Bruchteil der Trainingszeit benötigen. Zudem ermöglicht uns die Steigerung der Recheneffizienz die Implementierung von G-CNNs, die äquivariant zur $\mathrm{Sim(2)}$-Gruppe sind; der Gruppe der Dilatationen, Rotationen und Translationen. Die $\mathrm{Sim(2)}$-Äquivarianz verbessert die Leistung bei allen betrachteten Aufgaben weiter.