HyperAIHyperAI

Command Palette

Search for a command to run...

Schnelles dynamisches Routing basierend auf gewichteter Kerneldichteschätzung

Suofei Zhang Wei Zhao Xiaofu Wu Quan Zhou

Zusammenfassung

Kapseln sowie dynamische Routing-Verbindungen zwischen ihnen sind neueste Strukturen für tiefe neuronale Netze. Eine Kapsel fasst Daten in Vektoren oder Matrizen als Poses zusammen, anstatt sie in konventionellen Skalaren zu repräsentieren, um spezifische Eigenschaften der Zielinstanz darzustellen. Neben der Pose sollte eine Kapsel mit einer Wahrscheinlichkeit (häufig als Aktivierung bezeichnet) für ihre Anwesenheit versehen sein. Das dynamische Routing hilft Kapseln, eine höhere Generalisierungsfähigkeit bei deutlich weniger Modellparametern zu erreichen. Ein Halsabschnitt, der die breitere Anwendung von Kapseln verhindert, ist jedoch die hohe Rechenkosten während des Routings. Um dieses Problem anzugehen, verallgemeinern wir bestehende Routing-Methoden im Rahmen der gewichteten Kernendichteschätzung und schlagen zwei schnelle Routing-Methoden mit unterschiedlichen Optimierungsstrategien vor. Unsere Methoden steigern die Zeit-effiziente Routing um etwa 40 %, wobei das Leistungsverlust minimal ist. Durch den Stapelbau von Faltungsschichten und Kapselschichten erstellen wir eine Netzarchitektur, die Eingaben in einer Auflösung von 64×6464\times{64}64×64 Pixeln verarbeiten kann. Die vorgeschlagenen Modelle erzielen parallele Leistungen mit anderen führenden Methoden in mehreren Benchmarks.请注意,"Halsabschnitt" 是 "bottleneck" 的一种不太常见的翻译,通常在科技文献中会使用 "Flaschenhals" 或者直接使用 "Bottleneck". 因此,更合适的翻译可能是:Ein Flaschenhals, der die breitere Anwendung von Kapseln verhindert, ist jedoch die hohe Rechenkosten während des Routings.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Schnelles dynamisches Routing basierend auf gewichteter Kerneldichteschätzung | Paper | HyperAI