HyperAIHyperAI

Command Palette

Search for a command to run...

Nicht alle Tokens sind gleich: menschenzentrierte visuelle Analyse mittels Token-Clustering-Transformer

Wang Zeng Sheng Jin Wentao Liu Chen Qian Ping Luo Wanli Ouyang Xiaogang Wang

Zusammenfassung

Vision-Transformer haben in vielen Aufgaben des maschinellen Sehens große Erfolge erzielt. Die meisten Methoden generieren visuelle Tokens, indem sie ein Bild in ein regelmäßiges und festes Gitter unterteilen und jedes Gitterfeld als Token behandeln. Allerdings sind nicht alle Bildbereiche in menschenzentrierten Vision-Aufgaben gleich wichtig: Während der menschliche Körper eine detaillierte Darstellung mit vielen Tokens erfordert, kann der Hintergrund des Bildes bereits mit wenigen Tokens gut modelliert werden. Um dieses Problem anzugehen, schlagen wir einen neuartigen Vision-Transformer namens Token Clustering Transformer (TCFormer) vor, der Tokens durch progressive Clustering-Verfahren zusammenführt, wobei die Tokens aus verschiedenen Positionen mit flexiblen Formen und Größen verschmolzen werden können. Die Tokens im TCFormer können nicht nur auf wichtige Bereiche fokussieren, sondern auch ihre Form an semantische Konzepte anpassen und eine feine Auflösung für Regionen mit kritischen Details verwenden, was besonders vorteilhaft für die Erfassung detaillierter Informationen ist. Ausführliche Experimente zeigen, dass der TCFormer konsistent gegenüber seinen Vorgängern auf verschiedenen anspruchsvollen, menschenzentrierten Aufgaben und Datensätzen abschneidet, darunter die Ganzkörper-Pose-Schätzung auf COCO-WholeBody und die 3D-Mensch-Mesh-Rekonstruktion auf 3DPW. Der Quellcode ist unter https://github.com/zengwang430521/TCFormer.git verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp