Die Grenzen für die tiefenbasierte semi-supervised 3D-Handpose-Schätzung mit Konsistenztraining erweitern

Trotz der erheblichen Fortschritte, die tiefenbasierte Methoden zur Schätzung der 3D-Handpose in den letzten Jahren erzielt haben, sind sie weiterhin auf eine große Menge an annotiertem Trainingsdaten angewiesen, um hohe Genauigkeit zu erreichen. Die Beschaffung solcher Daten ist jedoch sowohl kostspielig als auch zeitaufwendig. Um dieses Problem anzugehen, schlagen wir eine semi-supervised Methode vor, die die Abhängigkeit von annotiertem Trainingsdaten erheblich verringert. Die vorgeschlagene Methode besteht aus zwei identischen Netzwerken, die gemeinsam trainiert werden: einem Lehrer-Netzwerk und einem Schüler-Netzwerk. Das Lehrer-Netzwerk wird sowohl mit den verfügbaren annotierten als auch mit den nicht annotierten Proben trainiert. Es nutzt die nicht annotierten Proben über eine Verlustformulierung, die die Äquivarianz der Schätzung unter einer Reihe affiner Transformationen fördert. Das Schüler-Netzwerk wird mit den nicht annotierten Proben trainiert, wobei es deren Pseudolabels vom Lehrer-Netzwerk erhält. Bei der Inferenz zur Testzeit wird lediglich das Schüler-Netzwerk verwendet. Umfassende Experimente zeigen, dass die vorgeschlagene Methode die derzeit besten semi-supervised Ansätze deutlich übertrifft.