Verbesserte Wissensdistillation für die Menschenanzahlbestimmung auf IoT-Geräten

Die manuelle Schätzung von Menschenmengen für reale Anwendungen ist entweder unmöglich oder führt zu extrem ungenauen Schätzungen. Deep Learning hat sich als ein Bereich etabliert, der zur Lösung dieses Problems eingesetzt wird. Die Schätzung von Menschenmengen ist eine rechenintensive Aufgabe. Daher verwenden viele Modelle zur Menschenmengenabschätzung große tiefgreifende Faltungsneuronale Netze (CNN), um eine höhere Genauigkeit zu erreichen. Allerdings sind diese Modelle typischerweise mit einem erheblichen Verlust an Leistungsfähigkeit und Inferenzgeschwindigkeit verbunden. Dies erschwert ihre Anwendung in realen Umgebungen, beispielsweise auf Internet-of-Things (IoT)-Geräten. Um dieses Problem anzugehen, werden beispielsweise Methoden zur Modellkompression mittels Pruning und Quantisierung oder der Einsatz von leichten Modellarchitekturen (Backbones) angewandt. Diese Ansätze führen jedoch oft zu einem erheblichen Genauigkeitsverlust. Um diesem Problem entgegenzuwirken, haben einige Studien Methoden des Wissensdistillation untersucht, um nützliche Informationen aus großen, state-of-the-art (Lehrer-)Modellen zu extrahieren, um kleinere (Schüler-)Modelle zu leiten oder zu trainieren. Allerdings leiden Wissensdistillation-Methoden unter dem Problem der Informationsverluste durch Hint-Transformationsmechanismen. Zudem können Lehrermodelle negative Auswirkungen auf die Schülermodelle haben. In dieser Arbeit präsentieren wir eine auf Wissensdistillation basierende Methode, die selbsttransformierte Hinweise und Verlustfunktionen verwendet, die Ausreißer ignorieren, um anspruchsvolle und reale Aufgaben der Menschenmengenabschätzung zu bewältigen. Mit unserem Ansatz erreichen wir auf dem JHU-CROWD++ [1]-Testset eine MAE von 77,24 und eine MSE von 276,17. Dies ist vergleichbar mit den besten aktuellen Deep-Learning-Modellen für Menschenmengenabschätzung, jedoch bei einem Bruchteil der ursprünglichen Modellgröße und Komplexität, wodurch die Lösung besonders gut für IoT-Geräte geeignet ist. Der Quellcode ist unter https://github.com/huangzuo/effcc_distilled verfügbar.