HyperAIHyperAI
vor 17 Tagen

TinyTracker: Ultrageschwindiger und ultraniedrigenergetischer Edge-Vision-In-Sensor für die Blickschätzung

Pietro Bonazzi, Thomas Ruegg, Sizhen Bian, Yawei Li, Michele Magno
TinyTracker: Ultrageschwindiger und ultraniedrigenergetischer Edge-Vision-In-Sensor für die Blickschätzung
Abstract

Intelligente Edge-Vision-Aufgaben stehen vor der kritischen Herausforderung, Energie- und Latenzeffizienz sicherzustellen, da sie typischerweise eine hohe Rechenlast auf Edge-Plattformen ausüben. In dieser Arbeit wird eine der ersten „AI-in-Sensor“-Vision-Plattformen, der IMX500 von Sony, genutzt, um ultraschnelle und ultrawenigenergieaufwendige end-to-end-Edge-Vision-Anwendungen zu realisieren. Wir evaluieren den IMX500 und vergleichen ihn mit anderen Edge-Plattformen wie dem Google Coral Dev Micro und dem Sony Spresense anhand des Fallbeispiels der Blickschätzung. Wir stellen TinyTracker vor, ein äußerst effizientes, voll quantisiertes Modell für die 2D-Blickschätzung, das darauf abzielt, die Leistungsfähigkeit der in dieser Studie betrachteten Edge-Vision-Systeme zu maximieren. TinyTracker erreicht eine Reduktion der Modellgröße um den Faktor 41 (600 KB) gegenüber iTracker [1], ohne signifikante Einbußen bei der Genauigkeit der Blickschätzung zu verursachen (maximale Abweichung von 0,16 cm bei vollständiger Quantisierung). Die Implementierung von TinyTracker auf dem Sony IMX500-Vision-Sensor führt zu einer end-to-end-Latenz von etwa 19 ms. Der Camera-Teil benötigt etwa 17,9 ms für die Abtastung, Verarbeitung und Übertragung der Pixel an den Beschleuniger. Die Inferenzzeit des Netzwerks beträgt 0,86 ms, zusätzlich werden 0,24 ms für das Abrufen der Ergebnisse aus dem Sensor benötigt. Der Gesamtenergieverbrauch des end-to-end-Systems liegt bei 4,9 mJ, wovon 0,06 mJ für die Inferenz aufgewendet werden. Die end-to-end-Analyse zeigt, dass der IMX500 1,7-mal schneller ist als der CoralMicro (19 ms vs. 34,4 ms) und 7-mal energieeffizienter (4,9 mJ vs. 34,2 mJ).