Zählen von Alltagsgegenständen in Alltagsszenen

Wir sind daran interessiert, die Anzahl von Instanzen von Objektklassen in natürlichen, alltäglichen Bildern zu zählen. Frühere Zählverfahren haben das Problem in eingeschränkten Bereichen wie dem Zählen von Fußgängern in Überwachungsvideos angegangen. Zahlen können auch aus den Ergebnissen anderer Visionssystem-Aufgaben wie der Objekterkennung geschätzt werden. In dieser Arbeit entwickeln wir spezielle Modelle für das Zählen, die darauf ausgelegt sind, die große Varianz in den Zahlen, Erscheinungen und Größen von Objekten in natürlichen Szenen zu bewältigen. Unser Ansatz stützt sich auf das Phänomen des Subitizing – die Fähigkeit von Menschen, bei kleinen Zahlenwerten schnell eine Einschätzung der Anzahl anhand eines wahrnehmungsbasierten Signals zu treffen. Gegeben eine natürliche Szene, verwenden wir eine Teile-und-Herrsche-Strategie und berücksichtigen dabei den Kontext über die gesamte Szene, um das Subitizing-Konzept auf das Zählen anzuwenden. Unser Ansatz bietet konsistente Verbesserungen gegenüber zahlreichen Baseline-Verfahren beim Zählen auf den Datensätzen PASCAL VOC 2007 und COCO. Anschließend untersuchen wir, wie das Zählen dazu beitragen kann, die Objekterkennung zu verbessern. Wir demonstrieren dann ein Konzeptnachweis-Anwendungsbeispiel unserer Zählmethoden im Bereich der visuellen Fragebeantwortung (Visual Question Answering), indem wir die "Wie viele?"-Fragen in den Datensätzen VQA und COCO-QA analysieren.