Toyota Smarthome: Echte Aktivitäten des täglichen Lebens

Die Leistung von tiefen neuronalen Netzen wird stark durch Menge und Qualität annotierter Daten beeinflusst. Die meisten großen Datensätze für Aktivitätserkennung bestehen aus aus dem Web stammenden Daten, die die Herausforderungen des täglichen Lebens nicht widerspiegeln. In diesem Paper stellen wir einen großen realen Videodatensatz für Aktivitäten des täglichen Lebens vor: den Toyota Smarthome-Datensatz. Der Datensatz umfasst 16.000 RGB+D-Aufnahmen aus 31 Aktivitätsklassen, die von Senioren in einer Smart Home-Umgebung aufgenommen wurden. Im Gegensatz zu früheren Datensätzen waren die Videos vollständig unvorhergesehen (unscripted). Dadurch entstehen mehrere Herausforderungen: hohe intra-klassen-Variabilität, starke Klassenungleichgewichte, einfache und zusammengesetzte Aktivitäten sowie Aktivitäten mit ähnlichen Bewegungsmustern und variabler Dauer. Die Aktivitäten wurden sowohl mit groben als auch mit fein granulären Labels annotiert. Diese Eigenschaften unterscheiden den Toyota Smarthome-Datensatz von anderen Datensätzen zur Aktivitätserkennung. Da aktuelle Ansätze zur Aktivitätserkennung die Herausforderungen des Toyota Smarthome-Datensatzes nicht adäquat bewältigen, präsentieren wir eine neuartige Methode zur Aktivitätserkennung mit einem Aufmerksamkeitsmechanismus. Wir schlagen einen posegesteuerten räumlich-zeitlichen Aufmerksamkeitsmechanismus mittels 3D-ConvNets vor. Wir zeigen, dass unsere neue Methode sowohl auf Benchmark-Datensätzen als auch auf dem Toyota Smarthome-Datensatz die bisherigen State-of-the-Art-Methoden übertrifft. Der Datensatz wird für Forschungszwecke veröffentlicht.