Verbesserte dichte Trajektorie mit Querströmen

Verbesserte dichte Trajektorien (iDT) haben in der Aktionserkennung ausgezeichnete Leistungen gezeigt, und ihre Kombination mit dem Two-Stream-Ansatz hat den Stand der Technik erreicht. Es ist jedoch für iDT schwierig, Hintergrundtrajektorien vollständig aus Videos mit Kamerabewegungen zu entfernen. Trajektorien in weniger diskriminativen Bereichen sollten geringere Gewichte erhalten, um lokalere Deskriptoren für die Aktionserkennung zu erstellen. Zudem kann der Two-Stream-Ansatz, der Erscheinungsform und Bewegungsinformationen getrennt lernt, sich bei der Merkmalsextraktion aus den räumlichen Faltungsschichten des Erscheinungsnetzwerks nicht auf wichtige Bewegungsbereiche konzentrieren, und umgekehrt. Um die oben genannten Probleme zu lösen, schlagen wir einen neuen lokalen Deskriptor vor, der eine neue Faltungsschicht durch das Kreuzen von zwei Netzwerken entlang iDT poolt. Dieser neue Deskriptor wird berechnet, indem diskriminative Gewichte, die von einem Netzwerk gelernt wurden, auf eine Faltungsschicht des anderen Netzwerks angewendet werden. Unsere Methode hat den Stand der Technik auf ordinalen Aktionserkennungsdatensätzen erreicht: 92,3 % auf UCF101 und 66,2 % auf HMDB51.