In diesem Paper konzentrieren wir uns auf die Lernung heterogener Merkmale für die Aktivitätserkennung mit RGB-D-Daten. Wir beobachten, dass Merkmale aus verschiedenen Kanälen (RGB, Tiefenbild) bestimmte ähnliche verborgene Strukturen aufweisen können, und schlagen daher ein gemeinsames Lernmodell vor, das gleichzeitig die gemeinsamen und kanalspezifischen Komponenten als Spezialfall der heterogenen Mehraufgaben-Lernung untersucht. Das vorgeschlagene Modell, das in einem einheitlichen Rahmen formuliert ist, ermöglicht: 1) die gleichzeitige Exploration einer Reihe von Unterräumen mit gleicher Dimension, um latente gemeinsame Merkmale über verschiedene Merkmalskanäle hinweg auszunutzen; 2) gleichzeitig die Quantifizierung der gemeinsamen und kanalspezifischen Komponenten der Merkmale innerhalb dieser Unterräume; sowie 3) die Übertragung kanalspezifischer Zwischentransformationen (i-Transformations) zur Lernung der Fusion heterogener Merkmale über verschiedene Datensätze hinweg. Um das gemeinsame Modell effizient zu trainieren, wird ein dreistufiger iterativer Optimierungsalgorithmus vorgeschlagen, gefolgt von einem einfachen Inferenzmodell. Umfangreiche experimentelle Ergebnisse auf vier Aktivitätsdatensätzen belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Zudem wird ein neuer RGB-D-Datensatz zur Aktivitätserkennung mit Fokus auf mensch-objekt-Interaktion vorgestellt, der zusätzliche Herausforderungen für die Benchmarking-Aktivitätsanalyse mit RGB-D-Daten darstellt.