Bestehende hochentwickelte Netzwerke zur Erkennung von auffälligen Objekten basieren auf der Aggregation von mehrstufigen Merkmalen vortrainierter Faltungsneuralnetze (CNNs). Im Vergleich zu hochstufigen Merkmalen tragen niedrigstufige Merkmale weniger zur Leistung bei, erfordern aber aufgrund ihrer größeren räumlichen Auflösungen höhere Berechnungsaufwände. In dieser Arbeit schlagen wir ein neuartiges Framework für Cascaded Partial Decoders (CPD) vor, das eine schnelle und genaue Erkennung von auffälligen Objekten ermöglicht. Einerseits baut das Framework einen partiellen Decoder auf, der die größeren Auflösungsmerkmale flacherer Schichten zur Beschleunigung verwirft. Andererseits beobachten wir, dass die Integration von Merkmalen tieferer Schichten ein relativ präzises Salienzkartenbild ergibt. Daher nutzen wir das generierte Salienzkartenbild direkt, um die Merkmale des Backbone-Netzes zu verfeinern. Diese Strategie unterdrückt effizient Störfaktoren in den Merkmalen und verbessert ihre Darstellungsfähigkeit erheblich. Experimente anhand fünf Benchmark-Datensätzen zeigen, dass das vorgeschlagene Modell nicht nur den aktuellen Stand der Technik erreicht, sondern auch deutlich schneller als bestehende Modelle läuft. Darüber hinaus wird das vorgeschlagene Framework angewendet, um bestehende Modelle zur Aggregation von mehrstufigen Merkmalen zu verbessern und deren Effizienz und Genauigkeit erheblich zu steigern.