Richtungs-Konzentrations-Lernen: Verbesserung der Kohärenz im maschinellen Lernen

Ein bekanntes Problem in Aufgaben des Computersehens ist die visuelle Vielfalt von Bildern, die zu einer Übereinstimmung oder Diskrepanz zwischen dem gelernten Wissen und dem visuellen Inhalt der aktuellen Beobachtung führen kann. In dieser Arbeit definieren wir eine solche Übereinstimmung im Prozess des Konzeptlernens zunächst als Kongruenz. Formal tritt das Kongruenzproblem im Lernprozess auf, wenn bei einer bestimmten Aufgabe und einer ausreichend großen Datensammlung die aufgabenbezogenen Semantiken in den Trainingsdaten stark variieren. Wir schlagen eine Methode namens Direction Concentration Learning (DCL) vor, um die Kongruenz im Lernprozess zu verbessern, wobei eine gesteigerte Kongruenz den Konvergenzpfad weniger verzweigt und indirekt gestaltet. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene DCL-Methode auf state-of-the-art-Modelle und Optimierer generalisiert und die Leistung bei der Aufmerksamkeitsvorhersage, kontinuierlichem Lernen und Klassifikationsaufgaben verbessert. Darüber hinaus hilft sie, das Problem des katastrophalen Vergessens im kontinuierlichen Lernen zu mildern. Der Quellcode ist öffentlich unter https://github.com/luoyan407/congruency verfügbar.