Meta-Lernen mit differenzierbarer konvexer Optimierung

Viele Meta-Lernverfahren für Few-Shot-Lernen basieren auf einfachen Grundlernern wie nächsten-Nachbarn-Klassifizierern. Jedoch können auch im Few-Shot-Regime diskriminativ trainierte lineare Prädiktoren eine bessere Generalisierung bieten. Wir schlagen vor, diese Prädiktoren als Grundlerner zu verwenden, um Repräsentationen für Few-Shot-Lernen zu erlernen, und zeigen, dass sie bessere Kompromisse zwischen Merkmalsgröße und Leistung bei einer Reihe von Few-Shot-Erkennungsbenchmarks bieten. Unser Ziel ist es, Merkmals-Einbettungen zu erlernen, die unter einer linearen Klassifikationsregel gut generalisieren, wenn es um neue Kategorien geht. Um das Ziel effizient zu erreichen, nutzen wir zwei Eigenschaften linearer Klassifizierer: die implizite Differentiation der Optimalitätsbedingungen des konvexen Problems und die duale Formulierung des Optimierungsproblems. Dies ermöglicht es uns, hochdimensionale Einbettungen mit verbessertem Generalisierungsvermögen bei nur geringfügig erhöhtem rechnerischen Aufwand zu verwenden. Unser Ansatz, MetaOptNet genannt, erzielt den aktuellen Stand der Technik in den Few-Shot-Lernbenchmarks miniImageNet, tieredImageNet, CIFAR-FS und FC100. Unser Code ist unter https://github.com/kjunelee/MetaOptNet verfügbar.