Verbesserte Baselines mit Momentum-Kontrastives Lernen

Kontrastliches unüberwachtes Lernen hat kürzlich ermutigende Fortschritte gezeigt, z.B. in Momentum Contrast (MoCo) und SimCLR. In dieser Notiz überprüfen wir die Effektivität von zwei Designverbesserungen von SimCLR, indem wir sie im MoCo-Framework implementieren. Durch einfache Modifikationen des MoCo-Verfahrens – nämlich die Verwendung eines MLP-Projektionskopfes und einer intensiveren Datenverstärkung – etablieren wir stärkere Baseline-Modelle, die SimCLR übertreffen und keine großen Trainingsbatchs erfordern. Wir hoffen, dass dies den Zugang zu neuesten Forschungen im Bereich des unüberwachten Lernens verbessert. Der Code wird öffentlich zur Verfügung gestellt.