CRINN: Kontrastives Verstärkungslernen für die näherungsweise Suche nach nächsten Nachbarn

Approximate Nearest-Neighbor-Suche (ANNS) Algorithmen sind für moderne KI-Anwendungen zunehmend entscheidend, insbesondere in der retrieval-augmented Generation (RAG) und agentenbasierten LLM-Anwendungen. In diesem Paper stellen wir CRINN vor, ein neues Paradigma für ANNS-Algorithmen. CRINN formuliert die Optimierung von ANNS als ein Problem des Verstärkenden Lernens, wobei die Ausführungszeit als Belohnungssignal dient. Dieser Ansatz ermöglicht die automatische Generierung sukzessiv schnellerer ANNS-Implementierungen unter Einhaltung von Genauigkeitsanforderungen. Unsere experimentelle Evaluierung belegt die Wirksamkeit von CRINN an sechs weit verbreiteten NNS-Benchmark-Datensätzen. Im Vergleich zu aktuellen Open-Source-ANNS-Algorithmen erreicht CRINN die beste Leistung bei drei Datensätzen (GIST-960-Euclidean, MNIST-784-Euclidean und GloVe-25-angular) und teilt sich den ersten Platz bei zwei weiteren (SIFT-128-Euclidean und GloVe-25-angular). Die Bedeutung des Erfolgs von CRINN reicht weit über die Optimierung von ANNS hinaus: Er bestätigt, dass LLMs, die durch Verstärkendes Lernen erweitert sind, als wirksames Werkzeug zur Automatisierung komplexer algorithmischer Optimierungen eingesetzt werden können, die spezialisiertes Wissen und aufwändige manuelle Feinabstimmung erfordern. Der Quellcode ist unter https://github.com/deepreinforce-ai/CRINN verfügbar.