Zur Vollständigkeitsorientierten Werkzeugabfrage für Large Language Models

Kürzlich hat die Integration externer Werkzeuge mit großen Sprachmodellen (Large Language Models, LLMs) erhebliche Aufmerksamkeit erfahren, da sie eine effektive Strategie darstellt, um die durch die Vortrainingsdaten inhärenten Einschränkungen zu überwinden. In der Praxis enthalten jedoch viele Systeme eine Vielzahl verschiedener Werkzeuge, was es aufgrund von Längenbeschränkungen und Latenzanforderungen unpraktisch macht, alle Werkzeuge gleichzeitig in LLMs einzugeben. Um das volle Potenzial von werkzeugerweiterten LLMs auszuschöpfen, ist daher die Entwicklung eines effektiven Werkzeugretrieval-Systems von entscheidender Bedeutung. Bestehende Ansätze zur Werkzeugretrieval konzentrieren sich hauptsächlich auf die semantische Übereinstimmung zwischen Benutzeranfragen und Werkzeugbeschreibungen und führen häufig zur Auswahl redundanter, ähnlicher Werkzeuge. Dadurch können diese Methoden nicht die vollständige und vielfältige Werkzeugmenge bereitstellen, die für die Bewältigung komplexer, mehrdimensionaler Aufgaben durch LLMs erforderlich ist. In diesem Artikel stellen wir ein neuartiges, modellunabhängiges, auf kooperativem Lernen basierendes Werkzeugretrieval-Verfahren namens COLT (COllaborative Learning-based Tool Retrieval) vor, das nicht nur semantische Ähnlichkeiten zwischen Benutzeranfragen und Werkzeugbeschreibungen erfasst, sondern auch die kooperativen Beziehungen zwischen Werkzeugen berücksichtigt. Konkret feinjustieren wir zunächst PLM-basierte Retrieval-Modelle im semantischen Lernstadium, um semantische Beziehungen zwischen Anfragen und Werkzeugen zu erfassen. Anschließend erstellen wir drei bipartite Graphen zwischen Anfragen, Szenarien und Werkzeugen und führen einen dualen Graphen-kollaborativen Lernansatz ein, um die komplexen kooperativen Beziehungen zwischen Werkzeugen im kollaborativen Lernstadium zu erfassen. Umfangreiche Experimente sowohl auf einem öffentlichen Benchmark als auch auf dem neu eingeführten ToolLens-Datensatz zeigen, dass COLT herausragende Leistung erzielt. Insbesondere übertrifft die Leistung von BERT-mini (11 M Parameter) mit unserem vorgeschlagenen Modellrahmen die von BERT-large (340 M Parameter), das über das 30-fache an Parametern verfügt. Darüber hinaus werden wir ToolLens öffentlich zugänglich machen, um zukünftige Forschung im Bereich der Werkzeugretrieval zu fördern.