Retrieval-Augmented Code Generation und -Zusammenfassung

Software-Entwickler schreiben während der Softwareentwicklung eine große Menge an Quellcode und Dokumentation. Intrinsic erinnern sich Entwickler häufig an Teile von Quellcode oder Code-Zusammenfassungen, die sie in der Vergangenheit verfasst haben, insbesondere bei der Implementierung von Software oder der Erstellung von Dokumentationen. Um das Verhalten von Entwicklern bei der Generierung von Code oder Zusammenfassungen nachzuahmen, stellen wir einen retrieval-erweiterten Rahmen, REDCODER, vor, der relevante Code-Beiträge oder Zusammenfassungen aus einer Retrieval-Datenbank abruft und diese als Ergänzung für Code-Generierungs- oder Zusammenfassungsmodelle bereitstellt. REDCODER zeichnet sich durch mehrere Besonderheiten aus. Erstens erweitert es die aktuell fortschrittlichsten Techniken des dichten Retrievals, um relevante Code-Beiträge oder Zusammenfassungen zu finden. Zweitens ist es in der Lage, mit Retrieval-Datenbanken zu arbeiten, die entweder einmodale (nur Code oder natürliche Sprachbeschreibungen) oder bimodale Instanzen (Code-Beschreibungspare) enthalten. Wir führen Experimente und eine umfassende Analyse auf zwei Benchmark-Datensätzen für Code-Generierung und -Zusammenfassung in Java und Python durch, und die vielversprechenden Ergebnisse bestätigen die Wirksamkeit unseres vorgeschlagenen retrieval-erweiterten Rahmens.