WISE-Technologie Zur Bekämpfung Von Halluzinationen

Die WISE-Technologie (Wisdom for Hallucination Mitigation) wurde 2024 von der Zhejiang-Universität vorgeschlagen. Sie zielt darauf ab, Halluzinationsphänomene in großen Sprachmodellen zu bekämpfen und die Fähigkeiten des Modells zur Bearbeitung des Wissensspeichers zu verbessern. Die relevanten Papierergebnisse sindWISE: Neugestaltung des Wissensgedächtnisses für die lebenslange Modellbearbeitung großer Sprachmodelle" und wurde von der NeurIPS (2024 Conference on Neural Information Processing Systems) angenommen.

Der Kern dieser Technologie liegt in ihrem Zweiparameter-Gedächtnismechanismus, der die Arbeitsteilung zwischen der linken und rechten Hemisphäre des menschlichen Gehirns bei verschiedenen Aufgaben nachahmt. WISE speichert vorab trainiertes Wissen im Hauptspeicher und führt einen Nebenspeicher ein, um speziell bearbeitetes Wissen zu speichern. Dieses Nebengedächtnis kann als Mittelzeitgedächtnis betrachtet werden, das die Generalisierungsfähigkeit des Langzeitgedächtnisses mit der Zuverlässigkeit und Lokalität des auf Abruf basierenden Arbeitsgedächtnisses kombiniert.

Für die kontinuierliche Bearbeitung entwickelte das Forschungsteam einen Mechanismus zur Wissensteilung, bei dem verschiedene Bearbeitungsgruppen in unterschiedlichen Unterräumen der Parameter gespeichert und dann ohne Konflikte in einem gemeinsamen Speicher zusammengeführt werden können. Umfangreiche Experimente zeigen, dass WISE frühere Methoden zur Modellbearbeitung übertrifft und die unmögliche Dreifaltigkeit aus Fragenbeantwortung, Dehalluzination und lebenslanger Modellbearbeitung bei der Handhabung von Fällen außerhalb der Verteilung auf beliebten großen Sprachmodellarchitekturen wie GPT, LLaMA und Mistral überwindet.