HyperAIHyperAI

Command Palette

Search for a command to run...

A La Carte Einbettung: Günstig aber effektive Induktion semantischer Merkmalsvektoren

Mikhail Khodak; Nikunj Saunshi; Yingyu Liang; Tengyu Ma; Brandon Stewart; Sanjeev Arora

Zusammenfassung

Motivationen wie Domänenanpassung (domain adaptation), Transferlernen (transfer learning) und Merkmalslernen (feature learning) haben das Interesse an der Generierung von Einbettungen für seltene oder unbekannte Wörter, n-Gramme, Synsets und andere textuelle Merkmale angeregt. Dieses Papier stellt eine „à la carte“-Einbettung vor, eine einfache und allgemeine Alternative zu den üblichen word2vec-basierten Ansätzen zur Erstellung solcher Repräsentationen, die auf jüngsten theoretischen Ergebnissen für GloVe-ähnliche Einbettungen basiert. Unsere Methode beruht hauptsächlich auf einer linearen Transformation, die effizient mit vortrainierten Wortvektoren und linearer Regression erlernbar ist. Diese Transformation kann in Zukunft spontan angewendet werden, wenn ein neues textuelles Merkmal oder ein seltenes Wort auftaucht, selbst wenn nur ein einzelnes Verwendungsexemplar verfügbar ist. Wir stellen einen neuen Datensatz vor, der zeigt, wie die „à la carte“-Methode weniger Beispiele von Wörtern im Kontext benötigt, um hochwertige Einbettungen zu lernen, und erhalten dabei Stand-des-Wissens-Ergebnisse in einer Ad-hoc-Aufgabe sowie bei einigen unüberwachten Dokumentklassifikationsaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
A La Carte Einbettung: Günstig aber effektive Induktion semantischer Merkmalsvektoren | Paper | HyperAI