HyperAIHyperAI

Command Palette

Search for a command to run...

Können Foundation Models Ihre Daten beherrschen?

Avanika Narayan Ines Chami Laurel Orr Simran Arora Christopher Ré

Zusammenfassung

Foundation Models (FMs) sind Modelle, die auf großen Korpora an Daten trainiert wurden und auf sehr großer Skala in der Lage sind, sich auf neue Aufgaben zu verallgemeinern, ohne dass eine auf die spezifische Aufgabe abgestimmte Feinabstimmung erforderlich ist. Während diese Modelle weiter an Größe zunehmen, treiben Innovationen kontinuierlich die Grenzen dessen voran, was diese Modelle in Bezug auf Sprach- und Bildaufgaben leisten können. In diesem Paper wird ein bisher wenig erforschtes Gebiet von FMs untersucht: klassische Datenaufgaben wie Datenbereinigung und -integration. Als Proof-of-Concept formulieren wir fünf Aufgaben zur Datenbereinigung und -integration als Prompting-Aufgaben und evaluieren die Leistung von FMs auf diesen Aufgaben. Wir stellen fest, dass große FMs eine hervorragende Verallgemeinerungsfähigkeit aufweisen und selbst bei Aufgaben der Datenbereinigung und -integration state-of-the-art (SoTA)-Leistung erzielen, obwohl sie nicht für diese spezifischen Datenaufgaben trainiert wurden. Wir identifizieren dabei bestimmte Forschungsherausforderungen und -chancen, die sich aus diesen Modellen ergeben, darunter Herausforderungen im Umgang mit privaten und domainspezifischen Daten sowie Chancen, Datenverwaltungssysteme für Nicht-Experten zugänglicher zu machen. Unsere Code-Implementierungen und Experimente stellen wir öffentlich unter folgender URL zur Verfügung: https://github.com/HazyResearch/fm_data_tasks.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp