HyperAIHyperAI

Command Palette

Search for a command to run...

Maschinen das Codieren beizubringen: Neuronale Markup-Generierung mit visueller Aufmerksamkeit

Sumeet S. Singh

Zusammenfassung

Wir präsentieren ein neuronales Transduktormodell mit visueller Aufmerksamkeit (visual attention), das lernt, LaTeX-Markup für eine reale mathematische Formel basierend auf ihrem Bild zu generieren. Indem wir sequenzielle Modellierung und Transduktionstechniken anwenden, die in verschiedenen Modalitäten wie natürlicher Sprache, Bildern, Handschrift, Sprache und Audio sehr erfolgreich waren, entwickeln wir ein Bild-zu-Markup-Modell, das lernen kann, syntaktisch und semantisch korrektes LaTeX-Markup-Code über 150 Wörter lang zu erzeugen und einen BLEU-Score von 89 % erreicht; dies verbessert den bisherigen Stand der Technik für das Im2Latex-Problem. Darüber hinaus zeigen wir durch Wärmebildvisualisierung, wie Aufmerksamkeit bei der Interpretation des Modells hilft und Symbole im Bild genau erkennen (detect and localize) kann, obwohl es ohne jegliche Begrenzungsboxendaten trainiert wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp