HyperAIHyperAI

Command Palette

Search for a command to run...

Bewertung der maschinellen Übersetzung mit großen Sprachmodellen für mehrsprachige Fehlerberichte

Patil Avinash Tao Siru Jadon Aryan

Zusammenfassung

Die genaue Übersetzung von Fehlerberichten ist entscheidend für eine effiziente Zusammenarbeit in der globalen Softwareentwicklung. In dieser Studie führen wir die erste umfassende Bewertung der Leistung von maschinellem Übersetzen (MT) bei Fehlerberichten durch und analysieren die Fähigkeiten von DeepL, AWS Translate sowie großen Sprachmodellen wie ChatGPT, Claude, Gemini, LLaMA und Mistral anhand von Daten aus dem GitHub-Repository von Visual Studio Code, wobei wir uns speziell auf Berichte mit dem Tag „english-please“ konzentrieren. Um sowohl die Übersetzungsqualität als auch die Genauigkeit der Quellspracherkennung zu bewerten, setzen wir eine Vielzahl von MT-Bewertungsmetriken ein – darunter BLEU, BERTScore, COMET, METEOR und ROUGE – sowie Klassifikationsmetriken wie Genauigkeit, Präzision, Recall und F1-Score. Unsere Ergebnisse zeigen, dass ChatGPT (gpt-4o) zwar hervorragende Leistungen in Bezug auf semantische und lexikalische Übersetzungsqualität erzielt, jedoch nicht die führende Rolle bei der Quellspracherkennung einnimmt. Claude und Mistral erreichen jeweils die höchsten F1-Scores (0,7182 bzw. 0,7142), während Gemini die beste Präzision (0,7414) erzielt. AWS Translate zeigt die höchste Genauigkeit (0,4717) bei der Erkennung der Quellsprache. Diese Ergebnisse unterstreichen, dass kein einzelnes System in allen Aufgaben dominierend ist, was die Bedeutung einer aufgabebezogenen Bewertung unterstreicht. Die Studie zeigt zudem die Notwendigkeit einer domänenspezifischen Anpassung bei der Übersetzung technischer Inhalte und liefert praktikable Erkenntnisse für die Integration von MT in Workflows zur Fehlerzuordnung. Der Quellcode und das Datenset für diese Arbeit sind auf GitHub verfügbar: https://github.com/av9ash/English-Please


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp