Mensch-in-the-Loop (HITL)

Human-in-the-Loop (HITL, auch übersetzt als „Mensch-Computer-Zusammenarbeit“, „Human in the Loop“, „Mensch im Zyklus“ oder „Mensch-Computer-Interaktion“ usw.) ist ein Zweig der künstlichen Intelligenz, der menschliche und maschinelle Intelligenz nutzt, um Modelle für maschinelles Lernen zu erstellen.

HITL ist ein iterativer Feedbackprozess, bei dem eine Person (oder ein Team) mit einem algorithmisch generierten System (z. B. Computer Vision, maschinelles Lernen oder künstliche Intelligenz) interagiert.

Jedes Mal, wenn ein Mensch Feedback gibt, aktualisiert und passt das Computer-Vision-Modell seine Sicht auf die Welt an. Je kollaborativer und effektiver das Feedback ist, desto schneller wird das Modell aktualisiert und desto genauere Ergebnisse werden aus den während des Trainingsprozesses bereitgestellten Datensätzen erzielt. Genauso wie Eltern die Entwicklung ihrer Kinder begleiten und ihnen erklären, dass Katzen miauen und Hunde bellen, bis ihre Kinder den Unterschied zwischen Katzen und Hunden verstehen. 

HITL Wie funktioniert es?

HITL zielt darauf ab, Ziele zu erreichen, die Algorithmen und Menschen allein nicht erreichen können. Insbesondere beim Trainieren von Algorithmen, wie etwa Computer Vision-Modellen, ist es oft hilfreich, wenn menschliche Kommentatoren oder Datenwissenschaftler Feedback geben, damit das Modell besser verstehen kann, was ihm gezeigt wird. 

In den meisten Fällen kann der HITL-Prozess entweder im überwachten oder im unüberwachten Lernen eingesetzt werden.

Bei der Entwicklung von HITL-Modellen mit überwachtem Lernen stellen Annotatoren oder Datenwissenschaftler Computer-Vision-Modellen beschriftete und annotierte Datensätze zur Verfügung. Der HITL-Input ermöglicht es dem Modell dann, neue Klassifizierungen für die unbeschrifteten Daten abzubilden und die Lücken mit höherer Genauigkeit zu füllen als menschliche Teams. HITL verbessert die Genauigkeit und Ausgabe dieses Prozesses und stellt sicher, dass Computer Vision-Modelle schneller und erfolgreicher lernen als ohne menschliches Eingreifen. 

Beim unüberwachten Lernen erhalten Computer-Vision-Modelle große, unbeschriftete Datensätze, wodurch sie gezwungen sind, zu lernen, wie sie Bilder oder Videos entsprechend strukturieren und beschriften. HITL-Eingaben sind normalerweise breiter gefächert und fallen in die Kategorie der Deep-Learning-Übungen. 

Wie verbessert diese Strategie die Ergebnisse des maschinellen Lernens?

Das Gesamtziel der HITL-Eingaben und des HITL-Feedbacks besteht darin, die Ergebnisse des maschinellen Lernens zu verbessern. Intelligentere Modelle für maschinelles Lernen oder Computervision durch kontinuierliches menschliches Feedback und Input. Mit kontinuierlicher menschlicher Hilfe kann das Modell bessere Ergebnisse erzielen, die Genauigkeit steigern und Objekte in Bildern oder Videos sicherer identifizieren. 

Mit der Zeit wird das Modell effektiver trainiert und liefert durch Mensch-Maschine-Feedback die Ergebnisse, die Projektleiter benötigen. Auf diese Weise können Algorithmen des maschinellen Lernens effizienter trainiert, getestet, optimiert und validiert werden. 

Nachteile des HITL-Workflows

Obwohl Mensch-Computer-Interaktionssysteme viele Vorteile haben, gibt es auch Nachteile.  

Die Verwendung von HITL-Prozessen kann langsam und umständlich sein und KI-basierte Systeme können Fehler machen, ebenso wie Menschen. Dabei können menschliche Fehler unbemerkt bleiben und sich unbeabsichtigt negativ auf die Leistung und Ausgabe des Modells auswirken.

Daher werden Maschinen benötigt, um den Datensatz zu annotieren. Wenn Menschen jedoch stärker in den Trainingsprozess eines maschinellen Lernmodells eingebunden sind, kann dieser länger dauern, als wenn keine Menschen beteiligt sind. 

HITL KI-Trainingsbeispiel

Im medizinischen Bereich gibt es ein Beispiel für einen gesundheitsbezogenen Bild- und Videodatensatz. Eine Studie der Stanford University aus dem Jahr 2018 ergab, dass KI-Modelle mit HITL-Input und -Feedback bessere Leistungen zeigten, als wenn die KI-Modelle ohne menschliche Aufsicht arbeiteten oder wenn menschliche Datenwissenschaftler dieselben Datensätze ohne Unterstützung durch KI-basierte Automatisierung verarbeiteten. 

Mensch und Maschine können gemeinsam besser zusammenarbeiten und bessere Ergebnisse erzielen. Der medizinische Bereich ist nur eines von vielen Beispielen für den Einsatz von Modellen des maschinellen Lernens für die Mensch-Computer-Interaktion. 

KI-basierte automatisierte Systeme sind äußerst nützlich bei der Durchführung von Qualitätskontroll- und -sicherungsprüfungen an kritischen Fahrzeug- oder Flugzeugkomponenten. Um jedoch beruhigt sein zu können, ist menschliche Aufsicht unerlässlich. 

HITL-Eingaben sind wertvoll, wenn der Datensatz klein ist und in das Modell eingespeist wird. Bei Datensätzen, die beispielsweise seltene Sprachen oder Artefakte enthalten, verfügen Machine-Learning-Modelle möglicherweise nicht über genügend Daten zum Lernen, und menschliche Eingaben sind für das Training des vom Algorithmus generierten Modells von unschätzbarem Wert.  

Verweise

【1】https://encord.com/glossary/was-ist-human-in-the-loop-ai/