Hinter Dem Turing Award: Sie Haben Vor 30 Jahren Den Richtigen Weg Gewählt Und Auf Das Richtige Szenario Gesetzt
Zu den notwendigen Voraussetzungen für die Verleihung des Turing Award gehören bedeutende Forschungsdurchbrüche im Bereich der Computertechnik und wichtige Beiträge zur Gesellschaft. Die drei Vorgänger verdienen die Auszeichnung deshalb, weil sie nicht nur große akademische Durchbrüche in der wissenschaftlichen Forschung erzielt haben, sondern auch bei der Entwicklung praktischer Lösungen für Probleme der realen Welt eine Vorreiterrolle einnehmen.
Seit seiner Einführung im Jahr 1966 wurde der Turing Award hauptsächlich an Personen verliehen, die wichtige Beiträge zur Computerindustrie geleistet haben.
Drei große Namen auf dem Gebiet des Deep Learning gewannen 2018 die höchste Auszeichnung der Computerbranche – den Turing Award. Ihre Auszeichnungen sind wohlverdient. Von der Zeit, als Deep Learning weder verstanden noch geschätzt wurde, bis zu seiner heutigen Anwendung fast überall haben sie einen unverzichtbaren Beitrag zur Innovation und Förderung dieser Technologie geleistet.
Auf ihre Berichte und Erfolge gehen wir hier nicht näher ein. Stattdessen werden wir uns anhand einiger kleiner Szenen ansehen, wie diese drei Spitzenforscher alle Hindernisse auf ihrem Weg überwunden haben.
LeCuns Signaturtechnologie stammt aus Bankschecks
Was LeCun dazu veranlasste, sich mit der Handschrifterkennung zu beschäftigen, war eigentlich ein auf Zufall basierendes Projekt. Zu dieser Zeit war LeCun, der in seinen besten Jahren war, als Teamleiter bei Bell Labs tätig (das damals AT&T gehörte). Als damals führendes Unternehmen im Bereich Kommunikationstechnologie plante AT&T eine Zusammenarbeit mit großen Banken in den USA, um neue Forschungsprojekte durchzuführen.
Die größte Herausforderung für Banken besteht darin, eine große Anzahl handschriftlicher Schecks und Rechnungen zu identifizieren. Damals war das Erkennen handgeschriebener Zeichen eine große Herausforderung und herkömmliche Methoden waren langsam und hatten niedrige Erkennungsraten.
Lecun integrierte den Backpropagation-Algorithmus in das Convolutional Neural Network (CNN) und verwendete fast 10.000 handschriftliche Ziffernbeispiele, die ihm von der US-Post zur Verfügung gestellt wurden, um das System zu trainieren. Im eigentlichen Testverlauf lag die Fehlerrate bei lediglich 5 %.
Anschließend wurde diese innovative Technologie in den Scheckerkennungssystemen der Geldautomaten vieler Banken eingesetzt. In den späten 1990er Jahren wurden mit diesem System 10 bis 20 % der Schecks in den USA anerkannt.
In seiner Forschung schlug Lecun erstmals CNN vor und erreichte unter den damaligen Umständen eine Genauigkeit auf kommerziellem Niveau. Es beweist, dass tiefe neuronale Netzwerke natürliche Vorteile bei der Bildverarbeitung haben.
Aufgrund der damaligen Technologie und Hardware war die Entwicklung tiefer Netzwerke jedoch noch mit zahlreichen Nachteilen verbunden, beispielsweise unzureichender Rechenleistung. Obwohl der Algorithmus ein großer Erfolg war, dauerte das Training anhand des Datensatzes drei Tage.
In der Folgezeit wurde KI erneut kühl aufgenommen. Aufgrund der Benutzerfreundlichkeit von Support Vector Machines (SVM) wurde Deep Learning nicht ernst genommen und stattdessen als Nebentechnologie betrachtet.
Papieradresse:http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
LeCun sucht nach neuen Szenarien für autonomes Fahren
Erst im Jahr 2006 begann diese Technologie, die ursprünglich von den meisten Menschen nicht geschätzt wurde, langsam zu glänzen, dank der langjährigen Beharrlichkeit und Förderung von Yoshua Bengio, Yann LeCun, Geoffrey Hinton und anderen und der Einbeziehung einiger neuer Ideen und Methoden.
2006 ist auch als das erste Jahr des Deep Learning bekannt. Hinton löste das Problem, auf das er schon einmal gestoßen war: das Problem des verschwindenden Gradienten in tiefen Netzwerken.
Springen wir zu 2009-2010,Lecun und die New York University arbeiteten gemeinsam an einem Experiment, um mithilfe von Deep-Learning-Technologie Gebäude, Himmel, Straßen, Fußgänger und Fahrzeuge anhand von Bildern zu identifizieren.
Der wichtigste Schritt bei der Bilderkennung ist die Szenenanalyse. Dabei wird jedes Element im Bild mit der entsprechenden Kategorie gekennzeichnet, gefolgt von der Aufteilung und Kennzeichnung der Bereiche. Die Herausforderung bei diesem Schritt besteht darin, dass er die traditionellen Erkennungsprobleme, die Segmentierung und die Verarbeitung der Erkennung mehrerer Etiketten kombiniert.
Um eine gute visuelle Klassifizierung und Genauigkeit zu erreichen, verwendeten sie faltende neuronale Netzwerke. In der Studie wurde ein Feedforward-Faltungsnetzwerk demonstriert, das durch überwachtes End-to-End-Training mehrere Skalen von Originalpixeln aus großen Bildern extrahierte und damit das damals fortschrittlichste Niveau des Standard-Szenenanalyse-Datensatzes erreichte.
Es ist erwähnenswert, dass dieses Modell nicht auf Feature Engineering basiert, sondern überwachtes Lernen verwendet und anhand vollständig beschrifteter Bilder trainiert wird, um Features auf niedriger und mittlerer Ebene richtig zu erlernen.
Papieradresse:http://yann.lecun.com/exdb/publis/pdf/farabet-pami-13.pdf
Googles beste PR: Hinton und diabetische Retinopathie
Wenn wir davon ausgehen, dass Deep Learning seit 2006 immer mehr Forscher angezogen hat, dann hat seine Entwicklung nach 2012 offiziell einen rasanten Verlauf genommen.
Im Jahr 2012 gelang dem Team um Hinton mit Hilfe von Deep Neural Network-Methoden ein klarer Sieg in der Bilderkennung beim ImageNet-Wettbewerb.
Im Jahr 2016 besiegte AlphGo, das auf Deep Learning basierte, Lee Sedol und Deep Learning machte KI auch vielen Menschen bekannt. Nach Jahren der Stille ist Deep Learning nun offiziell in eine Phase explosiven Wachstums eingetreten und sein Potenzial in vielen Bereichen wie der visuellen Verarbeitung und der Spracherkennung wurde vollständig unter Beweis gestellt.
Ein ganz kleines Beispiel:Im Jahr 2017 führte Geoffrey Hinton Google Brain dazu, eine neue Klassifizierungsmethode zur Unterstützung medizinischer Diagnosen einzusetzen.Durch die Modellierung einzelner Beschriftungen zur Verbesserung der Klassifizierungsmöglichkeiten haben wir auch gezeigt, dass dieser Beschriftungsansatz die Genauigkeit der computergestützten Diagnose der diabetischen Retinopathie verbessert.
Mit dieser innovativen Methode werden große Mengen realer Daten verarbeitet, die einer fachmännischen Kennzeichnung bedürfen.
Damals wurde die Aufgabe der Beschriftung eines Datensatzes üblicherweise auf viele Experten aufgeteilt, von denen jeder nur einen kleinen Teil der Daten beschriftete und derselbe Datenpunkt Beschriftungen enthielt, die von mehreren Experten markiert wurden.
Ein solcher Ansatz kann dazu beitragen, den individuellen Arbeitsaufwand zu verringern und auch dabei helfen, schwer zu findende Wahrheiten in den Daten aufzudecken. Wenn sich Experten über die Bezeichnung desselben Datenpunkts nicht einig sind, besteht der Standardansatz darin, die Bezeichnung, die von Experten stärker unterstützt wird, als richtige Bezeichnung zu verwenden oder die richtige Bezeichnung zu modellieren, um den Verteilungszustand zu erhalten.
Bei diesem Ansatz werden jedoch möglicherweise nützliche Informationen darüber ignoriert, welche Experten welche Etiketten gekennzeichnet haben. Beispielsweise kann eine Situation, die von einem Experten mit einzigartigem Fachwissen entdeckt wurde, letztlich vom Algorithmus ignoriert werden, weil niemand sonst davon weiß.
Das Google Brain-Team schlug vor, die Experten separat zu modellieren und dann Durchschnittsgewichte zu lernen, um diese Informationen möglicherweise auf stichprobenspezifische Weise zu kombinieren. Auf diese Weise kann zuverlässigeren Experten mehr Gewicht beigemessen werden und die einzigartigen Stärken einzelner Experten können genutzt werden, um bestimmte Arten von Daten zu klassifizieren.
Durch die Anwendung tiefer neuronaler Netzwerke konnten sie mit dieser Klassifizierungsmethode die Diagnose von Diabetes über die Netzhaut verbessern und die von ihnen bereitgestellte Algorithmusleistung war auch besser als bei anderen Methoden.
Wählen Sie den richtigen Weg und kommen Sie dem Turing Award näher
27. März 2019Der Turing Award 2018 wurde bekannt gegeben, und drei langjährige Deep-Learning-Praktiker, Yoshua Bengio, Geoffrey Hinton und Yann LeCun, gewannen den Preis.Der Grund dafür ist: Sie haben eine entscheidende Rolle bei der Entwicklung tiefer neuronaler Netzwerke gespielt.
Tatsächlich sind die Beiträge dieser drei Personen zur Entwicklung des Deep Learning zu zahlreich, um sie alle zu erwähnen, und die drei in diesem Artikel aufgeführten Szenarien sind nur eine der Möglichkeiten für ihren Erfolg. Wir können den Ruhm sehen, den wir nach dem Gewinn einer Auszeichnung genießen, aber das Wertvollste für sie sollten die Jahrzehnte der Hingabe und Leidenschaft für die Strecke und die Technologie sein, an die sie glauben.