HyperAI
Command Palette
Search for a command to run...
Wiki
Machine Learning Glossary: Definitionen und Erklärungen wichtiger KI- und ML-Konzepte erkunden
Anstatt eine Eins-zu-eins-Entsprechung zu realen Objekten anzustreben, konzentrieren sich digitale Cousins auf ähnliche geometrische und semantische Eigenschaften und generieren so praxisnahe Trainingsdaten zu geringeren Kosten.
DAPE steht für Data-Adaptive Positional Encoding, eine neue Methode zur Positionskodierung, die von Zheng Chuanyang und anderen von der Chinesischen Universität Hongkong vorgeschlagen wurde. Zum Forschungsteam gehören auch Forscher der National University of Singapore, des Noah Lab, der University of Hong Kong und der Hong Kong Baptist University. […]
SparseLLM ist ein neues globales Pruning-Framework, das von Forschern der Emory University und des Argonne National Laboratory im Jahr 2024 vorgeschlagen wurde. Das zugehörige Papier trägt den Titel „SparseLLM: Towards Global Pruning of Pre-trai […]“.
Diff Transformer berechnet zwei unabhängige Softmax-Aufmerksamkeitskarten und ermittelt dann aus der Differenz den endgültigen Aufmerksamkeitswert. Mit dieser Methode können Aufmerksamkeitsstörungen wirksam beseitigt werden und das Modell kann dazu veranlasst werden, den relevantesten Teilen der Eingabe mehr Aufmerksamkeit zu schenken.
UNA steht für Unified Alignment Framework, ein neues Ausrichtungsframework, das von einem Forschungsteam von Salesforce und der Universität Xiamen vorgeschlagen wurde. Das zugehörige Dokument trägt den Titel „UNA: Unifying Alignments of […]
Swarm ist ein experimentelles Multi-Agenten-Framework, das 2024 von OpenAI entwickelt wurde und die Konstruktion, Orchestrierung und Bereitstellung von Multi-Agenten-Systemen vereinfachen soll. Swarm konzentriert sich darauf, die Zusammenarbeit und Ausführung von Agenten leichtgewichtig, hochgradig kontrollierbar und einfach zu testen zu machen. Der Kern von Swarm[…]
Michelangelo ist eine von DeepMind-Forschern im Jahr 2024 vorgeschlagene Methode zur Bewertung der Denkfähigkeit großer Sprachmodelle in langen Textkontexten. Dies geschieht durch ein Framework namens Latent Structure Queries (LSQ) […]
Das Halteproblem ist ein wichtiges Problem in der Theorie der Berechenbarkeit in Logik und Mathematik. Es wurde 1936 vom britischen Mathematiker Alan Turing vorgeschlagen. Das relevante Papier ist Turings berühmtes Papier „On Computable Numbers […]“.
Wenn das Modell während des Trainings beginnt, Daten zu generieren, die weit von der tatsächlichen Datenverteilung abweichen, sinkt die Leistung des Modells drastisch, was letztendlich dazu führt, dass die Modellausgabe bedeutungslos wird.
Das Hopfield-Netzwerk ist ein rekurrentes neuronales Netzwerk, das hauptsächlich für Probleme wie assoziatives Gedächtnis und Mustererkennung verwendet wird.
Mit der Reduzierung von Belohnungsfehlern ist das Problem beim bestärkenden Lernen (RL) gemeint, das dadurch entsteht, dass die Belohnungsfunktion nicht vollständig mit dem wahren Ziel des Agenten übereinstimmt.
Das sequentielle Empfehlungssystem ist ein wichtiger Typ von Empfehlungssystem, dessen Hauptaufgabe darin besteht, das nächste Verhalten des Benutzers basierend auf der historischen Verhaltenssequenz des Benutzers vorherzusagen.
R-MFDN verbessert die Empfindlichkeit des Modells gegenüber gefälschten Inhalten durch eine kreuzmodale kontrastive Lernverlustfunktion und eine identitätsgesteuerte kontrastive Lernverlustfunktion.
Das Karel-Puzzle ist eine Reihe von Problemen, bei denen es darum geht, die Aktionen eines Roboters in einer simulierten Umgebung durch Anweisungen zu steuern.
Fully Forward Mode (FFM) ist eine Methode zum Trainieren optischer neuronaler Netzwerke. Es wurde 2024 vom Forschungsteam des Akademikers Dai Qionghai und Professor Fang Lu von der Tsinghua-Universität vorgeschlagen. Das entsprechende Papier trägt den Titel „Vollständiger Vorwärtsmodus-Zug […]
Das Busy Beavers-Spiel ist ein theoretisches Informatikproblem, das 1962 vom Mathematiker Tibor Radó vorgeschlagen wurde.
Das Funktionsprinzip von RNN besteht darin, die Informationen vorheriger Zeitschritte durch den Zustand der verborgenen Schicht zu speichern, sodass die Ausgabe des Netzwerks von der aktuellen Eingabe und dem vorherigen Zustand abhängt.
ResNet löst effektiv die Probleme des Gradientenverschwindens und der Gradientenexplosion, die bei zunehmender Netzwerktiefe auftreten, indem es im Netzwerk Restverbindungen hinzufügt.
Adam ist ein Algorithmus zur Gradientenoptimierung erster Ordnung, der sich besonders für die Behandlung von Optimierungsproblemen mit großen Datenmengen und Parametern eignet.
Die Kerntechnologie des GPT-Modells ist die Transformer-Architektur, die durch den Self-Attention-Mechanismus effektiv Kontextinformationen erfasst.
Das Frequenzprinzip, kurz F-Prinzip, ist ein wichtiges Konzept im Bereich des Deep Learning. Es beschreibt die Eigenschaft, dass tiefe neuronale Netzwerke (DNNs) während des Trainings dazu neigen, sich der Zielfunktion von niedriger Frequenz zu hoher Frequenz anzupassen. Dieses Prinzip wurde von der Shanghai Jiao Tong University […]
Die Parameteraggregation beschreibt das Phänomen, dass während des Trainingsprozesses eines neuronalen Netzwerks die Modellparameter dazu neigen, sich in Richtung bestimmter Werte oder Richtungen zu sammeln.
Die zyklomatische Komplexität ist eine Softwaremetrik, mit der die Komplexität eines Programms gemessen wird.
Die Kernidee von Dropout besteht darin, während des Trainingsprozesses einige Neuronen im Netzwerk und ihre Verbindungen zufällig zu verwerfen (vorübergehend zu entfernen), um eine Überanpassung des Modells zu verhindern.
Anstatt eine Eins-zu-eins-Entsprechung zu realen Objekten anzustreben, konzentrieren sich digitale Cousins auf ähnliche geometrische und semantische Eigenschaften und generieren so praxisnahe Trainingsdaten zu geringeren Kosten.
DAPE steht für Data-Adaptive Positional Encoding, eine neue Methode zur Positionskodierung, die von Zheng Chuanyang und anderen von der Chinesischen Universität Hongkong vorgeschlagen wurde. Zum Forschungsteam gehören auch Forscher der National University of Singapore, des Noah Lab, der University of Hong Kong und der Hong Kong Baptist University. […]
SparseLLM ist ein neues globales Pruning-Framework, das von Forschern der Emory University und des Argonne National Laboratory im Jahr 2024 vorgeschlagen wurde. Das zugehörige Papier trägt den Titel „SparseLLM: Towards Global Pruning of Pre-trai […]“.
Diff Transformer berechnet zwei unabhängige Softmax-Aufmerksamkeitskarten und ermittelt dann aus der Differenz den endgültigen Aufmerksamkeitswert. Mit dieser Methode können Aufmerksamkeitsstörungen wirksam beseitigt werden und das Modell kann dazu veranlasst werden, den relevantesten Teilen der Eingabe mehr Aufmerksamkeit zu schenken.
UNA steht für Unified Alignment Framework, ein neues Ausrichtungsframework, das von einem Forschungsteam von Salesforce und der Universität Xiamen vorgeschlagen wurde. Das zugehörige Dokument trägt den Titel „UNA: Unifying Alignments of […]
Swarm ist ein experimentelles Multi-Agenten-Framework, das 2024 von OpenAI entwickelt wurde und die Konstruktion, Orchestrierung und Bereitstellung von Multi-Agenten-Systemen vereinfachen soll. Swarm konzentriert sich darauf, die Zusammenarbeit und Ausführung von Agenten leichtgewichtig, hochgradig kontrollierbar und einfach zu testen zu machen. Der Kern von Swarm[…]
Michelangelo ist eine von DeepMind-Forschern im Jahr 2024 vorgeschlagene Methode zur Bewertung der Denkfähigkeit großer Sprachmodelle in langen Textkontexten. Dies geschieht durch ein Framework namens Latent Structure Queries (LSQ) […]
Das Halteproblem ist ein wichtiges Problem in der Theorie der Berechenbarkeit in Logik und Mathematik. Es wurde 1936 vom britischen Mathematiker Alan Turing vorgeschlagen. Das relevante Papier ist Turings berühmtes Papier „On Computable Numbers […]“.
Wenn das Modell während des Trainings beginnt, Daten zu generieren, die weit von der tatsächlichen Datenverteilung abweichen, sinkt die Leistung des Modells drastisch, was letztendlich dazu führt, dass die Modellausgabe bedeutungslos wird.
Das Hopfield-Netzwerk ist ein rekurrentes neuronales Netzwerk, das hauptsächlich für Probleme wie assoziatives Gedächtnis und Mustererkennung verwendet wird.
Mit der Reduzierung von Belohnungsfehlern ist das Problem beim bestärkenden Lernen (RL) gemeint, das dadurch entsteht, dass die Belohnungsfunktion nicht vollständig mit dem wahren Ziel des Agenten übereinstimmt.
Das sequentielle Empfehlungssystem ist ein wichtiger Typ von Empfehlungssystem, dessen Hauptaufgabe darin besteht, das nächste Verhalten des Benutzers basierend auf der historischen Verhaltenssequenz des Benutzers vorherzusagen.
R-MFDN verbessert die Empfindlichkeit des Modells gegenüber gefälschten Inhalten durch eine kreuzmodale kontrastive Lernverlustfunktion und eine identitätsgesteuerte kontrastive Lernverlustfunktion.
Das Karel-Puzzle ist eine Reihe von Problemen, bei denen es darum geht, die Aktionen eines Roboters in einer simulierten Umgebung durch Anweisungen zu steuern.
Fully Forward Mode (FFM) ist eine Methode zum Trainieren optischer neuronaler Netzwerke. Es wurde 2024 vom Forschungsteam des Akademikers Dai Qionghai und Professor Fang Lu von der Tsinghua-Universität vorgeschlagen. Das entsprechende Papier trägt den Titel „Vollständiger Vorwärtsmodus-Zug […]
Das Busy Beavers-Spiel ist ein theoretisches Informatikproblem, das 1962 vom Mathematiker Tibor Radó vorgeschlagen wurde.
Das Funktionsprinzip von RNN besteht darin, die Informationen vorheriger Zeitschritte durch den Zustand der verborgenen Schicht zu speichern, sodass die Ausgabe des Netzwerks von der aktuellen Eingabe und dem vorherigen Zustand abhängt.
ResNet löst effektiv die Probleme des Gradientenverschwindens und der Gradientenexplosion, die bei zunehmender Netzwerktiefe auftreten, indem es im Netzwerk Restverbindungen hinzufügt.
Adam ist ein Algorithmus zur Gradientenoptimierung erster Ordnung, der sich besonders für die Behandlung von Optimierungsproblemen mit großen Datenmengen und Parametern eignet.
Die Kerntechnologie des GPT-Modells ist die Transformer-Architektur, die durch den Self-Attention-Mechanismus effektiv Kontextinformationen erfasst.
Das Frequenzprinzip, kurz F-Prinzip, ist ein wichtiges Konzept im Bereich des Deep Learning. Es beschreibt die Eigenschaft, dass tiefe neuronale Netzwerke (DNNs) während des Trainings dazu neigen, sich der Zielfunktion von niedriger Frequenz zu hoher Frequenz anzupassen. Dieses Prinzip wurde von der Shanghai Jiao Tong University […]
Die Parameteraggregation beschreibt das Phänomen, dass während des Trainingsprozesses eines neuronalen Netzwerks die Modellparameter dazu neigen, sich in Richtung bestimmter Werte oder Richtungen zu sammeln.
Die zyklomatische Komplexität ist eine Softwaremetrik, mit der die Komplexität eines Programms gemessen wird.
Die Kernidee von Dropout besteht darin, während des Trainingsprozesses einige Neuronen im Netzwerk und ihre Verbindungen zufällig zu verwerfen (vorübergehend zu entfernen), um eine Überanpassung des Modells zu verhindern.