HyperAI
Command Palette
Search for a command to run...
Wiki
Machine Learning Glossary: Definitionen und Erklärungen wichtiger KI- und ML-Konzepte erkunden
Long Short-Term Memory (LSTM) ist ein zeitrekursives neuronales Netzwerk (RNN), das erstmals 1997 veröffentlicht wurde. Aufgrund seiner einzigartigen Designstruktur eignet sich LSTM für die Verarbeitung und Vorhersage wichtiger Ereignisse in Zeitreihen mit sehr langen Intervallen und Verzögerungen […]
Die Informationsentropie ist eine Größe, die sich zur Messung der Informationsmenge eignet. Es wurde 1948 von Shannon vorgeschlagen. Dabei wurde das Konzept der Entropie aus der Thermodynamik übernommen und die durchschnittliche Informationsmenge nach Ausschluss von Redundanz in Informationen als Informationsentropie bezeichnet und der entsprechende mathematische Ausdruck angegeben. Die drei Eigenschaften der Informationsentropie sind Monotonie: Je höher die Wahrscheinlichkeit eines Ereignisses, desto mehr Informationen enthält es […]
Unter Wissensrepräsentation versteht man die Darstellung und Beschreibung von Wissen. Es geht darum, wie Agenten relevantes Wissen sinnvoll nutzen können. Dies ist eine Studie des Denkens als Rechenprozess. Genau genommen handelt es sich bei Wissensrepräsentation und wissensbasierter Argumentation um zwei eng miteinander verbundene Konzepte im selben Forschungsfeld. Tatsächlich wird der Begriff Wissensrepräsentation jedoch auch verwendet, um ein umfassenderes Konzept zu bezeichnen, das auch die Argumentation einschließt.
Die exponentielle Verlustfunktion ist eine häufig verwendete Verlustfunktion im AdaBoost-Algorithmus. Der Funktionsausdruck liegt in Exponentialform vor, wie im folgenden Diagramm dargestellt. Häufiger Verlustfehler Exponentialer Verlust Exponentialer Verlust: Wird hauptsächlich im Ensemble-Lernalgorithmus von Adaboost verwendet; Scharnierverlust H […]
Im Bereich des maschinellen Lernens bezieht sich Wahrheit auf den genauen Einstellwert des Trainingssatzes für das Klassifizierungsergebnis beim überwachten Lernen, der im Allgemeinen zur Fehlerschätzung und Effektbewertung verwendet wird. Beim überwachten Lernen erscheinen beschriftete Daten normalerweise in der Form (x, t), wobei x die Eingabedaten und t die Beschriftung darstellt. Die richtige Bezeichnung ist Grou […]
Unter Fehler-Divergenz-Zerlegung versteht man den Prozess der Zerlegung des integrierten Generalisierungsfehlers, der wie folgt ausgedrückt werden kann: $latex {E= \overline {E}- \overline {A}}$, wobei die linke Seite E den integrierten Generalisierungsfehler darstellt und die rechte Seite $latex {\over […]
MCMC ist ein Algorithmus zur Stichprobenziehung aus Zufallsverteilungen auf der Grundlage von Markow-Ketten, der die Posterior-Verteilung des betreffenden Parameters durch Zufallsstichprobenziehung im Wahrscheinlichkeitsraum approximiert. Die grundlegende Theorie von MCMC ist der Markow-Prozess. Um in verwandten Algorithmen eine Stichprobe auf einer bestimmten Verteilung zu ziehen, können wir gemäß dem Markow-Prozess von jedem Zustand aus simulieren.
Der Evolutionsalgorithmus ist eine allgemeine Methode zur Problemlösung, die auf der natürlichen Selektion und den natürlichen genetischen Mechanismen der biologischen Welt basiert. Grundlegende Methode: Verwenden Sie einfache Codierungstechnologie, um verschiedene komplexe Strukturen darzustellen, verwenden Sie einfache genetische Operationen und die natürliche Selektion des Überlebens des Stärkeren, um das Lernen zu steuern und die Suchrichtung zu bestimmen. Nutzen Sie die Bevölkerung, um die Suche zu organisieren, sodass […]
Der genetische Algorithmus (GA) ist ein Suchalgorithmus, der in der Computermathematik zur Lösung von Optimierungsproblemen verwendet wird. Es handelt sich um eine Art Evolutionsalgorithmus, der ursprünglich einige Phänomene der Evolutionsbiologie aufgegriffen hat, darunter Vererbung, Mutation, natürliche Selektion und Hybridisierung. Genetische Algorithmen werden üblicherweise in Form einer Computersimulation implementiert. Für ein Optimierungsproblem gibt es […]
Mit der Gewinnrate ist üblicherweise die Informationsgewinnrate gemeint, die das Verhältnis der Knoteninformationen zum Knotenaufteilungsinformationsmaß darstellt. Die Gewinnrate wird normalerweise als eine der Methoden zur Attributauswahl verwendet. Die anderen beiden gängigen Methoden sind Informationsgewinn und Gini-Index. Die Formel für das Verstärkungsverhältnis lautet wie folgt: $latex {GainRatio{ \left( {R} […]
Der Hilbertraum ist ein vollständiger innerer Produktraum, der als vollständiger Vektorraum mit innerem Produkt verstanden werden kann. Der Albert-Raum basiert auf dem endlichdimensionalen euklidischen Raum und kann als Verallgemeinerung des letzteren angesehen werden. Es ist nicht auf reelle Zahlen und endliche Dimensionen beschränkt, aber es ist nicht vollständig. Wie der euklidische Raum ist der Hilbert-Raum ein Innenproduktraum und hat Abstände und Winkel […]
Das Hidden-Markov-Modell (HMM) ist ein probabilistisches Modell von Zeitreihen, das den Prozess der Generierung einer beobachtbaren zufälligen Zustandsfolge aus jedem Zustand durch eine Hidden-Markov-Kette beschreibt. Hidden-Markov-Modelle sind statistische Modelle, die zur Beschreibung eines Markov-Modells mit verborgenen unbekannten Parametern verwendet werden.
Die verborgene Schicht bezieht sich auf die Schicht außer der Eingabeschicht und der Ausgabeschicht in einem mehrstufigen Feedforward-Neuralnetzwerk. Die verborgene Schicht empfängt weder direkt externe Signale noch sendet sie direkt Signale an die Außenwelt. Es wird nur benötigt, wenn die Daten nichtlinear getrennt sind. Neuronen in verborgenen Schichten können viele Formen annehmen, wie z. B. Max-Pooling-Schichten und Faltungsschichten, die jeweils eine andere mathematische Funktion erfüllen, […]
Hard Voting ist eine Abstimmungsmethode, die Klassenbezeichnungen direkt ausgibt und hauptsächlich in Klassifizierungsalgorithmen für maschinelles Lernen zu finden ist. Voting ist eine Kombinationsstrategie für Klassifizierungsprobleme beim Ensemble-Lernen. Die Grundidee besteht darin, im Algorithmus die Klasse mit der höchsten Ausgabe auszuwählen. Beim Hard Voting geht es darum, das Label mit der größten Ausgabe des Algorithmus auszuwählen. Bei gleicher Anzahl der Beschriftungen erfolgt eine aufsteigende Sortierung. […]
Unabhängig und identisch verteilt (IID) bedeutet, dass die Wahrscheinlichkeitsverteilung jeder Variablen in einem Satz von Zufallsvariablen gleich ist und diese Zufallsvariablen voneinander unabhängig sind. Dass eine Reihe von Zufallsvariablen unabhängig und identisch verteilt ist, bedeutet nicht, dass die Wahrscheinlichkeit jedes Ereignisses in ihrem Stichprobenraum gleich ist. Beispielsweise ist die Ergebnisfolge beim Würfeln ungleichmäßiger Würfel unabhängig und identisch verteilt, aber die Wahrscheinlichkeit, dass jede Zahl gewürfelt wird, [...]
Inkrementelles Lernen bedeutet, dass beim Hinzufügen neuer Daten nur die neuen Daten aktualisiert werden. Durch inkrementelles Lernen kann kontinuierlich neues Wissen aus neuen Beispielen gewonnen werden, während der Großteil des zuvor erlernten Wissens erhalten bleibt. Inkrementelles Lernen ähnelt dem menschlichen Lernmodell, bei dem es sich um einen Prozess der schrittweisen Ansammlung und Aktualisierung handelt. Die traditionelle Lernmethode ist Batch-Lernen, bei dem alle Daten vorbereitet werden[…]
Eine Wissensdatenbank ist eine spezielle Datenbank, die für das Wissensmanagement verwendet wird, um die Sammlung, Organisation und Extraktion relevanten Domänenwissens zu erleichtern. Das Wissen in der Datenbank stammt von Fachexperten. Es handelt sich um eine Sammlung von Fachwissen zur Problemlösung, das grundlegende Fakten, Regeln und andere relevante Informationen umfasst. Die Wissensbasis ist ein strukturiertes, einfach zu bedienendes, leicht zu verwendendes und umfassendes Wissens-Engineering[…]
K-Nearest-Neighbor-Algorithmus (KNN) ist ein grundlegender Klassifizierungs- und Regressionsalgorithmus, der die ihm am nächsten liegenden K Punkte zur Bestimmung der Klassifizierung kategorialer Daten verwendet. KNN-Funktionen KNN ist eine Methode des Lazy Learning. KNN weist eine hohe Rechenkomplexität auf. Unterschiedliche K-Werte führen zu unterschiedlichen Klassifizierungsergebnissen.
Die JS-Divergenz misst die Ähnlichkeit zweier Wahrscheinlichkeitsverteilungen. Es basiert auf einer Variante der KL-Divergenz und löst das asymmetrische Problem der KL-Divergenz. Im Allgemeinen ist die JS-Divergenz symmetrisch und ihr Wert liegt zwischen 0 und 1. Die Definitionen lauten wie folgt: Bei der Verwendung der KL-Divergenz und der JS-Divergenz als Maß tritt ein Problem auf: Wenn zwei […]
Der Kleinstquadrate-Regressionsbaum ist ein häufig verwendeter Regressionsbaumalgorithmus. Um den quadratischen Fehler zu minimieren, müssen die Werte jedes Merkmals nacheinander durchlaufen und der Fehler jedes möglichen Segmentierungspunkts berechnet werden. Schließlich wird der Punkt mit dem kleinsten Segmentierungsfehler ausgewählt und der Eingaberaum in zwei Teile geteilt. Die obigen Schritte werden rekursiv wiederholt, bis die Segmentierung abgeschlossen ist. Diese Methode […]
Latent Dirichlet Allocation (LDA) ist ein Themenmodell, das das Thema jedes Dokuments in einem Dokumentsatz in Form einer Wahrscheinlichkeitsverteilung ausdrücken kann. Es handelt sich außerdem um einen unüberwachten Lernalgorithmus, der für das Training keinen manuell annotierten Trainingssatz benötigt. Es werden lediglich ein Dokumentensatz und die Anzahl der angegebenen Themen K benötigt. Darüber hinaus muss für jedes Thema […]
Die Mindestbeschreibungslänge, auch als Prinzip der Mindestbeschreibungslänge bekannt, bedeutet, dass unter mehreren Hypothesen zum Speichern von Daten die Hypothese die beste ist, die den größten Datenkomprimierungseffekt erzielen kann. Das Prinzip der minimalen Beschreibungslänge ist eine Formalisierung von Ockhams Rasiermesser, das 1978 von Jorma Rissanen eingeführt wurde. Sein Hauptpunkt ist: In jedem […]
Meta-Learning ist ein Teilgebiet des maschinellen Lernens, bei dem automatisch lernende Algorithmen auf die Metadaten von Experimenten zum maschinellen Lernen angewendet werden. Der Kern des Meta-Lernens ist der „Lern-(Trainings-)Prozess“, bei dem es darum geht, zu untersuchen, wie Neuronen altes Wissen sinnvoll nutzen können, damit sie sich an neue Aufgaben anpassen können. Das schematische Diagramm sieht wie folgt aus: Die Anfangsparameter des neuronalen Netzwerks (blau ■ […]
Max Pooling ist eine häufig verwendete Pooling-Operation, die die Datenmenge durch Maximierung des Werts reduziert. Die übliche Funktionsweise besteht darin, das Eingabebild in mehrere rechteckige Bereiche aufzuteilen und den Maximalwert für jeden Teilbereich auszugeben. Zu den derzeit häufig verwendeten Pooling-Methoden gehören Maximum-Pooling und Average-Pooling, wodurch die komplexen Berechnungen der oberen verborgenen Schicht reduziert werden und die aktuelle […]-Einstellung unbeeinflusst bleibt.
Long Short-Term Memory (LSTM) ist ein zeitrekursives neuronales Netzwerk (RNN), das erstmals 1997 veröffentlicht wurde. Aufgrund seiner einzigartigen Designstruktur eignet sich LSTM für die Verarbeitung und Vorhersage wichtiger Ereignisse in Zeitreihen mit sehr langen Intervallen und Verzögerungen […]
Die Informationsentropie ist eine Größe, die sich zur Messung der Informationsmenge eignet. Es wurde 1948 von Shannon vorgeschlagen. Dabei wurde das Konzept der Entropie aus der Thermodynamik übernommen und die durchschnittliche Informationsmenge nach Ausschluss von Redundanz in Informationen als Informationsentropie bezeichnet und der entsprechende mathematische Ausdruck angegeben. Die drei Eigenschaften der Informationsentropie sind Monotonie: Je höher die Wahrscheinlichkeit eines Ereignisses, desto mehr Informationen enthält es […]
Unter Wissensrepräsentation versteht man die Darstellung und Beschreibung von Wissen. Es geht darum, wie Agenten relevantes Wissen sinnvoll nutzen können. Dies ist eine Studie des Denkens als Rechenprozess. Genau genommen handelt es sich bei Wissensrepräsentation und wissensbasierter Argumentation um zwei eng miteinander verbundene Konzepte im selben Forschungsfeld. Tatsächlich wird der Begriff Wissensrepräsentation jedoch auch verwendet, um ein umfassenderes Konzept zu bezeichnen, das auch die Argumentation einschließt.
Die exponentielle Verlustfunktion ist eine häufig verwendete Verlustfunktion im AdaBoost-Algorithmus. Der Funktionsausdruck liegt in Exponentialform vor, wie im folgenden Diagramm dargestellt. Häufiger Verlustfehler Exponentialer Verlust Exponentialer Verlust: Wird hauptsächlich im Ensemble-Lernalgorithmus von Adaboost verwendet; Scharnierverlust H […]
Im Bereich des maschinellen Lernens bezieht sich Wahrheit auf den genauen Einstellwert des Trainingssatzes für das Klassifizierungsergebnis beim überwachten Lernen, der im Allgemeinen zur Fehlerschätzung und Effektbewertung verwendet wird. Beim überwachten Lernen erscheinen beschriftete Daten normalerweise in der Form (x, t), wobei x die Eingabedaten und t die Beschriftung darstellt. Die richtige Bezeichnung ist Grou […]
Unter Fehler-Divergenz-Zerlegung versteht man den Prozess der Zerlegung des integrierten Generalisierungsfehlers, der wie folgt ausgedrückt werden kann: $latex {E= \overline {E}- \overline {A}}$, wobei die linke Seite E den integrierten Generalisierungsfehler darstellt und die rechte Seite $latex {\over […]
MCMC ist ein Algorithmus zur Stichprobenziehung aus Zufallsverteilungen auf der Grundlage von Markow-Ketten, der die Posterior-Verteilung des betreffenden Parameters durch Zufallsstichprobenziehung im Wahrscheinlichkeitsraum approximiert. Die grundlegende Theorie von MCMC ist der Markow-Prozess. Um in verwandten Algorithmen eine Stichprobe auf einer bestimmten Verteilung zu ziehen, können wir gemäß dem Markow-Prozess von jedem Zustand aus simulieren.
Der Evolutionsalgorithmus ist eine allgemeine Methode zur Problemlösung, die auf der natürlichen Selektion und den natürlichen genetischen Mechanismen der biologischen Welt basiert. Grundlegende Methode: Verwenden Sie einfache Codierungstechnologie, um verschiedene komplexe Strukturen darzustellen, verwenden Sie einfache genetische Operationen und die natürliche Selektion des Überlebens des Stärkeren, um das Lernen zu steuern und die Suchrichtung zu bestimmen. Nutzen Sie die Bevölkerung, um die Suche zu organisieren, sodass […]
Der genetische Algorithmus (GA) ist ein Suchalgorithmus, der in der Computermathematik zur Lösung von Optimierungsproblemen verwendet wird. Es handelt sich um eine Art Evolutionsalgorithmus, der ursprünglich einige Phänomene der Evolutionsbiologie aufgegriffen hat, darunter Vererbung, Mutation, natürliche Selektion und Hybridisierung. Genetische Algorithmen werden üblicherweise in Form einer Computersimulation implementiert. Für ein Optimierungsproblem gibt es […]
Mit der Gewinnrate ist üblicherweise die Informationsgewinnrate gemeint, die das Verhältnis der Knoteninformationen zum Knotenaufteilungsinformationsmaß darstellt. Die Gewinnrate wird normalerweise als eine der Methoden zur Attributauswahl verwendet. Die anderen beiden gängigen Methoden sind Informationsgewinn und Gini-Index. Die Formel für das Verstärkungsverhältnis lautet wie folgt: $latex {GainRatio{ \left( {R} […]
Der Hilbertraum ist ein vollständiger innerer Produktraum, der als vollständiger Vektorraum mit innerem Produkt verstanden werden kann. Der Albert-Raum basiert auf dem endlichdimensionalen euklidischen Raum und kann als Verallgemeinerung des letzteren angesehen werden. Es ist nicht auf reelle Zahlen und endliche Dimensionen beschränkt, aber es ist nicht vollständig. Wie der euklidische Raum ist der Hilbert-Raum ein Innenproduktraum und hat Abstände und Winkel […]
Das Hidden-Markov-Modell (HMM) ist ein probabilistisches Modell von Zeitreihen, das den Prozess der Generierung einer beobachtbaren zufälligen Zustandsfolge aus jedem Zustand durch eine Hidden-Markov-Kette beschreibt. Hidden-Markov-Modelle sind statistische Modelle, die zur Beschreibung eines Markov-Modells mit verborgenen unbekannten Parametern verwendet werden.
Die verborgene Schicht bezieht sich auf die Schicht außer der Eingabeschicht und der Ausgabeschicht in einem mehrstufigen Feedforward-Neuralnetzwerk. Die verborgene Schicht empfängt weder direkt externe Signale noch sendet sie direkt Signale an die Außenwelt. Es wird nur benötigt, wenn die Daten nichtlinear getrennt sind. Neuronen in verborgenen Schichten können viele Formen annehmen, wie z. B. Max-Pooling-Schichten und Faltungsschichten, die jeweils eine andere mathematische Funktion erfüllen, […]
Hard Voting ist eine Abstimmungsmethode, die Klassenbezeichnungen direkt ausgibt und hauptsächlich in Klassifizierungsalgorithmen für maschinelles Lernen zu finden ist. Voting ist eine Kombinationsstrategie für Klassifizierungsprobleme beim Ensemble-Lernen. Die Grundidee besteht darin, im Algorithmus die Klasse mit der höchsten Ausgabe auszuwählen. Beim Hard Voting geht es darum, das Label mit der größten Ausgabe des Algorithmus auszuwählen. Bei gleicher Anzahl der Beschriftungen erfolgt eine aufsteigende Sortierung. […]
Unabhängig und identisch verteilt (IID) bedeutet, dass die Wahrscheinlichkeitsverteilung jeder Variablen in einem Satz von Zufallsvariablen gleich ist und diese Zufallsvariablen voneinander unabhängig sind. Dass eine Reihe von Zufallsvariablen unabhängig und identisch verteilt ist, bedeutet nicht, dass die Wahrscheinlichkeit jedes Ereignisses in ihrem Stichprobenraum gleich ist. Beispielsweise ist die Ergebnisfolge beim Würfeln ungleichmäßiger Würfel unabhängig und identisch verteilt, aber die Wahrscheinlichkeit, dass jede Zahl gewürfelt wird, [...]
Inkrementelles Lernen bedeutet, dass beim Hinzufügen neuer Daten nur die neuen Daten aktualisiert werden. Durch inkrementelles Lernen kann kontinuierlich neues Wissen aus neuen Beispielen gewonnen werden, während der Großteil des zuvor erlernten Wissens erhalten bleibt. Inkrementelles Lernen ähnelt dem menschlichen Lernmodell, bei dem es sich um einen Prozess der schrittweisen Ansammlung und Aktualisierung handelt. Die traditionelle Lernmethode ist Batch-Lernen, bei dem alle Daten vorbereitet werden[…]
Eine Wissensdatenbank ist eine spezielle Datenbank, die für das Wissensmanagement verwendet wird, um die Sammlung, Organisation und Extraktion relevanten Domänenwissens zu erleichtern. Das Wissen in der Datenbank stammt von Fachexperten. Es handelt sich um eine Sammlung von Fachwissen zur Problemlösung, das grundlegende Fakten, Regeln und andere relevante Informationen umfasst. Die Wissensbasis ist ein strukturiertes, einfach zu bedienendes, leicht zu verwendendes und umfassendes Wissens-Engineering[…]
K-Nearest-Neighbor-Algorithmus (KNN) ist ein grundlegender Klassifizierungs- und Regressionsalgorithmus, der die ihm am nächsten liegenden K Punkte zur Bestimmung der Klassifizierung kategorialer Daten verwendet. KNN-Funktionen KNN ist eine Methode des Lazy Learning. KNN weist eine hohe Rechenkomplexität auf. Unterschiedliche K-Werte führen zu unterschiedlichen Klassifizierungsergebnissen.
Die JS-Divergenz misst die Ähnlichkeit zweier Wahrscheinlichkeitsverteilungen. Es basiert auf einer Variante der KL-Divergenz und löst das asymmetrische Problem der KL-Divergenz. Im Allgemeinen ist die JS-Divergenz symmetrisch und ihr Wert liegt zwischen 0 und 1. Die Definitionen lauten wie folgt: Bei der Verwendung der KL-Divergenz und der JS-Divergenz als Maß tritt ein Problem auf: Wenn zwei […]
Der Kleinstquadrate-Regressionsbaum ist ein häufig verwendeter Regressionsbaumalgorithmus. Um den quadratischen Fehler zu minimieren, müssen die Werte jedes Merkmals nacheinander durchlaufen und der Fehler jedes möglichen Segmentierungspunkts berechnet werden. Schließlich wird der Punkt mit dem kleinsten Segmentierungsfehler ausgewählt und der Eingaberaum in zwei Teile geteilt. Die obigen Schritte werden rekursiv wiederholt, bis die Segmentierung abgeschlossen ist. Diese Methode […]
Latent Dirichlet Allocation (LDA) ist ein Themenmodell, das das Thema jedes Dokuments in einem Dokumentsatz in Form einer Wahrscheinlichkeitsverteilung ausdrücken kann. Es handelt sich außerdem um einen unüberwachten Lernalgorithmus, der für das Training keinen manuell annotierten Trainingssatz benötigt. Es werden lediglich ein Dokumentensatz und die Anzahl der angegebenen Themen K benötigt. Darüber hinaus muss für jedes Thema […]
Die Mindestbeschreibungslänge, auch als Prinzip der Mindestbeschreibungslänge bekannt, bedeutet, dass unter mehreren Hypothesen zum Speichern von Daten die Hypothese die beste ist, die den größten Datenkomprimierungseffekt erzielen kann. Das Prinzip der minimalen Beschreibungslänge ist eine Formalisierung von Ockhams Rasiermesser, das 1978 von Jorma Rissanen eingeführt wurde. Sein Hauptpunkt ist: In jedem […]
Meta-Learning ist ein Teilgebiet des maschinellen Lernens, bei dem automatisch lernende Algorithmen auf die Metadaten von Experimenten zum maschinellen Lernen angewendet werden. Der Kern des Meta-Lernens ist der „Lern-(Trainings-)Prozess“, bei dem es darum geht, zu untersuchen, wie Neuronen altes Wissen sinnvoll nutzen können, damit sie sich an neue Aufgaben anpassen können. Das schematische Diagramm sieht wie folgt aus: Die Anfangsparameter des neuronalen Netzwerks (blau ■ […]
Max Pooling ist eine häufig verwendete Pooling-Operation, die die Datenmenge durch Maximierung des Werts reduziert. Die übliche Funktionsweise besteht darin, das Eingabebild in mehrere rechteckige Bereiche aufzuteilen und den Maximalwert für jeden Teilbereich auszugeben. Zu den derzeit häufig verwendeten Pooling-Methoden gehören Maximum-Pooling und Average-Pooling, wodurch die komplexen Berechnungen der oberen verborgenen Schicht reduziert werden und die aktuelle […]-Einstellung unbeeinflusst bleibt.