Annahme Der Bedingten Unabhängigkeit Von Attributen

Der Naive-Bayes-Klassifikator übernimmt die „Annahme der bedingten Unabhängigkeit von Attributen“: Bei bekannten Kategorien wird angenommen, dass alle Attribute voneinander unabhängig sind.

Verbessertes Naive Bayes:

1. Um zu verhindern, dass die von anderen Attributen getragenen Informationen durch Attributwerte „gelöscht“ werden, die nie im Trainingssatz erschienen sind, wird bei der Schätzung von Wahrscheinlichkeitswerten normalerweise eine „Glättung“ durchgeführt und häufig eine „Laplace-Korrektur“ verwendet.
2. Die Annahme der bedingten Unabhängigkeit von Attributen wird bis zu einem gewissen Grad gelockert.
3. Die Abhängigkeitsbeziehung zwischen Attributen wird durch die Verwendung gerichteter azyklischer Graphen charakterisiert, und die gemeinsame Wahrscheinlichkeitsverteilung von Attributen wird durch bedingte Wahrscheinlichkeitstabellen beschrieben.

Naive Bayes-Klassifikatoren sind hochgradig skalierbar und erfordern daher eine Anzahl von Parametern, die linear zur Anzahl der Variablen (Merkmale/Prädiktoren) im Lernproblem ist. Das Maximum-Likelihood-Training kann durch die Auswertung eines Ausdrucks in geschlossener Form in linearer Zeit durchgeführt werden, statt der zeitaufwändigen iterativen Näherung, die von vielen anderen Klassifikatortypen verwendet wird.

In der Literatur zu Statistik und Informatik ist das naive Bayes-Modell unter verschiedenen Namen bekannt, darunter „Simple Bayes“ und „Independent Bayes“. Alle diese Namen beziehen sich auf die Verwendung des Bayes-Theorems in der Entscheidungsregel des Klassifikators, aber Naive Bayes verwendet (nicht unbedingt) Bayes-Methoden. Russell und Norvig weisen darauf hin, dass „‚Naive Bayes‘ manchmal als Bayes-Klassifikator bezeichnet wird, eine schlampige Verwendung, die echte Bayesianer dazu veranlasst hat, es als ‚Dumb Bayes‘-Modell zu bezeichnen.“