5 Kapitel, 25 Spezifikationen, Eine Umfassende Enzyklopädie Zur Datensatzauswahl Und -erstellung
Inhalte im Überblick:Wenn Sie lernen, wie Sie einen geeigneten Datensatz erstellen oder auswählen, erhalten Sie in diesem Beitrag einige praktische Ratschläge, die Ihnen dabei helfen, fundierte Entscheidungen bei der Auswahl und Erstellung von Datensätzen zu treffen.
Schlüsselwörter:Machine-Learning-Datensätze
Dieser Artikel wurde zuerst auf der öffentlichen HyperAI WeChat-Plattform veröffentlicht~
Autor | xixi
Korrekturlesen | Sanyang
Ein qualitativ hochwertiger Datensatz kann nicht nur die Genauigkeit und Betriebseffizienz des Modells verbessern, sondern auch Trainingszeit und Rechenressourcen sparen.
In diesem ArtikelWir verweisen auf den Artikel „Die Dos and Don'ts der Datensatzauswahl für maschinelles Lernen, die Sie kennen müssen“ von Jan Marcel Kezmann., in dem die Methoden zum Erstellen und Auswählen von Datensätzen ausführlich erläutert werden. Ich hoffe, dass es Datenwissenschaftlern dabei helfen kann, Fallstricke zu vermeiden und bewährte Methoden für das Modelltraining anzuwenden. Werfen wir einen Blick auf die Tipps ~
Lesen Sie den englischen Originalartikel:
Inhaltsverzeichnis
1. Best Practices für die Auswahl von Datensätzen
2. Seien Sie sich der Fallen bewusst, die es zu vermeiden gilt
3. 5 Tipps
4. Best Practices zum Erstellen von Datensätzen
5. Datensatzauswertung
Anwendbare Personen:
Anfänger, Datenwissenschaftler, Praktiker des maschinellen Lernens
1. Best Practices für die Auswahl von Datensätzen
In diesem Abschnitt werden Best Practices für die Auswahl öffentlicher Datensätze erläutert.Beachten Sie dabei die folgenden sechs wichtigen Schritte:
1.1 Verständnis des Problems
Es ist wichtig, das Problem zu verstehen, das Sie lösen möchten. Dazu gehört auch die Bestimmung der Eingabe- und Ausgabevariablen, der Art des Problems (Klassifizierung, Regression, Clustering usw.) und der Leistungsmetrik.
1.2 Problemdefinition
Schränken Sie den Umfang des Datensatzes ein, indem Sie die Branche oder Domäne, den erforderlichen Datentyp (Text, Bilder, Audio usw.) und alle mit dem Datensatz verbundenen Einschränkungen angeben.
1.3 Fokus auf Qualität
Finden Sie Datensätze, die zuverlässig, genau und für Ihr Problem relevant sind.Suchen Sie nach fehlenden Daten, Ausreißern und Inkonsistenzen, da diese Probleme die Leistung Ihres Modells negativ beeinflussen können.
1.4 Berücksichtigen Sie die Größe des Datensatzes
Die Größe des Datensatzes beeinflusst die Genauigkeit und Generalisierungsfähigkeit des Modells.Größere Datensätze tragen zwar zur Verbesserung der Modellgenauigkeit und Robustheit bei, bedeuten aber auch mehr Rechenressourcen und eine längere Trainingszeit.
1.5 Voreingenommenheit prüfen
Eine Verzerrung des Datensatzes kann zu unfairen oder ungenauen Vorhersagen führen. Achten Sie auf Verzerrungen im Zusammenhang mit dem Datenerhebungsprozess, wie etwa Stichprobenverzerrungen, und auf Verzerrungen im Zusammenhang mit sozialen Aspekten, wie etwa Geschlecht, Rasse oder sozioökonomischem Status.
1.6 Streben Sie nach Vielfalt
Durch die Auswahl eines vielfältigen Datensatzes aus unterschiedlichen Quellen, Populationen oder Standorten kann das Modell aus einer Vielzahl unterschiedlicher Beispiele lernen und eine Überanpassung vermeiden.
2. Seien Sie sich der Fallen bewusst, die es zu vermeiden gilt
Dieser Abschnitt gilt sowohl für vordefinierte Datensätze als auch für Datensätze, die Sie selbst erstellen.
2.1 Unzureichende Daten
Unzureichende Daten können dazu führen, dass das Modell die zugrunde liegenden Muster in den Daten nicht erkennt, was zu einer schlechten Leistung führt. Wenn nicht genügend Daten vorhanden sind, können Sie den Einsatz von Techniken wie Datenerweiterung oder Transferlernen in Betracht ziehen, um den Datensatz oder die Modellfunktionen zu verbessern. Wenn die Beschriftungen konsistent sind, können mehrere Datensätze zu einem zusammengeführt werden.
2.2 Unausgewogene Klassen
Klassenungleichgewicht bedeutet, dass die Anzahl der Stichproben in einer Klasse erheblich größer ist als in einer anderen Klasse, was zu Vorhersageverzerrungen oder anderen Modellfehlern führen kann. Um dieses Problem zu lösen, werden Techniken wie Oversampling, Undersampling oder Klassengewichtung vorgeschlagen. Auch die Stärkung unterrepräsentierter Bevölkerungsgruppen kann dieses Problem verringern.
Freundliche Tipps:
Aufgrund des Klassenungleichgewichts wirken sich unterschiedliche Machine-Learning-Aufgaben unterschiedlich auf das Modell aus. Beispielsweise ist bei Aufgaben zur Anomalieerkennung ein starkes Klassenungleichgewicht normal. Dies kommt jedoch bei Standardproblemen der Bildklassifizierung weniger häufig vor.
2.3 Ausreißer
Ausreißer sind Datenpunkte, die sich erheblich von anderen Datenstichproben unterscheiden und die Modellleistung negativ beeinflussen können.Wenn ein Datensatz zu viele Ausreißer enthält, hat ein Machine-Learning- oder Deep-Learning-Modell häufig Schwierigkeiten, die gewünschte Verteilung zu erlernen.
Erwägen Sie den Einsatz von Techniken wie der Winsorisierung, um Ausreißer zu entfernen oder zu korrigieren, oder die Verwendung der Mittelwert-/Median-Imputation, um alle in der Stichprobe vorhandenen fehlenden Werte durch den Mittelwert oder Median zu ersetzen.
2.4 Datenschnüffeln und Datenlecks
Um Daten-Snooping zu vermeiden, das zu Überanpassung und reduzierter Leistung führen kann,Sie sollten Ihren Datensatz in Trainings-, Validierungs- und Testsätze aufteilen und nur den Trainingssatz zum Trainieren Ihres Modells verwenden.
Andererseits führt das Trainieren des Modells mit Daten aus dem Testsatz zu Datenlecks und damit zu übermäßig optimistischen Leistungsschätzungen. Um Datenlecks zu vermeiden, sollten Sie Validierungs- und Testsätze immer getrennt halten und sie nur zur Bewertung des endgültigen Modells verwenden.
3. 5 Tipps
- Beim Transferlernen wird ein vorab trainiertes Modell zur Lösung eines verwandten Problems verwendet und kann für ein bestimmtes Problem mithilfe eines kleineren Datensatzes feinabgestimmt werden.
- Führen Sie mehrere Datensätze zusammen, um die Größe und Vielfalt Ihres Datensatzes zu erhöhen und so genauere und robustere Modelle zu erhalten. Dabei muss auf Datenkompatibilität und Qualitätsprobleme geachtet werden.
- Nutzen Sie Crowdsourcing, um schnell und kostengünstig große Mengen gekennzeichneter Daten zu sammeln. Qualitätskontroll- und Abweichungsprobleme erfordern Aufmerksamkeit.
- Halten Sie Ausschau nach Daten-APIs verschiedener Unternehmen und Organisationen, um codeähnlich auf deren Daten zuzugreifen.
- Sehen Sie sich verfügbare Benchmarks an, die standardisierte Datensätze und Bewertungsmetriken bereitstellen, um die Leistung verschiedener Modelle für dasselbe Problem zu vergleichen.
4. Best Practices zum Erstellen von Datensätzen
4.1 Problem und Ziele definieren
Machen Sie sich vor dem Sammeln von Daten klar, welche Zielvariable Sie vorhersagen möchten, welchen Umfang das Problem hat, das Sie lösen möchten, und wofür Sie den Datensatz verwenden möchten.
Durch die Klärung des Problems und des Ziels können relevante Daten gezielter erfasst werden.Vermeiden Sie die Verschwendung von Zeit und Ressourcen mit irrelevanten oder verrauschten Daten und helfen Sie gleichzeitig dabei, die Annahmen und Einschränkungen des Datensatzes zu verstehen.
4.2 Erhebung vielfältiger und repräsentativer Datensätze
Durch das Sammeln von Daten aus verschiedenen Quellen und Domänen wird sichergestellt, dass der Datensatz repräsentativ für reale Probleme ist.Hierzu gehört das Sammeln von Daten aus unterschiedlichen Standorten, demografischen Gruppen und Zeiträumen, um sicherzustellen, dass der Datensatz nicht zugunsten einer bestimmten Gruppe oder eines bestimmten Sektors verzerrt ist.
Stellen Sie außerdem sicher, dass die Daten keine Störvariablen enthalten. Dabei handelt es sich um dritte, nicht gemessene Variablen, die sich auf die hypothetische Ursache und die hypothetische Wirkung auswirken und somit die Ergebnisse beeinflussen.
4.3 Kennzeichnen Sie Ihre Daten sorgfältig
Verwenden Sie klare Beschriftungen, die die grundlegende Wahrheit klar widerspiegeln, um Daten zu kommentieren, und nutzen Sie mehrere Kommentatoren oder Crowdsourcing, um die Auswirkungen persönlicher Voreingenommenheit auf die Daten zu verringern und die Qualität und Zuverlässigkeit der Beschriftungen zu verbessern. Es wird empfohlen, eine Versionskontrolle Ihrer Daten durchzuführen, um die Nachverfolgung, Freigabe und Reproduktion des Schulungs- und Evaluierungsprozesses zu erleichtern.
Freundliche Tipps:
Wenn der Datensatz nur die richtigen Beschriftungen für 80% enthält, ist selbst das beste Modell in den meisten Fällen nicht genauer als 80%.
4.4 Sicherstellung der Datenqualität und -integrität
Unter Datenqualität versteht man die Genauigkeit, Vollständigkeit und Konsistenz der Daten.Techniken wie Datenbereinigung, Ausreißererkennung und Interpolation fehlender Werte können zur Verbesserung der Qualität des Datensatzes beitragen. Darüber hinaus müssen Sie sicherstellen, dass die Daten in einem Format vorliegen, das für maschinelle Lernalgorithmen leicht zu verstehen und zu verarbeiten ist.
4.5 Gewährleistung von Datenschutz und Datensicherheit
Zum Schutz der Privatsphäre muss sichergestellt werden, dass die Datenerfassung und -speicherung sicher ist und alle sensiblen Informationen anonymisiert oder verschlüsselt werden. Erwägen Sie außerdem die Verwendung von Verschlüsselung, um die Daten während der Übertragung und im Ruhezustand zu schützen.
Freundliche Tipps:
Achten Sie auf die Verwendungsvorschriften der Verifizierungsdaten, um sicherzustellen, dass diese den Gesetzen und Vorschriften entsprechen.
5. Datensatzauswertung
Prüfen Sie, ob der Datensatz die folgenden 5 Kriterien ausreichend erfüllt:
- Datengröße:Generell gilt: Je mehr Daten, desto besser.
- Datenverteilung:Stellen Sie sicher, dass der Datensatz ausgewogen und repräsentativ ist.
- Datenqualität:Saubere, konsistente und fehlerfreie Daten sind entscheidend
- Datenkomplexität:Achten Sie darauf, dass die Daten nicht zu komplex sind.
- Datenrelevanz:Die Daten sollten für das Problem relevant sein.
Das Obige ist der vollständige Inhalt des Leitfadens zur Datensatzauswahl und -erstellung. Die Auswahl eines geeigneten Datensatzes ist der Schlüssel zum maschinellen Lernen. Ich hoffe, dieser Leitfaden kann Ihnen dabei helfen, einen hochwertigen Datensatz auszuwählen oder zu erstellen und genaue und robuste Modelle zu trainieren!
Laden Sie riesige öffentliche Datensätze online herunter
Bis jetzt wurden auf der offiziellen Website von HyperAI mehr als 1.200 hochwertige öffentliche Datensätze veröffentlicht, fast 500.000 Mal heruntergeladen und mehr als 2.000 TB Datenverkehr generiert, wodurch die Zugriffsschwelle für hochwertige öffentliche Datensätze im In- und Ausland erheblich gesenkt wurde.
Besuchen Sie den folgenden Link, um den benötigten Datensatz sofort zu suchen und herunterzuladen und mit dem Modelltraining zu beginnen!
Besuchen Sie die offizielle Website: https://orion.hyper.ai/datasets
Dieser Artikel wurde zuerst auf der öffentlichen HyperAI WeChat-Plattform veröffentlicht~