Schummeln Fehlgeschlagen! Kaggles Top-Team Erhält Die Härteste Strafe

Kürzlich wurde ein Betrugsvorfall beim Kaggle-Wettbewerb aufgedeckt. Das betrügerische Team verfälschte die Antworten des Testdatensatzes, indem es diesen durchsuchte, und gewann schließlich den ersten Platz. Nach der Meldung und Überprüfung wurde das Team vom Wettbewerb disqualifiziert und die Schlüsselfigur des Betrugs dauerhaft gesperrt.

Überall, wo Prüfungen stattfinden, wird geschummelt, und selbst Anti-Schummelmechanismen können das nicht verhindern.

Kürzlich gab der Wettbewerbsorganisator „PetFinder.my“ auf einer Diskussionsseite eines Kaggle-Wettbewerbs bekannt, dass Bestpetting  Das Meisterteam,Wegen Betrugs vom Wettbewerb „PetFinder.my Adoption Prediction“ disqualifiziert.

Zum Team gehörte auch ein Kaggle-Großmeister, Pavel Pleskov, der ebenfalls dauerhaft gesperrt wurde, da es Hinweise darauf gab, dass er die Schlüsselfigur hinter den Betrugsaktivitäten war.

Nachdem die Sache aufgedeckt worden war, entschuldigte sich Pavel Pleskov öffentlich und sagte, er werde den 10.000-Dollar-Bonus so schnell wie möglich zurückzahlen. Doch der Preis, den er für seinen Betrug zahlte, war höher.

2.000 Teams nahmen teil und die fünf besten Teams erhielten Preisgelder.

Dieser Wettbewerb wird von der malaysischen Tierschutzplattform „PetFinder.my“ organisiert und ist ein öffentlicher Tierschutzwettbewerb mit dem Ziel, Tierleben zu retten. Die Plattform verfügt über eine Datenbank mit mehr als 150.000 Tieren und arbeitet mit Tierliebhabern, Medien, Unternehmen usw. zusammen, um den Tierschutz zu verbessern.

Die von den Teilnehmern entwickelten Algorithmen werden verwendet, um die Adoptionsrate von Haustieren vorherzusagen. Denn Untersuchungen zeigen, dass die Adoptionsrate von Haustieren eng mit den Metadaten wie Fotos und Beschreibungen in ihren Online-Profilen korreliert. Die Aufgabe der Teilnehmer besteht darin, diesen Zusammenhang zu finden und Tiervermittlungsagenturen dabei zu helfen, die elektronischen Akten der Haustiere zu optimieren, um sie attraktiver zu gestalten und so die Adoptionsrate zu erhöhen und die Zahl der Euthanasie-Maßnahmen zu verringern.

Spielzeit:Die Anmeldung zum Wettbewerb endet am 21. März 2019, die Frist zur Einreichung von Beiträgen ist der 28. März. Die endgültigen Ergebnisse werden am 9. April 2019 bekannt gegeben.

Wettbewerbsgröße:Am Ende nahmen 2.000 Teams am Wettbewerb teil, doch nur die besten fünf erhielten ein Preisgeld. Die Preisgelder für den ersten bis fünften Platz betragen 10.000 $, 7.000 $, 5.000 $, 2.000 $ bzw. 1.000 $.

Wie konnte der „Gewinner des ersten Platzes“ schummeln und trotzdem den Preis gewinnen?

Das Bestpetting-Team, das den ersten Platz gewann, hat während des Wettbewerbs heimlich einen privaten Testdatensatz gecrawlt und die Daten im eingereichten Inhalt versteckt. Es gewann schließlich den ersten Preis des Wettbewerbs und erhielt ein Preisgeld von 10.000 US-Dollar.

Laut PetFinder.my sind die spezifischen Betrugsverhaltensweisen wie folgt:

• Die Antwort zur Adoptionsrate haben sie durch Betrug aus privaten Testdaten gewonnen (wahrscheinlich von der Website des Veranstalters PetFinder.my kopiert).
• Anschließend kodierten sie diese Daten und die Antworten in ein ID-Feld, das als Teil ihres externen Datensatzes „cute-cats-and-dogs-from-pixabaycom“ getarnt war;
• Bei der Verarbeitung der Daten dekodieren sie diese eingemischten ID-Felder und die Antworten können während der Vorhersagephase abgerufen werden.
• Schließlich verwendeten sie nur einige verschlüsselte Antworten, um das Endergebnis „realistischer“ aussehen zu lassen.
• Der verarbeitete Code wird sorgfältig unter vielen verschachtelten Funktionen und Codeebenen versteckt und verschleiert und ist absichtlich so gestaltet, dass er höchst unlesbar ist und gewöhnlich erscheint.

Kurz gesagt: Das Team hat sich zunächst durch Schummeln im Voraus die Antworten auf den Testsatz verschafft, dann einen Teil davon zum Kodieren verwendet, ihn während des Wettbewerbs entschlüsselt und schließlich diese Standardantwort als „Ergebnis“ des Wettbewerbs verwendet und so „hervorragende Ergebnisse“ erzielt.

Ein Bericht, der zwar verspätet, aber nicht ausbleibt 

Laut Veranstalter wurde der Betrug von Benjamin Minixhofer entdeckt. Er belegte den sechsten Platz beim „PetFinder.my“-Wettbewerb.

Während er dem Organisator PetFinder.my half, die Lösung für den ersten Platz in ein Produkt zu überführen, entdeckte Benjamin Micklethoff Anzeichen von Betrug seitens des Gewinners des ersten Platzes und meldete den Verstoß an Kaggle.

Nach einer eingehenden Untersuchung bestätigte Kaggle, dass es zu Betrug gekommen war. Zusätzlich zur Bekanntgabe des Verbots wurde das Team auch aus der Bestenliste entfernt, sodass die anderen Teilnehmer einen Platz nach oben rückten. Dies ist das erste Mal seit der Einführung der Kaggle-Plattform, dass ein Teilnehmer wegen Betrugs vollständig disqualifiziert wurde.

Sowohl der Veranstalter als auch der Whistleblower drückten ihr Bedauern darüber aus.

„Wir sind wirklich traurig darüber, dass unsere geschätzten Leute, darunter ein hoch angesehener Kaggle-Großmeister, bei einem Wettbewerb, dessen Ziel die Rettung von Tierleben ist, so weit gehen, um aus finanziellen Gründen zu betrügen“, sagten die Organisatoren des Wettbewerbs.

Der Whistleblower sagte: „Dieser Vorfall untergräbt die Fairness des Kaggle-Wettbewerbs. Ich habe viel Zeit damit verbracht, ihre Lösung in ein Produktionssystem zu konvertieren, aber das Ergebnis war Betrug. Vielleicht möchten die Verantwortlichen von Kaggle nicht, dass ich diesen Artikel veröffentliche, der viele private Testdaten preisgibt, aber ich hoffe, dass die Teilnehmer daraus Inspiration schöpfen können.“

Pavel Pleskov arbeitet für H₂O.ai teilte außerdem mit, dass Pavel Pleskov entlassen worden sei und dass „diese Person von nun an keine Verbindung mehr zu unserem Unternehmen hat“.

Entschuldigen Sie sich umgehend, aber kann ihm vergeben werden? 

Anschließend entschuldigte sich Pavel Pleskov umgehend und gab seinen Fehler aufrichtig zu. Er sagte außerdem, dass das Team den Bonus so schnell wie möglich zurückzahlen werde. Er sagte: „Mir geht es nicht um Geld, sondern um Kaggle-Punkte. Die Aufregung, der Erste zu sein, hat mich mein Urteilsvermögen verlieren lassen.“

Zuvor wurde er von Kaggle zu seinem Ziel, Großmeister zu werden, interviewt und sein Redevideo auf YouTube mit dem Titel „Wie werde ich ein Kaggle-Großmeister?“ wurde über 20.000 Mal angesehen. Es scheint jetzt so ironisch.

Früher stand er im Rampenlicht und bekam viel Aufmerksamkeit, doch jetzt ist er in Ungnade gefallen. Das ist der Preis, den Sie fürs Betrügen zahlen. Was halten Sie von Betrug bei Wettbewerben?

-- über--