La Triche a Échoué ! La Meilleure Équipe De Kaggle Reçoit La Punition La Plus Sévère

Récemment, un incident de tricherie a été révélé lors de la compétition Kaggle. L'équipe de tricheurs a falsifié les réponses de l'ensemble de données de test en les parcourant et a finalement remporté la première place. Après avoir été signalée et vérifiée, l'équipe a été disqualifiée de la compétition et le personnage clé de la tricherie a été banni définitivement.

Partout où il y a des examens, il y a de la tricherie, et même les mécanismes anti-triche ne peuvent pas l’empêcher.

Récemment, sur une page de discussion de concours Kaggle, un organisateur de concours « PetFinder.my » a annoncé que Meilleurs caresses  L'équipe championne,Disqualifié du concours « Prédiction d'adoption PetFinder.my » pour tricherie.

L'équipe comprenait également un grand maître de Kaggle, Pavel Pleskov, qui a également été banni de manière permanente car il y avait des preuves qu'il était la figure clé derrière l'activité de tricherie.

Après avoir été dénoncé, Pavel Pleskov s'est excusé publiquement et a déclaré qu'il rendrait le bonus de 10 000 $ dès que possible. Mais le prix qu’il a payé pour avoir triché était plus que cela.

2 000 équipes ont participé et les cinq meilleures équipes ont reçu des prix en argent.

Ce concours est organisé par la plateforme malaisienne de protection des animaux de compagnie « PetFinder.my » et est un concours de bien-être public visant à sauver des vies animales. La plateforme dispose d'une base de données de plus de 150 000 animaux et travaille avec les amoureux des animaux, les médias, les entreprises, etc. pour améliorer le bien-être animal.

Les algorithmes développés par les participants au concours seront utilisés pour prédire le taux d’adoption des animaux de compagnie. Parce que les recherches montrent que le taux d’adoption des animaux de compagnie est étroitement lié aux métadonnées telles que les photos et les descriptions de leurs profils en ligne. La tâche des participants est de trouver cette corrélation et d'aider les agences d'adoption d'animaux de compagnie à optimiser les fichiers électroniques des animaux pour les rendre plus attrayants, augmentant ainsi le taux d'adoption et réduisant le nombre d'« euthanasies ».

Heure du jeu :Le concours se clôturera pour les inscriptions le 21 mars 2019 et la date limite de soumission des candidatures est le 28 mars. Les résultats définitifs seront annoncés le 9 avril 2019.

Taille du concours :Au final, 2 000 équipes ont participé à la compétition, mais seules les cinq meilleures ont reçu un prix en argent. Les prix pour la première à la cinquième place sont respectivement de 10 000 $, 7 000 $, 5 000 $, 2 000 $ et 1 000 $.

Comment le « gagnant de la première place » a-t-il triché et remporté le prix avec succès ?

L'équipe Bestpetting, qui a remporté la première place, a secrètement exploré un ensemble de données de test privées pendant la compétition et a caché les données dans le contenu soumis. Il a finalement remporté le premier prix du concours et a reçu un prix de 10 000 dollars américains.

Selon PetFinder.my, les comportements de tricherie spécifiques sont les suivants :

• Ils ont obtenu la réponse sur le taux d'adoption à partir de données de test privées en trichant (probablement récupérées sur le site Web de l'organisateur PetFinder.my) ;
• Ils ont ensuite codé ces données et les réponses dans un champ d'identification déguisé en partie de leur ensemble de données externe « cute-cats-and-dogs-from-pixabay.com » ;
• Lors du traitement des données, ils décodent ces champs d’identification mélangés et les réponses peuvent être récupérées pendant la phase de prédiction ;
• Finalement, ils ont seulement utilisé quelques réponses codées pour rendre le score final plus « réel » ;
• Le code traité est soigneusement caché et obscurci sous de nombreuses fonctions imbriquées et couches de code, intentionnellement conçues pour être hautement illisibles et paraître ordinaires.

En bref, l'équipe a d'abord obtenu les réponses à l'ensemble de tests à l'avance par tricherie, puis en a utilisé une partie pour l'encodage, l'a décodée pendant la compétition et a finalement utilisé cette réponse standard comme « résultat » de la compétition, obtenant ainsi d'« excellents résultats ».

Un rapport tardif mais pas absent 

Selon les organisateurs, la tricherie a été découverte par Benjamin Minixhofer. Il a remporté la sixième place du concours « PetFinder.my ».

Alors qu'il aidait l'organisateur PetFinder.my à produire la solution de la première place, Benjamin Micklethoff a découvert des signes de tricherie de la part du gagnant de la première place et a signalé la violation à Kaggle.

Après une enquête approfondie, Kaggle a confirmé qu'une tricherie avait eu lieu. En plus d'annoncer l'interdiction, l'équipe a également été retirée du classement, de sorte que les autres concurrents ont gagné une place. C'est la première fois depuis la création de la plateforme Kaggle qu'un candidat est complètement disqualifié pour tricherie.

L'organisateur et le lanceur d'alerte ont tous deux exprimé leur tristesse à ce sujet.

« Nous sommes vraiment attristés que nos estimés collaborateurs, y compris un grand maître Kaggle très respecté, aient pu aller jusqu'à tricher pour obtenir un gain financier dans une compétition conçue pour sauver des vies animales », ont déclaré les organisateurs de la compétition.

Le lanceur d'alerte a déclaré : « Cet incident porte atteinte à l'équité du concours Kaggle. J'ai passé beaucoup de temps à essayer de convertir leur solution en système de production, mais le résultat était une tricherie. Les responsables de Kaggle ne souhaitent peut-être pas que je publie cet article qui divulgue de nombreuses données de test privées, mais j'espère que les participants pourront s'en inspirer. »

Pavel Pleskov travaille pour H₂O.ai a également déclaré avoir licencié Pavel Pleskov et que « désormais, cette personne n'a plus aucun lien avec notre entreprise ».

Présentez-vous rapidement vos excuses, mais peut-il être pardonné ? 

Pavel Pleskov s'est ensuite immédiatement excusé et a reconnu sincèrement son erreur. Il a également déclaré que l'équipe rendrait le bonus dès que possible. Il a déclaré : « Pour moi, ce n’est pas une question d’argent, mais de points Kaggle. L’excitation d’être le premier m’a fait perdre mon jugement. »

Auparavant, il avait été interviewé par Kaggle pour devenir Grand Maître, et sa vidéo de discours sur YouTube intitulée « Comment devenir un Grand Maître Kaggle » a été visionnée plus de 20 000 fois. Cela semble tellement ironique maintenant.

Il était autrefois sous les feux de la rampe et recevait beaucoup d’attention, mais maintenant il est en disgrâce. C’est le prix à payer pour tricher. Que pensez-vous de la tricherie dans les compétitions ?

-- sur--