ズルしてひっくり返す！ Kaggle コンテストの最初のチームは最も厳しい罰を受けました
最近、kaggle のコンテストで不正行為が発覚し、不正行為を行ったチームがテストデータセットをクロールして虚偽の回答を行い、ついに 1 位を獲得しました。報告と検証の結果、チームは失格となり、不正行為を行った主要人物は永久追放となった。
試験があるところには不正行為が存在し、不正行為防止メカニズムでさえ不正行為を防ぐことはできません。
最近、kaggle のコンテストのディスカッション ページで、コンテストの主催者「PetFinder.my」がその名前であると発表しました。 ベストペッティング チャンピオンシップチーム、「PetFinder.my養子縁組予測」コンテストでの不正行為により失格となりました。
チームメンバーのうち、Kaggle グランドマスターである Pavel Pleskov も、不正行為の背後にいる重要人物であることが証拠によって示されたため、永久追放されました。
暴露後、パベル・プレスコフ氏は公に謝罪し、1万ドルのボーナスをできるだけ早く返還すると述べた。しかし、彼が不正行為に対して支払った代償はそれだけでは終わりませんでした。
2,000チームが参加し、上位5チームに賞品が贈られる。
この大会は、マレーシアのペット福祉プラットフォーム「PetFinder.my」が動物の命を救うことを目的に主催するチャリティ大会。このプラットフォームには15万頭以上の動物のデータベースがあり、動物愛好家、メディア、企業などと協力して動物福祉の向上に取り組んでいます。
コンテストの参加者は、ペットの引き取り率を予測するために使用されるアルゴリズムを開発します。ペットを引き取る速度は、オンラインプロフィールの写真、説明、その他のメタデータと密接に関係していることが研究で示されているためです。出場者の任務は、この相関関係を発見し、ペットの引き取り業者がペットの電子ファイルを最適化してペットをより魅力的に見せるのを支援し、それによって引き取りの速度を高め、「安楽死」の数を減らすことです。
試合時間：コンテストの登録は 2019 年 3 月 21 日に終了し、3 月 28 日がエントリーの提出締め切りとなります。最終結果は2019年4月9日に発表されました。
コンテストの規模:コンテストは 2,000 チームが参加して終了しましたが、賞を獲得したのは上位 5 チームのみでした。賞金は 1 位から 5 位までがそれぞれ 10,000 米ドル、7,000 米ドル、5,000 米ドル、2,000 米ドル、1,000 米ドルです。
「1位」のチートはどのようにしてボーナスを獲得することに成功したのでしょうか？
1 位を獲得した Bestpetting チームは、コンテスト中に設定されたプライベート テスト データを秘密裏にクロールし、提出されたコンテンツにデータを隠しました。最終的にコンテストの 1 位を獲得し、10,000 ドルのボーナスを受け取りました。
PetFinder.my によると、その具体的な不正行為は次のとおりです。
- 彼らは、非公開のテスト データ (おそらくスポンサー PetFinder.my の Web サイトから収集したもの) から導入速度の回答を得るために不正行為を行いました。
- 次に、このデータと回答を ID フィールドにエンコードし、外部の「cute-cats-and-dogs-from-pixabaycom」外部データセットの一部として偽装しました。
- データを処理するときに、これらの混合 ID フィールドをデコードすると、予測フェーズ中に答えを取得できます。
- 最終的に、彼らは最終スコアをより「本物」に見せるために、コード化された回答の一部を使用しただけでした。
- この処理されたコードは、多くの入れ子関数とコード層の下に慎重に隠蔽され、難読化されており、非常に読みにくく一見普通に見えるように意図的に設計されています。
つまり、チームは、事前に設定されたテストの解答を不正行為によって取得し、その一部を使用してエンコードし、競技中にデコードし、最終的にこの標準的な解答を競技の「結果」として使用することにより、「」を達成しました。素晴らしい結果だ」。
遅れたが欠席ではない報告
主催者によると、不正行為を発見したのはベンジャミン・ミニクホーファー氏。彼は「PetFinder.my」コンテストで 6 位の受賞者です。
Benjamin Mixhoff は、主催者の PetFinder.my が最初のソリューションを製品化するのを支援しているときに、そもそも不正行為の兆候を発見し、その違反を kaggle に報告しました。
Kaggle が徹底した調査を行った結果、不正行為が事実であることが確認されました。禁止の発表に加えて、チームはランキングからも除外され、それによって他の出場者は1つ順位が上がりました。 Kaggle プラットフォームの設立以来、出場者が不正行為により完全に失格となるのはこれが初めてです。
主催者も内部告発者もこれに対し悲しみを表明した。
コンテスト主催者は「動物の命を救うためのコンテストで、欺瞞を通じて金銭的利益を得るために最善を尽くしているのは、尊敬されているKaggleグランドマスターを含む私たちの尊敬すべき人々であることを本当に残念に思っている」と述べた。
内部告発者は、「この事件はKaggleのコンテストの公平性を破壊したので、私は彼らのソリューションを本番システムに変換するために長い時間を費やしましたが、結果は不正行為であることが判明しました。おそらくKaggle公式は私が公開することを望まなかったのでしょう」と述べた。この記事は、多くのプライベートを暴露します。テストデータに関する記事ですが、出場者がそこから何らかのインスピレーションを得ることを願っています。」
そしてパベル・プレスコフの会社H2O.aiはまた、パベル・プレスコフ氏を解雇したことを明らかにし、「彼は今後当社とは一切の関係を持たない」と述べた。
すぐに謝罪しますが、許してもらえますか？
その後、パベル・プレスコフは立ち上がり、自分の間違いを認めた態度は非常に誠実であり、チームはできるだけ早くボーナスを返還すると述べた。彼は、「私にとって大切なのはお金ではなく、kaggle ポイントです。常にナンバーワンであることに興奮し、判断力を失いました。」と述べました。
以前、彼はグランドマスターになるために Kaggle からインタビューを受け、「Kaggle グランドマスターになる方法」というタイトルの YouTube でのスピーチのビデオが 20,000 回以上再生されました。今では皮肉に満ちているように思えます。
かつては後光を浴びて注目を集めたが、今ではその評判は地に落ちている。これは不正行為に対して支払う代償です。競技会での不正行為についてどう思いますか?
- 以上 -