부정행위에 실패했습니다! 카글 최고팀, 가장 엄중한 처벌 받아
최근 Kaggle 대회에서 부정행위 사건이 폭로되었습니다. 부정행위를 한 팀은 테스트 데이터 세트를 크롤링하여 답을 위조했고 결국 1등을 차지했습니다. 신고 및 사실 확인 후 해당 팀은 대회에서 실격 처리되었으며, 부정행위에 연루된 주요 인물은 영구적으로 출전 금지 처분을 받았습니다.
시험이 있는 곳에는 부정행위가 있고, 부정행위 방지 대책도 이를 막을 수 없습니다.
최근 Kaggle 경연대회 토론 페이지에서 경연대회 주최자 "PetFinder.my"가 다음과 같이 발표했습니다. 베스트펫팅 챔피언 팀,부정행위로 인해 "PetFinder.my 입양 예측" 경연대회에서 실격 처리되었습니다.
해당 팀에는 카글 그랜드마스터인 파벨 플레스코프도 포함되어 있었는데, 그는 부정행위의 핵심 인물이라는 증거가 있어 영구적으로 금지되었습니다.
폭로된 후, 파벨 플레스코프는 공개적으로 사과했고 가능한 한 빨리 10,000달러의 보너스를 반환하겠다고 말했습니다. 하지만 그가 부정행위에 대해 치른 대가는 그보다 더 컸습니다.
2,000개 팀이 참여했으며, 상위 5개 팀은 상금을 받았습니다.
이 대회는 말레이시아의 반려동물 복지 플랫폼 "PetFinder.my"가 주관하는 것으로, 동물의 생명을 구하는 것을 목표로 하는 공익 대회입니다. 이 플랫폼은 15만 마리 이상의 동물에 대한 데이터베이스를 보유하고 있으며, 동물 애호가, 언론사, 기업 등과 협력하여 동물 복지를 개선합니다.
대회 참가자들이 개발한 알고리즘은 반려동물 입양률을 예측하는 데 사용될 것입니다. 연구에 따르면 반려동물 입양률은 온라인 프로필에 게시된 사진과 설명 등의 메타데이터와 밀접한 관련이 있는 것으로 나타났습니다. 참가자들의 임무는 이러한 상관관계를 찾아내고 반려동물 입양 기관이 반려동물의 전자 파일을 최적화하여 더 매력적으로 보이도록 돕는 것입니다. 이를 통해 입양률을 높이고 "안락사" 건수를 줄이는 것입니다.
경기 시간:대회 등록은 2019년 3월 21일에 마감되고, 참가작 제출 마감일은 3월 28일입니다. 최종 결과는 2019년 4월 9일에 발표됩니다.
경쟁 규모:결국 2,000개 팀이 대회에 참여했지만, 상위 5개 팀만이 상금을 받았습니다. 1위부터 5위까지의 상금은 각각 10,000달러, 7,000달러, 5,000달러, 2,000달러, 1,000달러입니다.
"1등"은 어떻게 부정행위를 해서 상을 탈 수 있었을까?
1위를 차지한 베스트페팅팀은 대회 기간 동안 비공개 테스트 데이터 세트를 비밀리에 크롤링하여 제출된 콘텐츠에 해당 데이터를 숨겼습니다. 결국 이 작품은 대회에서 1등을 차지했고 10,000달러의 상금을 받았습니다.
PetFinder.my에 따르면 구체적인 부정행위는 다음과 같습니다.
- 이들은 (아마도 주최자인 PetFinder.my의 웹사이트에서 스크랩한 것으로 추정되는) 부정행위를 통해 개인 테스트 데이터에서 입양률 답변을 얻었습니다.
- 그런 다음 그들은 이 데이터와 답변을 외부 데이터 세트인 "cute-cats-and-dogs-from-pixabaycom"의 일부로 위장한 ID 필드에 인코딩했습니다.
- 데이터를 처리할 때 이러한 혼합된 ID 필드를 디코딩하고 예측 단계에서 답변을 검색할 수 있습니다.
- 마지막으로, 그들은 최종 점수를 더 "실제적"으로 보이게 하기 위해 일부 코드화된 답변만 사용했습니다.
- 처리된 코드는 여러 중첩된 함수와 코드 계층 아래에 조심스럽게 숨겨지고 난독화되어 있으며, 의도적으로 읽기 어렵고 평범해 보이도록 설계되었습니다.
간단히 말해, 이 팀은 먼저 부정행위를 통해 테스트 세트에 대한 답을 미리 얻은 다음, 그 중 일부를 인코딩에 사용하고, 경연 중에 이를 디코딩한 후, 마지막으로 이 표준 답변을 경연의 "결과"로 사용하여 "우수한 성과"를 달성했습니다.
늦었지만 없는 것은 아닌 보고서
주최측에 따르면, 벤자민 미닉스호퍼가 부정행위를 발견했습니다. 그는 "PetFinder.my" 대회에서 6위를 차지했습니다.
Benjamin Micklethoff는 주최측인 PetFinder.my가 1등 솔루션을 상품화하도록 돕는 동안 1등 수상자의 부정행위 징후를 발견하고 Kaggle에 위반 사항을 보고했습니다.
Kaggle은 심층적인 조사 끝에 부정행위가 발생했다는 사실을 확인했습니다. 해당 팀은 금지령을 발표하는 동시에 리더보드에서도 제외되었고, 다른 참가자들은 한 단계씩 순위가 올랐습니다. Kaggle 플랫폼이 만들어진 이래로 참가자가 부정행위로 인해 완전히 실격 처리된 것은 이번이 처음입니다.
이에 대해 주최측과 고발자 모두 슬픔을 표했다.
대회 주최측은 "우리의 존경하는 사람들, 특히 카글 그랜드마스터가 동물 생명을 구하기 위해 고안된 대회에서 금전적 이득을 위해 부정행위를 한 것은 매우 슬픈 일입니다."라고 밝혔습니다.
내부 고발자는 이렇게 말했습니다. "이 사건은 Kaggle 경연 대회의 공정성을 훼손합니다. 저는 Kaggle 솔루션을 운영 시스템으로 전환하는 데 많은 시간을 투자했지만, 결과는 부정행위였습니다. Kaggle 관계자들은 제가 비공개 테스트 데이터를 대량으로 공개하는 이 글을 게재하는 것을 원하지 않을지도 모르지만, 참가자들이 이 글에서 영감을 얻을 수 있기를 바랍니다."
Pavel Pleskov는 H에서 일합니다.2O.ai는 또한 파벨 플레스코프를 해고했으며 "이 사람은 지금부터 우리 회사와 아무런 관계가 없습니다"라고 밝혔습니다.
즉시 사과하라, 하지만 용서받을 수 있을까?
이후 파벨 플레스코프는 즉시 사과하고 자신의 실수를 진심으로 인정했습니다. 그는 또한 팀이 가능한 한 빨리 보너스를 반환할 것이라고 말했습니다. 그는 이렇게 말했다. "저에게 중요한 건 돈이 아니라 Kaggle 포인트입니다. 최초라는 설렘 때문에 판단력을 잃었어요."
그는 이전에 Kaggle에서 그랜드마스터가 되기 위한 인터뷰를 받았으며, YouTube에 올린 "Kaggle 그랜드마스터가 되는 방법"이라는 제목의 그의 연설 영상은 20,000회 이상 조회되었습니다. 지금은 참 아이러니하네요.
그는 예전에는 각광을 받고 많은 관심을 받았지만, 지금은 불명예스러운 상황에 처해 있습니다. 이것이 바로 부정행위에 대한 대가입니다. 경쟁에서 부정행위를 하는 것에 대해 어떻게 생각하시나요?
-- 위에--