IJCAL 리뷰 논란을 시작으로, 왜 최고의 학회는 항상 논란이 되는 걸까요?
최근 IJCAI 2019의 검토 결과가 비판을 받았습니다. 우리는 많은 네티즌들이 말하는 것처럼 IJCAI가 정말 나쁜지 알아보기 위해 심층 분석을 실시했습니다. 또한, 중국에서는 논문 심사의 효율성을 높이기 위해 AI 도구를 활용해 심사를 지원하는 방안을 시범적으로 시행하고 있습니다.
최근 IJCAI 2019년 논문 합격 결과는 인터넷에서 엄청난 불만을 불러일으켰습니다.
5월 9일, 인공지능 분야 최고 학술대회인 IJCAI 2019에서 논문 접수 결과가 발표되었습니다. 올해는 총 4752 효과적으로 제출된 논문, 마침내 포함됨 850 수용률은 17.9%이는 지난 몇 년간의 20% 입원율 평균보다 낮은 수치입니다.
결과가 발표되자마자 많은 참여자들은 즉시 불만을 표했다. 논문이 거부된 저자들은 온라인에 자신의 경험을 게시하여 검토, 채점, 반박 과정에 대해 의문을 제기했습니다.
이에 대해 IJCAI 2019 프로그램 의장인 사릿 크라우스는 5월 10일 공개 서한을 발표했습니다. 그녀는 서한에서 다음과 같이 밝혔습니다.
저는 모든 사람이 검토 과정, 공정성, 무작위성에 대해 의심을 품는다는 것을 이해할 수 있으며, 거절 편지도 많이 받았습니다. 이번 검토 과정에서 저는 검토 과정의 무작위성을 줄이고, 각 PC와 SPC가 수신한 논문 수를 줄이고, 검토 시간을 늘리기 위해 최선을 다했습니다.
그러나 이번 학회에 제출된 논문이 총 4,752편에 달해, 심사업무는 매우 어려웠습니다. 저는 엄격한 검토를 거친 학술대회라는 개념이 재고되고 혁신되어야 한다고 믿습니다. IJCAI는 모든 분들의 아이디어를 경청하고 저널을 더욱 발전시켜 나갈 것입니다.
일부 학자들은 이러한 반응이 매우 적절하고 이해할 만하며 수용 가능하다고 믿습니다. 결국, 오랜 세월이 흐른 만큼 혁신이 더 많이 일어나야 합니다.
분노가 가라앉은 후에는 IJCAI가 실제로 어떤 것인지 차분하고 객관적으로 분석해야 합니다. 일부 작가들이 불평하는 것처럼 정말 "점점 더 물ったい"가 되고 있는 걸까?
객관적으로 생각하고 다양한 의견을 들어보세요
우리는 어떠한 분쟁에 대해서도 한쪽의 의견만 들어서는 안 됩니다. 전반적으로, 이번에 IJCAI는 어느 정도 부당한 대우를 받았습니다.
1. 국내에서는 불만이 많은데 해외 반응은 미미하다
첫째, 가장 큰 불만이 제기된 부분은 국내 질의응답 커뮤니티 '지후'에 집중돼 있는 반면, 트위터, 레딧, 콰로 등 국외 플랫폼에서는 관련 질문이 전혀 나오지 않았다.
한 사용자는 웨이보에서 국내 학계에 서클 문화가 있다고 말했습니다. 리뷰어는 자신이 잘 아는 저자에게 높은 점수를 주고, 자신과 아무런 관계가 없는 저자에게는 객관적이고 공정하지 못한 평가를 내릴 수 있습니다. 또한, 올해 처음으로 AAAI와 IJCAI가 심사자 이해 상충에 대한 조사를 진행 중이라는 소식을 들었는데, 90%에 대한 의심스러운 심사자가 모두 중국인이라는 사실이 밝혀졌습니다.
베이징 대학의 완샤오쥔 교수도 웨이보에 "일부 저자들이 인맥을 이용해 논문 심사 결과에 영향을 미치는 것 같다... 이런 나쁜 추세가 언제부터 시작되었는지는 모르겠다"고 언급했습니다.
이를 통해, 아마도 저의 나쁜 습관 때문에 리뷰어들이 중국인에 대한 편견을 갖게 되어 객관적인 리뷰를 제공하지 못하게 된 것이 아닐까 추측할 수 있습니다.
2. 이기면 좋고, 이기지 못하면 나쁘다는 말인가요?
둘째, 다음과 관련하여 「IJCAI 2019 합격자 발표 결과 확인 방법」IJCAI를 비난하는 의견은 전적으로 일방적이지 않았습니다. 일반적으로 대부분의 불만은 논문이 게재되지 않은 저자들에게서 나옵니다.
한 사용자는 이렇게 말했습니다.
IJCAI에 제출하기 전에 무작위 심사에 대비해야 합니다. 올해 심사 결과는 같지 않습니다. 또한, IJCAI는 논문이 너무 많고 집중력이 부족하여 심사위원들이 이해하지 못할 수도 있습니다. 따라서기고자는 자신의 연구 분야에서 보다 전문적인 컨퍼런스에 논문을 제출해야 합니다.오늘날처럼 종이가 팽창하는 시대에도 여전히 좋은 기사를 쓰기 위해 노력해야 합니다. "
이 댓글은 80개 이상의 좋아요를 받았습니다. 다른 네티즌들은 다음과 같이 반응했습니다.
"논문이 채택되지 않으면, 그 결과가 나빴다는 이유로 심사위원 탓을 하지만, 자신의 논문이 충분히 좋은지 한번 생각해 보는 건 어떨까요?"
논문이 수락된 한 저자는 이렇게 말했습니다.
제 노고의 결과가 깎아내려지는 모습을 보는 건 여전히 안타깝습니다. 객관적으로 보면, 제가 쓴 리뷰의 질은 여전히 꽤 좋고, 요구 조건도 매우 엄격합니다. 그리고 제가 만난 리뷰어들도 책임감이 강합니다.
청화대 류지위안 교수는 댓글을 통해 다음과 같이 답했다.
"결국, 신뢰할 수 없는 리뷰어는 몇 명뿐이니까요. 너무 걱정하지 마세요."
또 다른 공인 저자도 불평하는 사람들에 대한 자신의 의견을 밝혔습니다.
또한 일부 네티즌들은 IJCAI와 AAAI가 너무 약하다고 말하는 사람들이 많으면서도, 명백히 최고 A레벨 학회 수준에도 못 미치는 논문을 제출하기 때문에 이런 상황이 발생한다고 말했습니다.
데이터에 따르면, 최근 몇 년 동안 IJCAI에 제출된 논문과 승인된 논문의 수가 증가하고 있으며, 올해 승인된 논문의 수는 작년보다 더 많습니다.37% 추가됨,역대 최고치를 기록했습니다.그러나 이와 대조적으로 올해는최근 몇 년 동안 입학률이 가장 낮았습니다.처음으로, 입학률이 지난 몇 년간 20%의 평균 입학률보다 낮아졌습니다.
참고 데이터(지난 4년간 IJCAI 논문 승인 및 승인율):
2015년에는 1,996건의 제출물이 접수되었고, 그 중 575건이 승인되었으며, 승인률은 28.8%였습니다.
2016년에는 총 2,294건의 작품이 접수되었으며, 승인율은 25%보다 낮았습니다.
2017년에는 총 2,540건의 논문이 접수되었고, 그중 660건이 승인되었으며, 승인률은 25.9%였습니다. 이 2,540건의 논문 제출 중 가장 많은 수가 중국에서 제출되었으며, 전체 제출 건수의 37%를 차지했습니다. 유럽과 미국은 각각 18%를 차지했습니다.
2018년에는 총 3,470편의 논문이 접수되었고, 710편의 논문이 채택되었으며, 채택률은 20.5%였습니다. 채택된 논문 중 325편이 중국 저자의 논문으로, 전체의 46%를 차지하며 다른 모든 국가 및 지역보다 훨씬 많습니다.
아마도 위에서 언급한 네티즌이 말했듯이, 너무 많은 연구자들이 자신의 논문의 질에 대해 확신을 갖지 못하고, 저자들은 도박적인 사고방식으로 논문을 제출하는 것 같습니다.이로 인해 IJCAI 검토 리소스가 낭비되었습니다.이는 리뷰 버그가 증가하는 이유 중 하나이기도 합니다.
따라서 이번 채용 결과를 이성적으로 비판하는 것은 타당하지만, 맹목적으로 불평하는 것은 옳지 않습니다. 리뷰어와 기고자 모두 이 점을 반성해야 합니다.
비판받지 않는 최고 컨퍼런스는 없다
사실, IJCAI는 비판을 받아온 유일한 최고 학회는 아니다. 우리는 본다 ICML, AAAI, NeurIPS 그들은 모두 똑같은 "경험"을 했습니다. 결과가 발표된 후에 검토가 진행될 것으로 보입니다.비판을 받는 일이 일상이 되었습니다.
아니요, 오늘 NLP 컨퍼런스가 있습니다 전방십자인대 결과가 방금 발표되었고 많은 비판을 받았습니다. 얼마 전인 3월 초에 결과가 발표되었습니다. ICML 2019 트위터 사용자들 역시 리뷰 결과에 분노했다.그는 그녀를 심하게 조롱했다.
따라서 AI 분야의 최고 학술대회가 전반적으로 비판을 받는 상황에 직면하여, 우리는 더 많은 시간을 들여 우리 자신의 단점을 찾고 더 나은 논문을 작성해야 합니다.
저우지화 교수는 이전에 AI 분야의 다양한 컨퍼런스에서 논평을 한 적이 있습니다. 참고하실 수 있도록 IJCAI에 대한 그의 평가를 여기에 적어 두었습니다.
IJCAI: 1969년에 시작된 AI 분야 최고 종합 학회로, 2년마다 홀수 해에 개최됩니다. AI는 너무 방대해서 기본적으로 매년 100편 이상의 논문을 기록할 수 있지만(지금은 200편이 넘었습니다), 각 분야별로 논문이 몇 편밖에 없습니다. 머신러닝이나 컴퓨터 비전 같은 큰 분야의 경우 논문이 매번 10편 정도밖에 없어서 매우 어렵습니다.
하지만 합격률은 그렇게 낮지 않습니다. 기본적으로 20% 정도입니다. 왜냐하면 내부자들이 지원서의 중요성을 평가할 것이고, 희망이 없다면 검토자의 시간을 낭비하지 않기 때문입니다.
최근 중국 본토에서 국제 학술 대회에 제출되는 논문이 쇄도하고 있는데, 중국에서는 자체적으로 심사를 진행할 수 있는 연구 그룹이 거의 없기 때문에 많은 학술 대회에서 중국에서 제출되는 저질 논문이 컴퓨터 작업의 효율성을 심각하게 저해한다고 불평하고 있습니다. 이런 상황에서는 앞으로 몇 년 안에 국제학회의 개최율이 떨어질 것으로 예상된다.
IJCAI는 선도적인 AI 컨퍼런스입니다.
연륜 측면에서 볼 때 IJCAI는 AI 분야의 많은 최고 컨퍼런스 중에서도 베테랑으로 간주될 수 있습니다.
인공지능 분야의 주요 국제 학술대회를 살펴보면,IJCAI는 가장 오래된 학회 중 하나입니다.첫 번째 회의는 1969년 미국에서 열렸으며, 그 이후로 2년마다 열리다가 2015년부터 연례 회의가 되었습니다. 올해는 50번째 생일.
IJCAI는 중국컴퓨터연맹(CCF)에서 추천하는 국제 학술대회 중 하나로 인정받고 있습니다. 카테고리 A 회의,이 회사는 인공지능 분야에서 항상 매우 권위 있는 위치를 차지해 왔습니다. 입학 기준은 항상 비교적 엄격했으며, 일반적으로 20% 수준으로 유지되었습니다.
지난 몇 년간 IJCAI의 최고 영예 상인 "연구 우수상" 수상자 목록을 살펴보면, 대부분이 업계에서 잘 알려진 인물입니다. 예를 들어, 그들은 다음과 같습니다.
1985년 인공지능의 아버지 존 매카시가 1971년 툴링상을 수상했습니다. (흥미롭게도 그의 이름을 딴 중견 연구자를 표창하는 IJCAI 상도 있습니다.)
2005년, 신경망의 창시자인 제프리 E. 힌튼이 2018년 그래프 어워드를 수상했습니다.
2016년에는 미국 3개 학회의 회원이자 인공지능 분야의 선두주자인 마이클 I. 조던이 있었습니다.
관심이 있으시다면 이전 수상자 상세 목록을 검색해 보세요. 그들은 모두 존경스러운 AI 신들입니다.
또한, 컨퍼런스의 후원사도 어느 정도 컨퍼런스의 수준을 반영할 수 있다. 올해 IJCAI의 후원사를 보면, 중국에는 바이두, 화웨이, 알리바바, 텐센트 등의 거대 기술 기업이 많고, 해외에는 IBM Research AI, SONY, BOSCH, HITACHI, Microsoft 등이 있습니다. 라인업은 여전히 매우 강력합니다.
해결책: AI를 활용해 AI 논문 검토
IJCAI 2019 입학 결과에 대한 논의가 Zhihu 핫리스트에 올라왔고 일부 사람들은 다음과 같이 한탄했습니다.모두를 위한 AI 시대.
최근 몇 년 동안 중국은 AI 분야에서 급속한 진전을 이루었습니다. 최고 AI 컨퍼런스에 발표되는 논문 수가 늘어나고 있는데, 이 중 상당수가 국내에서 발표된 논문입니다. 지난 20년 동안 중국은 총 369,000개의 기사,출력은 다음 위치에 있습니다.세계 1위,미국은 2위를 차지했는데, 3위인 영국의 3.8배에 해당합니다.
IJCAI가 엄청난 양의 논문으로 인해 PC의 효율성이 떨어진다고 불평하는 것도 당연한 일입니다.
현재 상황에 대응하여 연구자들은 효율적이고 편견 없는 방법을 도입했습니다. AI 보조금 검토자.
어제 Nature에 게재된 기사에는 다음과 같이 나와 있습니다.중국 국가자연과학기금(NSFC)연구원들을 선정해 보조금 신청서를 검토하는 AI 도구가 시범 운영되고 있으며, 이를 통해 연구비 지원 절차가 더욱 간편해졌습니다.더욱 효율적이고, 빠르고, 공정하게.
시스템은 다음을 활용할 것입니다.자연어 처리온라인 과학 문헌 데이터베이스와 과학자의 개인 웹페이지를 검색하여 잠재적인 심사자의 출판물이나 연구 프로젝트에 대한 자세한 정보를 수집합니다. 텍스트의 의미 분석을 사용하여 보조금 신청서를 비교하고 심사자에게 가장 적합한 신청서를 파악합니다.
일부 연구자들은 NSFC의 접근 방식이 세계를 선도한다고 말하지만, AI가 실제로 이 과정을 개선할 수 있는지에 대해서는 여전히 회의적이다.
더 많은 최고 컨퍼런스에서 AI를 활용하고 있습니다.
전달,노르웨이 연구 위원회우리는 자연어 처리 기술을 사용하여 약 3,000개의 연구 제안서를 그룹화하고 이를 가장 적합한 검토 패널과 매칭하기 시작했습니다.
스위스에 기반을 둔 학술 출판사 프론티어(프론티어) AI 도구를 통해 아이라(인공지능 검토 지원)은 검토자와 편집자의 효율성을 향상하는 데 도움을 줍니다.
AIRA 시스템은 Google, CrossRef의 iThenticate, Editage의 Ada 등 업계를 선도하는 도구와 자체 맞춤 알고리즘을 기반으로 구축되었습니다.
AIRA는 현재 두 가지 주요 동료 평가 업무를 수행하고 있습니다.품질 관리 및 검토자 식별.이 알고리즘은 텍스트 중복, 언어, 인간 이미지의 존재 여부 및 기타 윤리적 고려 사항을 포함한 일련의 품질 측정 항목을 기반으로 제출된 원고를 빠르고 정확하게 평가합니다. 확립된 품질 기준을 충족하는 원고는 편집자에게 전달되고, 잠재적으로 문제가 있는 원고는 추가 조사를 위해 검토팀으로 보내집니다.
AI 도구가 논문 검토팀에 합류하면 검토자들이 다른 링크를 이용하는 데 걸리는 시간을 더 많이 절약할 수 있고, 이를 통해 논문을 신중하게 검토하고 각 기고자에게 만족스러운 답변을 제공할 수 있기를 바랍니다.
IJCAI 2019는 올해 8월 10일부터 16일까지 중국 마카오에서 개최됩니다. 2013년 베이징 회의에 이어 두 번째로 중국에서 개최됩니다.
컨퍼런스가 개최되기까지는 아직 3개월이 남았지만, 벌써부터 활기가 넘치고 매우 흥미로울 것으로 예상됩니다. 그럼, 참석하고 싶으신가요?