IJCALレビュー論争から始まり、トップカンファレンスではなぜいつも論争が起きるのでしょうか？
最近、IJCAI 2019のレビュー結果が批判されていますが、IJCAIが大多数のネチズンが言うほど耐え難いものかどうかを徹底的に分析しました。また、中国は論文査読の効率化を図るため、査読を支援するAIツールの試行も行っている。
IJCAI 2019 の論文受理結果は最近、インターネット上で苦情の波を引き起こしました。
5月9日、人工知能分野のトップカンファレンスであるIJCAI 2019の論文エントリー結果が発表された。 4752 有効に提出された論文が最終的に含まれました 850 論文、採択率 17.9%、長年にわたる20%の平均採用率よりも低い。
結果発表後、多くの投稿者が不満を抱いた。原稿が拒否された著者は、自分たちの「経験」をオンラインに投稿し、査読、採点、反論のプロセスについて疑問を表明した。
これを受けて、IJCAI 2019プログラム委員長のサリット・クラウス氏は5月10日に公開書簡を発表した。彼女は手紙の中で次のように述べています。
審査プロセス、公平性、ランダム性についての皆さんの疑問は理解できますが、私も多くの拒否通知を受け取りました。このレビューでは、レビュープロセスのランダム性を減らし、各 PC と SPC が受け取る論文の数を減らし、レビュー時間を増やすために最善を尽くしました。
しかし、この会議には合計 4,752 件の論文が提出され、審査作業は非常に困難でした。私は、厳格な査読を経た学術会議の概念を再考し、革新する必要があると考えています。 IJCAIも皆様のご意見に耳を傾け、より良いジャーナルにしていきたいと思います。
一部の学者は、この反応はより適切で、理解でき、受け入れられるものであると信じています。結局のところ、何年も経てば、さらに多くの革新が起こるはずです。
怒りが収まったら、IJCAIとは何なのかを冷静かつ客観的に分析する必要がある。一部の著者が不満を述べているように、それは本当に「ますます水っぽくなっている」のでしょうか？
客観的になり、複数の意見に耳を傾ける
いかなる論争においても、私たちは一方の側の話だけに耳を傾けるべきではありません。全体として、今回は IJCAI が不当な扱いを受けました。
1. 国内では不満が多いが、海外の反応は平凡だ。
まず、最も憤りを感じている部分は国内のQ&Aコミュニティ「Zhihu」に集中しているが、Twitter、Reddit、Quaroなどの海外プラットフォームでは関連する疑問は見られない。
一部のユーザーは微博で、国内の学界には派閥文化があり、査読者はよく知っている著者に高い評価を与え、つながりのない著者には客観的で公平な評価を下す可能性があると述べた。さらに今年初めて、AAAIとIJCAIが査読者の利益相反を調査していると聞き、90%の有力容疑者は全員中国人であることが判明した。
北京大学のワン・シャオジュン教師も微博で「一部の著者は人間関係を構築することで論文査読の結果に影響を与えているようだ…この不健全な傾向がいつ始まったのか分からない」と述べた。
このことから推測できるのは、もしかしたら私の悪い癖のせいで、査読者が中国人に対して偏見を持っており、客観的なレビューができていないのではないか？
2. 勝てば良いけど、負けたら悪い？
第二に、に関しては、 「IJCAI 2019採用結果の見方」コメントはIJCAIを完全に一方的に非難しているわけではない。一般に、苦情のほとんどは論文が失敗した著者からのものです。
一部のユーザーはこう言いました。
「IJCAIに論文を投稿する前に、審査がランダム化されることを覚悟しておく必要があります。審査結果は今年だけのものではありません。また、IJCAIは論文テーマが多すぎて焦点が絞られていないため、審査員が内容を理解できない可能性があります」したがって、寄稿者は、自分の研究分野においてより専門的な会議に投稿する必要があります。記事インフレの現代では、頑張って良い記事を書いた方が良いです。 」
このコメントには80件以上の「いいね！」がついた。他のネチズンも次のように反応した。
「もし論文が通らなかったら、審査が悪かったと言えばいいのですが、自分の仕事が十分かどうか考えてみませんか？」
論文が受理された著者は次のように述べています。
「自分の努力の結果が軽視されるのを見るのはとても悲しいことです。客観的に見て、私自身のレビューの質は非常に高く、要件は非常に厳しいです。さらに、私が出会ったレビュー担当者もより責任感があります。」
清華大学のLiu Zhiyuan教授はコメントで彼にこう答えた。
「結局のところ、信頼できない査読者はまだ少数です。あまり心配しないでください。」
受け入れられた別の著者も、クレーマーについて次のような意見を述べています。
また、一部のネチズンは、多くの人がIJCAIとAAAIが弱すぎると言いながら、明らかにAレベルではない記事を投稿したことが今回の事態を引き起こしたのではないかと指摘した。
データの観点から見ると、IJCAIの投稿数と採択数は近年増加傾向にあり、今年の論文採択数は昨年をさらに上回っています。37%を追加、史上最高値に達した。ところが今年は逆に、採用率は近年最低です。初めて、前年の20%の平均合格率を下回りました。
参考データ（IJCAIの過去4年間の論文採択数と採択率）：
2015 年には、合計 1,996 件の申請が受理され、575 件が受理され、受理率は 28.8% でした。
2016 年には合計 2,294 件の申請が受理されましたが、受理率は 25% よりも低かったです。
2017 年には、合計 2,540 件の投稿が受理され、660 件が受理され、採択率は 25.9% でした。2,540 件の論文投稿のうち、最も多いのは中国からであり、ヨーロッパと米国の合計投稿数の 37% を占めました。州は両方とも 18% でした。
2018 年には、合計 3,470 件の投稿が受理され、710 件の論文が受理され、受理率は 20.5% でした。受理された論文のうち、中国出身の著者がいる論文は 325 件で、全体の 46% を占め、他のすべての国と地域を大きく上回っています。
おそらく、上記のネチズンが述べたように、あまりにも多くの研究者が自分の論文の質について自信を持っていないにもかかわらず、ギブアンドテイクの精神を持った著者が論文を投稿しているため、これにより、IJCAI のレビュー リソースが無駄になりました。これもレビューバグが増える原因の一つです。
したがって、この採用結果について理性的に批判するのは当然ですが、盲目的に流れに従って文句を言うのはよくありません。査読者も寄稿者もこの点を熟考する必要があります。
文句の言われない会議など存在しない
実際、批判されているのはIJCAIだけではない。私たちは見ています ICML、AAAI、NeurlPS 皆同じ「出会い」を持っていたのです。ランキング公開後にレビューが行われるようです文句を言われるのが日常になってしまった。
いいえ、今日は NLP カンファレンスです ACL このランキングは発表直後から多くの批判を集めた。つい最近まで、このリストは 3 月初旬にリリースされました ICML 2019 ツイッター上のネチズンも審査結果についてコメントを爆発させた。彼はひどく嘲笑した。
したがって、AI分野のトップカンファレンスが批判を逃れられない状況に直面しても、私たちは依然として自分たちの欠点を探し、より良い論文を書くことに多くの時間を費やしています。
周志華教師は以前、AI 分野のさまざまな会議についてコメントしており、参考までに彼の IJCAI に対する評価をここに引用します。
IJCAI: 1969 年に始まり、隔年奇数年に開催される AI に関する最高の総合会議。 AI は非常に大きいため、各セッションに 100 以上の記事を収録できますが (現在は 200 記事以上)、機械学習やコンピューター ビジョンほど大きな分野では、各分野の記事は数件しかありません。毎回10記事くらいなので大変です。
ただし、合格率はそれほど低くはなく、基本的には 20% 程度です。専門家が重みを評価するため、希望がない場合はレビュー担当者の時間を無駄にしないでください。
最近、中国本土は国際会議に大量の論文を投稿しており、国内には自らを管理できる研究グループが少ないため、多くの学会から中国の低品質な論文がPCの作業効率を著しく妨げているとの苦情が寄せられている。このような状況下、今後数年間で国際会議の採用率は減少すると予測されています。
IJCAIはAI分野の第一人者と言えるでしょう。
年功序列という点では、IJCAI は AI 分野の数多くのトップカンファレンスの中でもベテランと言えます。
人工知能分野の主要な国際会議を見てみると、IJCAI は最も古い会議の 1 つであり、1969 年に米国で最初の会議が開催され、その後 2015 年に毎年開催されるまで隔年で開催されました。今年はたまたまその年です 50歳の誕生日。
IJCAIは中国コンピュータ連盟(CCF)の推奨国際学術会議リストに認定されました クラスAミーティング、人工知能の分野では常に非常に権威のある地位を占めてきました。採用基準は常に厳しく、概ね20%前後に保たれています。
IJCAIの長年にわたる最高栄誉賞である「優秀研究賞」の受賞者は、一見すると、いずれも業界で名の知られた大物ばかりのように思えます。たとえば、彼らは次のようにします。
1985年、人工知能の父であり、1971年のフィギュア賞を受賞したジョン・マッカーシー。 (興味深いことに、IJCAI には中堅研究者を表彰する彼の名を冠した賞も設けられています。)
2005 年に、ニューラル ネットワークの父であるジェフリー E. ヒントンが 2018 年グラフ賞を受賞しました。
2016 年、マイケル I. ジョーダンは米国の 3 つのアカデミーの会員であり、人工知能の第一人者でした。
興味があれば、過去の受賞者の詳細なリストを検索してください。彼らは皆、AI 業界で賞賛されています。
また、カンファレンスの主催者もカンファレンスのレベルをある程度反映することができます。今年のIJCAIのスポンサーを見ると、中国ではBaidu、Huawei、Alibaba、Tencentなど、海外ではIBM Research AI、SONY、BOSCH、HITACHI、Microsoftなど、巨大テクノロジー企業が多数参加している。ラインナップは依然として非常に強力です。
解決策: AI を使用して AI 論文をレビューする
IJCAI 2019 の入学結果に関する議論が Zhihu のホットリストに載っています。「本当に入学したようだ」と嘆く人もいます。国家AI時代。
近年、中国はAI分野で急速な進歩を遂げています。さまざまな AI カンファレンスでの論文数が増加していますが、その大部分は国内からの貢献によるものです。過去 20 年間に、中国は人工知能の分野で合計の論文を発表しました。 369,000 件の記事、出力は次のとおりです世界No.1、2位は米国で、3位英国の3.8倍となっている。
IJCAIが膨大な書類がPC作業効率を低下させると不満を漏らすのも無理はない。
現在の状況に対応して、研究者たちは効率的かつ公平な研究を開始しました。 AI補助金審査員。
昨日、ネイチャー誌に次のような記事が掲載されました。中国国家自然科学財団 (NSFC)助成金申請を審査する研究者を選択できる AI ツールを試験的に導入し、そのプロセスをより効率的、より速く、より公平に。
システムが活用するのは、自然言語処理技術オンラインの科学文献データベースや科学者の個人 Web ページを収集して、潜在的な査読者の出版物や研究プロジェクトの詳細を収集します。テキストの意味分析を使用して補助金申請を比較し、審査担当者に最も適したものを決定します。
一部の研究者は、NSFC が使用しているアプローチは世界をリードしていると述べていますが、AI が実際にプロセスを改善できるかどうかについては依然として懐疑的です。
AI を使用するトップカンファレンスが増えています
先月、ノルウェー研究評議会は、自然言語処理テクノロジーを使用して、約 3,000 件の研究提案をグループ化し、それらを最適な審査委員会と照合し始めました。
スイスに本拠を置く学術出版社 フロンティア(『フロンティア』) AIツールを通じて 姶良(人工知能レビュー アシスタント) は、レビュー担当者と編集者の効率向上を支援します。
AIRA システムは、社内のカスタム アルゴリズムに加え、Google、CrossRef の iThenticate、Editage の Ada などの業界をリードするツールを使用して構築されています。
AIRA は現在、次の 2 つの主要な査読タスクを実施しています。品質管理とレビュー担当者の識別。そのアルゴリズムは、テキストの重複、言語、人間の画像の存在、その他の倫理的考慮事項を含む一連の品質指標に基づいて、提出された原稿を迅速かつ正確に評価します。確立された品質基準を満たす原稿は編集者に渡され、潜在的な問題がある原稿はさらなる調査のためにレビューチームに送られます。
AI ツールが論文レビュー軍に加わることで、査読者が他のリンクからより多くの時間を節約できるようになり、論文を注意深くレビューして各寄稿者に満足のいく回答を与えることができることを私たちは望んでいます。
IJCAI 2019は、今年8月10日から16日まで中国のマカオで開催され、2013年の北京大会に続き2回目となります。
カンファレンスの開催までまだ 3 か月ありますが、すでに非常に盛り上がっています。おそらくその頃には非常に興味深いものになっているでしょう。参加してみませんか。