Beginnen Wir Mit Der IJCAL-Überprüfungskontroverse: Warum Sind Top-Konferenzen Immer Umstritten?
Kürzlich wurden die Überprüfungsergebnisse des IJCAI 2019 kritisiert. Wir haben eine eingehende Analyse durchgeführt, um herauszufinden, ob IJCAI so schlimm ist, wie viele Internetnutzer sagen. Um die Effizienz der Papierprüfung zu verbessern, hat China außerdem den Einsatz von KI-Tools zur Unterstützung der Prüfung erprobt.
Die Ergebnisse der IJCAI-Beitragsannahme 2019 haben kürzlich eine Welle von Beschwerden im Internet ausgelöst.
Am 9. Mai gab die Top-Konferenz im Bereich der künstlichen Intelligenz IJCAI 2019 die Ergebnisse der Papierakzeptanz bekannt: In diesem Jahr insgesamt 4752 Effektiv eingereichte Arbeiten, endlich enthalten 850 Die Akzeptanzrate beträgt 17.9%, was niedriger ist als die durchschnittliche Zulassungsrate von 20% in den Vorjahren.
Nach Bekanntgabe der Ergebnisse war bei vielen Beitragenden sofort Unzufriedenheit zu verzeichnen. Autoren, deren Beiträge abgelehnt wurden, veröffentlichten ihre Erfahrungen online und stellten die Überprüfungs-, Bewertungs- und Widerlegungsprozesse in Frage.
Als Reaktion darauf veröffentlichte Sarit Kraus, Programmvorsitzende der IJCAI 2019, am 10. Mai einen offenen Brief. Darin erklärte sie:
Ich kann die Zweifel aller am Überprüfungsprozess, an der Fairness und Zufälligkeit verstehen und habe auch viele Ablehnungsschreiben erhalten. Während dieser Überprüfung habe ich mein Bestes getan, um die Zufälligkeit des Überprüfungsprozesses zu verringern, die Anzahl der von jedem PC und SPC erhaltenen Dokumente zu reduzieren und die Überprüfungszeit zu verlängern.
Angesichts der insgesamt 4.752 zu dieser Konferenz eingereichten Beiträge war die Überprüfung jedoch äußerst schwierig. Ich bin der Meinung, dass das Konzept streng geprüfter akademischer Konferenzen überdacht und erneuert werden muss. IJCAI wird sich auch die Ideen aller anhören und das Journal verbessern.
Einige Wissenschaftler sind der Ansicht, dass diese Antwort durchaus angemessen, verständlich und akzeptabel ist. Schließlich sollte es nach so vielen Jahren mehr Innovationen geben.
Nachdem die Wut abgeklungen ist, müssen wir ruhig und objektiv analysieren, wie IJCAI wirklich ist. Wird es tatsächlich „immer wässriger“, wie manche Autoren beklagen?
Seien Sie objektiv und hören Sie mehreren Stimmen zu
Wir sollten bei einem Streit nicht nur einer Seite zuhören. Insgesamt wurde dem IJCAI dieses Mal etwas Unrecht getan.
1. Im Inland gibt es viele Beschwerden, im Ausland ist die Reaktion mittelmäßig
Erstens konzentrieren sich die Bereiche mit der stärksten Ablehnung auf die inländische Frage-und-Antwort-Community „Zhihu“, während auf ausländischen Plattformen wie Twitter, Reddit und Quaro keine entsprechenden Fragen zu sehen sind.
Ein Benutzer sagte auf Weibo, dass es in den heimischen akademischen Kreisen eine Zirkelkultur gebe. Gutachter geben Autoren, mit denen sie vertraut sind, hohe Punktzahlen, während sie Autoren, zu denen sie keine Beziehung haben, möglicherweise weniger objektive und faire Bewertungen geben. Darüber hinaus habe ich dieses Jahr zum ersten Mal gehört, dass AAAI und IJCAI Interessenkonflikte unter Gutachtern untersuchten und dabei herausfanden, dass alle höchst verdächtigen Gutachter von 90% Chinesen waren.
Professor Wan Xiaojun von der Peking-Universität erwähnte auf Weibo ebenfalls: „Es scheint, dass einige Autoren ihre Verbindungen nutzen, um die Ergebnisse von Artikelbewertungen zu beeinflussen … Ich weiß nicht, wann dieser schlechte Trend begann.“
Daraus lässt sich schlussfolgern, dass die Kritiker vielleicht gerade aufgrund meiner eigenen schlechten Angewohnheiten voreingenommen gegenüber Chinesen geworden sind und deshalb keine objektiven Kritiken mehr abgeben?
2. Wenn Sie gewinnen, ist es gut, und wenn Sie nicht gewinnen, ist es schlecht?
Zweitens, in Bezug auf „So zeigen Sie die Annahmeergebnisse der IJCAI 2019 an“Die Kommentare waren in ihrer Verurteilung des IJCAI nicht völlig einseitig. Im Allgemeinen stammen die meisten Beschwerden von Autoren, deren Beiträge nicht angenommen wurden.
Ein Benutzer sagte:
Bevor Sie Ihre Arbeit beim IJCAI einreichen, sollten Sie sich auf eine stichprobenartige Begutachtung einstellen. Die Begutachtungsergebnisse sind in diesem Jahr nicht dieselben. Da das IJCAI zudem zu viele Beiträge hat und der Fokus fehlt, kann es sein, dass die Gutachter die Arbeit nicht verstehen. DaherBeiträge sollten bei Konferenzen eingereicht werden, die in ihrem Forschungsbereich professioneller sind.Auch im heutigen Zeitalter der Papierinflation sollten Sie sich weiterhin Mühe geben, gute Artikel zu schreiben. "
Der Kommentar erhielt mehr als 80 Likes. Andere Internetnutzer antworteten:
„Wenn Ihr Beitrag nicht angenommen wird, geben Sie der Begutachtung die Schuld für die schlechten Ergebnisse, aber warum denken Sie nicht darüber nach, ob Ihre Arbeit gut genug ist?“
Ein Autor, dessen Beitrag angenommen wurde, sagte:
Es ist immer noch traurig, dass die Ergebnisse meiner harten Arbeit geschmälert werden. Objektiv betrachtet ist die Qualität meiner eigenen Rezension immer noch recht gut, und die Anforderungen sind sehr streng. Und die Gutachter, die ich getroffen habe, sind auch sehr verantwortungsbewusst.
Professor Liu Zhiyuan von der Tsinghua-Universität antwortete ihm in den Kommentaren:
„Schließlich gibt es nur wenige unseriöse Gutachter. Machen Sie sich nicht zu viele Gedanken.“
Auch ein anderer anerkannter Autor äußerte sich zu den Beschwerdeführern:
Darüber hinaus gaben einige Internetnutzer an, dass diese Situation darauf zurückzuführen sei, dass viele Leute zwar der Meinung seien, IJCAI und AAAI seien zu schwach, gleichzeitig aber eigene Beiträge einreichten, die offensichtlich nicht dem Niveau der Top-A-Level-Konferenzen entsprächen.
Den Daten zufolge ist die Zahl der Einreichungen und Annahmen beim IJCAI in den letzten Jahren gestiegen, und die Zahl der angenommenen Beiträge ist dieses Jahr sogar noch höher als im letzten Jahr.37% hinzugefügt,Ein Allzeithoch erreicht.Im Gegensatz dazu in diesem JahrDie Aufnahmequote ist die niedrigste der letzten Jahre.Erstmals lag die Aufnahmequote unter der durchschnittlichen Aufnahmequote von 20% in den Vorjahren.
Referenzdaten (Annahme und Annahmequote der IJCAI-Beiträge in den letzten 4 Jahren):
Im Jahr 2015 erhielten wir 1996 Einreichungen, von denen 575 angenommen wurden, mit einer Annahmequote von 28,8%;
Im Jahr 2016 gingen insgesamt 2294 Einreichungen ein, wobei die Annahmequote unter 25% lag;
Im Jahr 2017 gingen insgesamt 2.540 Einreichungen ein, 660 wurden angenommen und die Annahmequote lag bei 25,91 TP3T. Von diesen 2.540 eingereichten Beiträgen stammte die größte Zahl aus China, nämlich 371 TP3T der Gesamtzahl der Einreichungen. Auf Europa und die Vereinigten Staaten entfielen jeweils 181 TP3T;
Im Jahr 2018 gingen insgesamt 3.470 Einreichungen ein, 710 Arbeiten wurden angenommen und die Annahmequote lag bei 20,51 TP3T. Unter den angenommenen Arbeiten stammten 325 von chinesischen Autoren, was 46% der Gesamtzahl entspricht und damit weit vor allen anderen Ländern und Regionen liegt.
Vielleicht sind sich, wie der oben erwähnte Internetnutzer sagte, zu viele Forscher über die Qualität ihrer Arbeiten nicht sicher, aber die Autoren reichen sie mit einer Risikomentalität ein.Dies hat zu einer Verschwendung von Überprüfungsressourcen des IJCAI geführt.Dies ist auch einer der Gründe für die Zunahme von Review-Bugs.
Daher ist es vernünftig, die Ergebnisse dieser Rekrutierung rational zu kritisieren, aber es ist nicht gut, dem Trend blind zu folgen und sich zu beschweren. Darüber sollten sowohl Gutachter als auch Mitwirkende nachdenken.
Es gibt keine Top-Konferenz, die nicht kritisiert wird
Tatsächlich ist die IJCAI nicht die einzige Spitzenkonferenz, die in die Kritik geraten ist. Wir sehen ICML, AAAI, NeurIPS Sie haben alle die gleiche „Erfahrung“ gemacht. Es scheint, dass die Überprüfung nach Veröffentlichung der Ergebnisse durchgeführt wird.Kritik zu bekommen ist zur Routine geworden.
Nein, erst heute, NLP-Konferenz ACL Die Ergebnisse wurden gerade bekannt gegeben und riefen viel Kritik hervor. Vor nicht allzu langer Zeit, Anfang März, wurden die Ergebnisse veröffentlicht. ICML 2019 Auch Twitter-Nutzer zeigten sich über die Ergebnisse der Überprüfung erbost.Er verspottete sie heftig.
Angesichts der Tatsache, dass Top-Konferenzen im KI-Bereich allgemein kritisiert werden, sollten wir mehr Zeit darauf verwenden, unsere eigenen Mängel zu finden und bessere Beiträge zu schreiben.
Professor Zhou Zhihua hat bereits auf verschiedenen Konferenzen im Bereich KI Kommentare abgegeben. Hier ist seine Bewertung des IJCAI zu Ihrer Information:
IJCAI: Die beste umfassende Konferenz zum Thema KI, die 1969 ins Leben gerufen wurde und alle zwei Jahre in den ungeraden Jahren stattfindet. Da die KI ein so großes Thema ist, können wir zwar grundsätzlich jedes Jahr über 100 Veröffentlichungen verzeichnen (mittlerweile sind es über 200), aber in jedem Bereich gibt es nur wenige Veröffentlichungen. Für große Bereiche wie maschinelles Lernen und Computersehen gibt es jedes Mal nur etwa 10 Arbeiten, daher ist es sehr schwierig.
Allerdings ist die Annahmequote nicht zu niedrig, im Grunde liegt sie bei etwa 20%, da Insider die Bedeutung der Bewerbung abwägen und, wenn keine Hoffnung besteht, die Zeit des Prüfers nicht verschwenden.
In letzter Zeit wurden bei internationalen Konferenzen eine Flut von Artikeln aus Festlandchina eingereicht. Da es in dem Land jedoch nur sehr wenige Forschungsgruppen gibt, die ihre eigene Sichtung durchführen können, beklagen sich viele Konferenzen darüber, dass die minderwertigen Artikel aus China die Effizienz der PC-Arbeit erheblich beeinträchtigen. Unter diesen Umständen wird die Akzeptanzrate internationaler Konferenzen in den nächsten Jahren voraussichtlich zurückgehen.
IJCAI ist die führende KI-Konferenz
In Bezug auf die Dauerhaftigkeit kann die IJCAI als Veteran unter vielen Top-Konferenzen im Bereich der KI angesehen werden.
Wenn man sich die wichtigsten internationalen Konferenzen im Bereich der künstlichen Intelligenz ansieht,IJCAI ist eine der ältesten Konferenzen.Die erste Tagung fand 1969 in den USA statt und wurde seitdem alle zwei Jahre abgehalten, bis sie 2015 zu einer jährlichen Tagung wurde. Dieses Jahr ist sein 50. Geburtstag.
IJCAI wird von der China Computer Federation (CCF) als eine der empfohlenen internationalen akademischen Konferenzen anerkannt. Treffen der Kategorie A,Im Bereich der künstlichen Intelligenz hat es schon immer eine sehr maßgebliche Stellung eingenommen. Die Zulassungsvoraussetzungen waren schon immer relativ streng und lagen im Allgemeinen bei etwa 20%.
Ein Blick auf die Liste der Gewinner der höchsten Auszeichnung des IJCAI im Laufe der Jahre, des „Excellence in Research Award“, zeigt, dass es sich bei den meisten von ihnen um bekannte Persönlichkeiten der Branche handelt. Sie bieten beispielsweise Folgendes an:
1985 John McCarthy, Vater der künstlichen Intelligenz, Gewinner des Tuling Award 1971. (Interessanterweise gibt es auch einen nach ihm benannten IJCAI-Preis, mit dem Forscher in der Mitte ihrer Karriere ausgezeichnet werden.)
Im Jahr 2005 Geoffrey E. Hinton, der Vater der neuronalen Netzwerke und Gewinner des Graph Award 2018.
Im Jahr 2016 wurde Michael I. Jordan, Mitglied dreier amerikanischer Akademien und führender Experte auf dem Gebiet der künstlichen Intelligenz, zum Professor ernannt.
Bei Interesse können Sie nach der detaillierten Liste der bisherigen Gewinner suchen. Sie alle sind bewundernswerte KI-Götter.
Darüber hinaus können auch die Sponsoren der Konferenz bis zu einem gewissen Grad deren Niveau widerspiegeln. Den Sponsoren der IJCAI zufolge gibt es in diesem Jahr keinen Mangel an riesigen Technologieunternehmen, darunter Baidu, Huawei, Alibaba, Tencent usw. in China und IBM Research AI, SONY, BOSCH, HITACHI und Microsoft im Ausland. Das Lineup ist immer noch sehr stark.
Lösung: Verwenden Sie KI zur Überprüfung von KI-Dokumenten
Die Diskussion über die Zulassungsergebnisse der IJCAI 2019 stand auf der Zhihu-Hotlist, und einige Leute beklagten sich: Es scheint, dass es wirklichDas Zeitalter der KI für alle.
China hat in den letzten Jahren im Bereich der KI schnelle Fortschritte gemacht. Ein großer Teil der wachsenden Zahl von Beiträgen auf führenden KI-Konferenzen stammt aus dem Inland. In den letzten 20 Jahren produzierte China insgesamt 369.000 Artikel,Der Ausgang befindet sich beiNr. 1 der Welt,Auf Platz zwei liegen die USA, 3,8-mal so hoch wie das drittplatzierte Vereinigte Königreich.
Kein Wunder also, dass sich die IJCAI darüber beschwert, dass die enorme Menge an Papier die Effizienz der PCs verringert.
Als Reaktion auf die aktuelle Situation haben Forscher eine effiziente und unvoreingenommene Gutachter für KI-Zuschüsse.
Gestern hieß es in einem in Nature veröffentlichten Artikel:Nationale Naturwissenschaftliche Stiftung Chinas (NSFC)Derzeit wird ein KI-Tool getestet, das Forscher für die Überprüfung von Förderanträgen auswählt und so den Prozess zugänglicher macht.Effizienter, schneller und fairer.
Das System nutztVerarbeitung natürlicher SpracheDurchsuchen Sie Online-Datenbanken zur wissenschaftlichen Literatur und die persönlichen Webseiten von Wissenschaftlern, um detaillierte Informationen zu den Veröffentlichungen oder Forschungsprojekten potenzieller Gutachter zu sammeln. Durch die Verwendung der semantischen Textanalyse können Zuschussanträge verglichen und die besten Übereinstimmungen für die Gutachter ermittelt werden.
Einige Forscher bezeichnen den Ansatz des NSFC als weltweit führend, bleiben jedoch skeptisch, ob KI den Prozess wirklich verbessern kann.
Immer mehr Top-Konferenzen nutzen KI
letzten Monat,Norwegischer ForschungsratWir begannen, mithilfe natürlicher Sprachverarbeitungstechniken etwa 3.000 Forschungsvorschläge zu gruppieren und sie den besten Gutachtergremien zuzuordnen.
Schweizer Wissenschaftsverlag Grenzen(Frontiers) Durch KI-Tools AIRA(Artificial Intelligence Review Assistant) unterstützt Gutachter und Redakteure bei der Verbesserung der Effizienz.
Das AIRA-System basiert auf internen benutzerdefinierten Algorithmen sowie branchenführenden Tools wie Google, iThenticate von CrossRef und Ada von Editage.
AIRA führt derzeit zwei wichtige Peer-Review-Aufgaben durch:Qualitätskontrolle und Gutachteridentifizierung.Sein Algorithmus bewertet eingereichte Manuskripte schnell und präzise anhand einer Reihe von Qualitätsmetriken, darunter Textüberschneidungen, Sprache, das Vorhandensein von Menschenbildern und andere ethische Überlegungen. Manuskripte, die die festgelegten Qualitätsanforderungen erfüllen, werden an den Herausgeber weitergeleitet, während Manuskripte mit potenziellen Problemen zur weiteren Untersuchung an das Überprüfungsteam gesendet werden.
Wir hoffen, dass die Gutachter durch die Einbindung von KI-Tools in das Team zur Überprüfung von Artikeln mehr Zeit sparen können, die sie sonst mit anderen Links verbringen würden, sodass sie unsere Artikel sorgfältig prüfen und jedem Beitragenden eine zufriedenstellende Antwort geben können.
Die IJCAI 2019 findet dieses Jahr vom 10. bis 16. August in Macau, China statt. Nach der Konferenz in Peking im Jahr 2013 findet sie zum zweiten Mal in China statt.
Bis zur Eröffnung der Konferenz sind es zwar noch drei Monate, aber es ist schon jetzt so lebhaft, dass es wahrscheinlich sehr interessant wird. Also, möchten Sie teilnehmen?