En Commençant Par La Controverse Autour De La Revue IJCAL, Pourquoi Les Grandes Conférences Sont-elles Toujours Controversées ?
Récemment, les résultats de l’examen de l’IJCAI 2019 ont été critiqués. Nous avons mené une analyse approfondie pour voir si l’IJCAI est aussi mauvais que le disent de nombreux internautes. En outre, afin d’améliorer l’efficacité de l’examen des documents, la Chine a testé l’utilisation d’outils d’IA pour aider à l’examen.
Les résultats d’acceptation des articles de l’IJCAI 2019 ont récemment déclenché une vague de plaintes sur Internet.
Le 9 mai, la principale conférence dans le domaine de l'intelligence artificielle IJCAI 2019 a annoncé les résultats de l'acceptation des articles : cette année, un total de 4752 Articles soumis avec succès, enfin inclus 850 Le taux d'acceptation est 17.9%, ce qui est inférieur au taux d'admission moyen 20% des années précédentes.
Après l’annonce des résultats, de nombreux contributeurs se sont montrés insatisfaits. Les auteurs dont les articles ont été rejetés ont publié leurs expériences en ligne, remettant en question les processus d’évaluation, de notation et de réfutation.
En réponse à cela, Sarit Kraus, présidente du programme de l'IJCAI 2019, a publié une lettre ouverte le 10 mai. Dans sa lettre, elle a déclaré :
Je peux comprendre les doutes de chacun sur le processus d’évaluation, l’équité et le caractère aléatoire, et j’ai également reçu de nombreuses lettres de rejet. Au cours de cette évaluation, j’ai fait de mon mieux pour réduire le caractère aléatoire du processus d’évaluation, réduire le nombre de documents reçus par chaque PC et SPC et augmenter le temps d’évaluation.
Cependant, face à un total de 4 752 articles soumis à cette conférence, la tâche de révision s’est avérée extrêmement difficile. Je crois que le concept de conférences universitaires rigoureusement évaluées doit être repensé et innové. L'IJCAI écoutera également les idées de chacun et améliorera le journal.
Certains chercheurs estiment que cette réponse est tout à fait pertinente, compréhensible et acceptable. Après tout, après tant d’années, il devrait y avoir plus d’innovation.
Une fois la colère retombée, nous devons analyser calmement et objectivement à quoi ressemble réellement l’IJCAI. Est-ce que cela devient vraiment « de plus en plus liquide » comme le déplorent certains auteurs ?
Soyez objectif et écoutez plusieurs voix
Nous ne devrions pas écouter une seule partie dans un conflit. Dans l’ensemble, l’IJCAI a été quelque peu lésée cette fois-ci.
1. Il y a beaucoup de plaintes dans le pays, mais la réponse à l'étranger est médiocre
Premièrement, les domaines où le ressentiment est le plus fort sont concentrés dans la communauté nationale de questions-réponses « Zhihu », alors qu'aucune question connexe n'a été vue sur des plateformes étrangères telles que Twitter, Reddit et Quaro.
Un utilisateur a déclaré sur Weibo qu'il existe une culture du cercle dans le cercle universitaire national. Les évaluateurs attribueront des notes élevées aux auteurs qu’ils connaissent et pourront donner des évaluations moins objectives et équitables aux auteurs avec lesquels ils n’ont aucune relation. De plus, cette année, j’ai entendu pour la première fois que l’AAAI et l’IJCAI enquêtaient sur les conflits d’intérêts des évaluateurs, et ils ont découvert que tous les évaluateurs hautement suspects de 90% étaient chinois.
Le professeur Wan Xiaojun de l'Université de Pékin a également mentionné sur Weibo : « Il semble que certains auteurs utilisent leurs relations pour influencer les résultats des revues d'articles... Je ne sais pas quand cette mauvaise tendance a commencé. »
À partir de là, nous pouvons supposer que c’est peut-être précisément à cause de mes propres mauvaises habitudes que les critiques sont devenus biaisés à l’égard des Chinois et n’ont donc pas réussi à fournir des critiques objectives ?
2. Si vous gagnez, c'est bien, et si vous ne gagnez pas, c'est mal ?
Deuxièmement, en ce qui concerne « Comment consulter les résultats d'acceptation de l'IJCAI 2019 »Les commentaires n’étaient pas entièrement unilatéraux dans la condamnation de l’IJCAI. En général, la plupart des plaintes proviennent d’auteurs dont les articles n’ont pas été acceptés.
Un utilisateur a déclaré :
Avant de soumettre votre article à l'IJCAI, préparez-vous à une évaluation aléatoire. Les résultats de l'évaluation ne sont pas les mêmes cette année. De plus, l'IJCAI présentant un nombre d'articles trop important et manquant de précision, les évaluateurs risquent de ne pas comprendre. Par conséquent,Les contributeurs doivent soumettre leurs travaux à des conférences plus professionnelles dans leur domaine de recherche.À l’ère actuelle de l’inflation du papier, vous devriez toujours travailler dur pour écrire de bons articles. "
Le commentaire a reçu plus de 80 likes. D’autres internautes ont répondu :
« Si votre article n’est pas accepté, vous blâmez l’évaluation pour les mauvais résultats, mais pourquoi ne réfléchissez-vous pas à la qualité de votre travail ? »
Un auteur dont l'article a été accepté a déclaré :
« C'est toujours triste de voir les résultats de mon travail acharné dépréciés. Objectivement, la qualité de mes propres évaluations est toujours assez bonne, et les exigences sont très strictes. Et les évaluateurs que j'ai rencontrés sont également très responsables. »
Le professeur de l'Université Tsinghua, Liu Zhiyuan, lui a répondu dans les commentaires :
« Après tout, il n'y a que quelques critiques peu fiables. Ne vous inquiétez pas trop. »
Un autre auteur reconnu a également donné son avis sur les plaignants :
En outre, certains internautes ont déclaré que cette situation est due au fait que de nombreuses personnes affirment que l'IJCAI et l'AAAI sont trop faibles, mais soumettent en même temps leurs propres articles qui ne sont manifestement pas au niveau des conférences de niveau A de haut niveau.
Selon les données, ces dernières années, le nombre de soumissions et d’acceptations à l’IJCAI a augmenté, et le nombre d’articles acceptés cette année est encore plus élevé que l’année dernière.Ajouté 37%,A atteint un niveau record.Cependant, en revanche, cette annéeLe taux d’admission est le plus bas de ces dernières années.Pour la première fois, le taux d'admission était inférieur au taux d'admission moyen de 20% des années précédentes.
Données de référence (acceptation des articles de l'IJCAI et taux d'acceptation au cours des 4 dernières années) :
En 2015, nous avons reçu 1996 soumissions, dont 575 ont été acceptées, avec un taux d'acceptation de 28,8% ;
En 2016, un total de 2294 soumissions ont été reçues, avec un taux d'acceptation inférieur à 25% ;
En 2017, un total de 2 540 soumissions ont été reçues, 660 ont été acceptées et le taux d'acceptation était de 25,9%. Parmi ces 2 540 soumissions d’articles, le plus grand nombre provenait de Chine, représentant 37% du nombre total de soumissions ; L’Europe et les États-Unis ont chacun représenté 18% ;
En 2018, un total de 3 470 soumissions ont été reçues, 710 articles ont été acceptés et le taux d'acceptation était de 20,5%. Parmi les articles acceptés, 325 provenaient d'auteurs chinois, représentant 46% du total, loin devant tous les autres pays et régions.
Peut-être, comme l'a dit l'internaute mentionné ci-dessus, trop de chercheurs ne sont pas sûrs de la qualité de leurs articles, mais les auteurs les soumettent avec une mentalité de pari.Cela a entraîné un gaspillage des ressources d’examen de l’IJCAI.C’est également l’une des raisons de l’augmentation des bugs d’évaluation.
Il est donc raisonnable de critiquer rationnellement les résultats de ce recrutement, mais il n’est pas bon de suivre aveuglément la tendance et de se plaindre. Les réviseurs et les contributeurs devraient tous deux y réfléchir.
Il n’y a pas de conférence de haut niveau qui ne soit pas critiquée
En fait, l’IJCAI n’est pas la seule conférence de premier plan qui a été critiquée. Nous voyons ICML, AAAI, NeurIPS Ils ont tous vécu la même « expérience ». Il semble que l’examen sera effectué après la publication des résultats.Être critiqué est devenu une routine.
Non, juste aujourd'hui, conférence PNL LCA Les résultats viennent d’être annoncés et ont suscité de nombreuses critiques. Il n’y a pas longtemps, début mars, les résultats ont été publiés. ICML 2019 Les utilisateurs de Twitter étaient également furieux des résultats de l’évaluation.Il s'est moqué d'elle sévèrement.
Par conséquent, face à la situation dans laquelle les principales conférences dans le domaine de l’IA sont généralement critiquées, nous devrions consacrer plus de temps à trouver nos propres lacunes et à rédiger de meilleurs articles.
Le professeur Zhou Zhihua a déjà commenté diverses conférences dans le domaine de l’IA. Voici son évaluation de l’IJCAI pour votre référence :
IJCAI : La meilleure conférence complète sur l'IA, lancée en 1969, se tient tous les deux ans, les années impaires. Étant donné l’ampleur de l’IA, même si nous pouvons enregistrer plus de 100 articles chaque année (nous en avons désormais plus de 200), il n’existe que quelques articles dans chaque domaine. Pour les grands domaines comme l’apprentissage automatique et la vision par ordinateur, il n’y a qu’environ 10 articles à chaque fois, c’est donc très difficile.
Cependant, le taux d'acceptation n'est pas trop bas, essentiellement autour de 20%, car les initiés pèseront le poids de la demande, et s'il n'y a pas d'espoir, ne perdez pas le temps de l'examinateur.
Récemment, un grand nombre d'articles en provenance de Chine continentale ont été soumis à des conférences internationales, et comme il existe très peu de groupes de recherche dans le pays capables de mener leur propre sélection, de nombreuses conférences se sont plaintes que les articles de mauvaise qualité en provenance de Chine entravent sérieusement l'efficacité du travail sur PC. Dans de telles circonstances, on estime que le taux d’acceptation des conférences internationales va diminuer dans les prochaines années.
L'IJCAI est la principale conférence sur l'IA
En termes d’ancienneté, l’IJCAI peut être considéré comme un vétéran parmi de nombreuses conférences de premier plan dans le domaine de l’IA.
En regardant les principales conférences internationales dans le domaine de l'intelligence artificielle,L'IJCAI est l'une des plus anciennes conférences.La première session a eu lieu aux États-Unis en 1969 et s’est tenue tous les deux ans depuis lors jusqu’en 2015, date à laquelle elle est devenue une réunion annuelle. Cette année est sa 50e anniversaire.
L'IJCAI est reconnue par la Fédération chinoise de l'informatique (CCF) comme l'une des conférences universitaires internationales recommandées. Réunions de catégorie A,Elle a toujours occupé une position très autoritaire dans le domaine de l’intelligence artificielle. Ses normes d'admission sont toujours assez strictes, généralement maintenues autour de 20%.
En jetant un coup d'œil à la liste des lauréats du prix le plus prestigieux décerné par l'IJCAI au fil des ans, le « Prix d'excellence en recherche », la plupart d'entre eux sont des personnalités bien connues du secteur. Par exemple, ils :
1985 John McCarthy, père de l'intelligence artificielle, lauréat du prix Tuling 1971. (Il est intéressant de noter qu’il existe également un prix IJCAI qui porte son nom et qui récompense les chercheurs en milieu de carrière.)
En 2005, Geoffrey E. Hinton, le père des réseaux neuronaux, a remporté le Graph Award 2018.
En 2016, Michael I. Jordan, membre de trois académies américaines et leader en intelligence artificielle.
Si vous êtes intéressé, vous pouvez rechercher la liste détaillée des gagnants précédents. Ils sont tous des dieux admirables de l’IA.
De plus, les sponsors de la conférence peuvent également refléter son niveau dans une certaine mesure. À en juger par les sponsors de l'IJCAI cette année, les géants de la technologie ne manquent pas, notamment Baidu, Huawei, Alibaba, Tencent, etc. en Chine, et IBM Research AI, SONY, BOSCH, HITACHI et Microsoft à l'étranger. La programmation est toujours très solide.
Solution : utiliser l’IA pour examiner les documents d’IA
La discussion sur les résultats d'admission de l'IJCAI 2019 a été sur la liste chaude de Zhihu, et certaines personnes se sont lamentées : Il semble que ce soit vraimentL'IA pour tous.
Ces dernières années, la Chine a réalisé des progrès rapides dans le domaine de l’IA. Parmi le nombre croissant d’articles publiés dans les principales conférences sur l’IA, une grande partie provient de contributions nationales. Au cours des 20 dernières années, la Chine a produit un total de 369 000 articles,La sortie est située àN°1 mondial,Les États-Unis se classent au deuxième rang, soit 3,8 fois plus que le Royaume-Uni, qui occupe la troisième place.
Il n’est pas étonnant que l’IJCAI se plaigne que l’énorme quantité de papiers réduit l’efficacité des PC.
En réponse à la situation actuelle, les chercheurs ont mis en place une méthode efficace et impartiale Examinateur de subventions d'IA.
Hier, un article publié dans Nature déclarait :Fondation nationale des sciences naturelles de Chine (NSFC)Un outil d’IA est actuellement testé pour sélectionner les chercheurs chargés d’examiner les demandes de subventions, rendant ainsi le processus plus accessible.Plus efficace, plus rapide et plus juste.
Le système utiliseraTraitement du langage naturelRecherchez dans les bases de données de littérature scientifique en ligne et sur les pages Web personnelles des scientifiques pour recueillir des informations détaillées sur les publications ou les projets de recherche des examinateurs potentiels. En utilisant l'analyse sémantique du texte pour comparer les demandes de subvention et identifier les meilleures correspondances pour les évaluateurs.
Certains chercheurs affirment que l’approche du NSFC est à la pointe du progrès mondial, mais ils restent sceptiques quant à la capacité de l’IA à réellement améliorer le processus.
De plus en plus de conférences de haut niveau utilisent l'IA
mois dernier,Conseil norvégien de la rechercheNous avons commencé à utiliser des techniques de traitement du langage naturel pour regrouper environ 3 000 propositions de recherche et les associer aux meilleurs comités d’évaluation.
Éditeur universitaire basé en Suisse Frontières(Frontières) Grâce aux outils d'IA AIRA(Artificial Intelligence Review Assistant) aide les réviseurs et les éditeurs à améliorer leur efficacité.
Le système AIRA est construit à partir d'algorithmes personnalisés internes ainsi que d'outils de pointe tels que Google, iThenticate de CrossRef et Ada d'Editage.
L'AIRA effectue actuellement deux tâches clés d'évaluation par les pairs :Contrôle qualité et identification des réviseurs.Son algorithme évalue rapidement et avec précision les manuscrits soumis en fonction d’un ensemble de mesures de qualité, notamment le chevauchement du texte, la langue, la présence d’images humaines et d’autres considérations éthiques. Les manuscrits qui répondent au seuil de qualité établi sont transmis à l'éditeur, tandis que ceux qui présentent des problèmes potentiels sont envoyés à l'équipe de révision pour une enquête plus approfondie.
Nous espérons que lorsque les outils d’IA rejoindront l’équipe d’examen des articles, les examinateurs pourront gagner plus de temps grâce à d’autres liens, afin qu’ils puissent examiner attentivement nos articles et donner à chaque contributeur une réponse satisfaisante.
L'IJCAI 2019 se tiendra à Macao, en Chine, du 10 au 16 août de cette année. C'est la deuxième fois qu'elle se tient en Chine après la conférence de Pékin en 2013.
Il reste encore 3 mois avant l'ouverture de la conférence, mais elle est déjà très animée et elle sera probablement très intéressante. Alors, tu veux y assister ?