بدءًا من الجدل الدائر حول مراجعة IJCAL، لماذا تكون المؤتمرات الكبرى دائمًا مثيرة للجدل؟

في الآونة الأخيرة، تعرضت نتائج مراجعة IJCAI 2019 لانتقادات. أجرينا تحليلًا معمقًا لمعرفة ما إذا كان IJCAI سيئًا كما يقول العديد من مستخدمي الإنترنت. وبالإضافة إلى ذلك، ومن أجل تحسين كفاءة مراجعة الأوراق، قامت الصين بتجربة استخدام أدوات الذكاء الاصطناعي للمساعدة في المراجعة.

أثارت نتائج قبول أوراق IJCAI لعام 2019 مؤخرًا موجة من الشكاوى على الإنترنت.

في يوم 9 مايو، أعلن المؤتمر الأبرز في مجال الذكاء الاصطناعي IJCAI 2019 عن نتائج قبول الأوراق البحثية: هذا العام، بلغ إجمالي عدد الأوراق البحثية المقبولة 4752  تم تقديم الأوراق بشكل فعال، وتم تضمينها أخيرًا 850  معدل القبول هو 17.9%، وهو أقل من متوسط معدل القبول 20% في السنوات السابقة.

بعد إعلان النتائج، أبدى العديد من المساهمين عدم رضاهم على الفور. نشر المؤلفون الذين تم رفض أوراقهم تجاربهم على الإنترنت، متسائلين حول عمليات المراجعة والتقييم والرد.

ردًا على ذلك، نشرت ساريت كراوس، رئيسة برنامج IJCAI 2019، رسالة مفتوحة في 10 مايو. وفي رسالتها ذكرت:

أستطيع أن أفهم شكوك الجميع بشأن عملية المراجعة والنزاهة والعشوائية، كما تلقيت أيضًا العديد من خطابات الرفض. خلال هذه المراجعة، حاولت جاهدا تقليل عشوائية عملية المراجعة، وتقليل عدد الأوراق التي يتلقاها كل جهاز كمبيوتر ولجنة مراجعة، وزيادة وقت المراجعة.

ومع ذلك، في ظل وجود ما مجموعه 4752 ورقة بحثية مقدمة إلى هذا المؤتمر، كانت مهمة المراجعة صعبة للغاية. أعتقد أن مفهوم المؤتمرات الأكاديمية التي تخضع لمراجعة دقيقة يحتاج إلى إعادة التفكير والابتكار. كما ستستمع IJCAI إلى أفكار الجميع وتعمل على تحسين المجلة.

ويرى بعض العلماء أن هذا الرد مناسب ومفهوم ومقبول تماما. وبعد كل هذه السنوات، ينبغي أن يكون هناك المزيد من الابتكار.

بعد أن يهدأ الغضب، علينا أن نحلل بهدوء وموضوعية ما هو IJCAI في الواقع. هل أصبح الأمر حقا "أكثر وأكثر مائية" كما يشكو بعض المؤلفين؟

كن موضوعيا واستمع إلى أصوات متعددة

لا ينبغي لنا أن نستمع إلى جانب واحد فقط في أي نزاع. بشكل عام، تعرضت IJCAI إلى بعض الظلم هذه المرة.

1. هناك الكثير من الشكاوى في الداخل، لكن الاستجابة في الخارج متوسطة

أولا، تتركز المناطق التي تشهد أكبر قدر من الاستياء في مجتمع الأسئلة والأجوبة المحلي "Zhihu"، في حين لم نشاهد أي أسئلة ذات صلة على منصات أجنبية مثل تويتر، وريديت، وكوارو.

قال أحد المستخدمين على موقع Weibo إن هناك ثقافة الدائرة في الدائرة الأكاديمية المحلية. سيعطي المراجعون درجات عالية للمؤلفين الذين يعرفونهم جيدًا، وقد يعطون تقييمات أقل موضوعية وعدالة للمؤلفين الذين لا تربطهم بهم أي علاقة. بالإضافة إلى ذلك، سمعت هذا العام لأول مرة أن AAAI وIJCAI كانا يحققان في تضارب مصالح المراجعين، ووجدوا أن جميع المراجعين المشتبه بهم بشدة في 90% كانوا صينيين.

كما ذكر البروفيسور وان شياوجون من جامعة بكين على موقع ويبو: "يبدو أن بعض المؤلفين يستخدمون علاقاتهم للتأثير على نتائج مراجعات الأوراق البحثية... لا أعرف متى بدأ هذا الاتجاه السيئ".

ومن هذا يمكننا أن نستنتج أنه ربما بسبب عاداتي السيئة على وجه التحديد أصبح المراجعون متحيزين ضد الشعب الصيني وبالتالي فشلوا في تقديم مراجعات موضوعية؟

2. إذا فزت فهذا جيد، وإذا لم تفز فهذا سيء؟

ثانياً، فيما يتعلق كيفية عرض نتائج قبول IJCAI 2019ولم تكن التعليقات أحادية الجانب تمامًا في إدانة IJCAI. وبشكل عام، فإن معظم الشكاوى تأتي من المؤلفين الذين لم يتم قبول أوراقهم البحثية.

قال أحد المستخدمين:

قبل التقديم إلى IJCAI، يجب أن تكون مستعدًا لمراجعة عشوائية. نتائج المراجعة ليست هي نفسها هذا العام. بالإضافة إلى ذلك، نظرًا لكثرة الأوراق البحثية في IJCAI وقلة التركيز، قد لا يفهم المراجعون. لذلك،ينبغي على المساهمين تقديم أبحاثهم إلى مؤتمرات أكثر احترافية في مجال أبحاثهم.في عصر التضخم الورقي اليوم، لا يزال يتعين عليك العمل بجد لكتابة مقالات جيدة. "

حصل التعليق على أكثر من 80 إعجابًا. ورد مستخدمو الإنترنت الآخرون:

"إذا لم يتم قبول بحثك، فإنك تلوم المراجعة على النتائج السيئة، ولكن لماذا لا تفكر فيما إذا كان عملك جيدًا بما فيه الكفاية؟"

وقال أحد المؤلفين الذين تم قبول ورقتهم البحثية:

ما زال من المحزن رؤية نتائج جهدي تُقلل من شأنها. موضوعيًا، لا تزال جودة مراجعتي جيدة جدًا، والمتطلبات صارمة للغاية. كما أن المراجعين الذين التقيتهم يتحلون بمسؤولية عالية.

رد عليه أستاذ جامعة تسينغهوا ليو تشي يوان في التعليقات:

في النهاية، هناك عدد قليل من المراجعين غير الموثوق بهم. لا تقلق كثيرًا بشأن هذا الأمر.

كما أعطى مؤلف مقبول آخر رأيه بشأن المشتكين:

بالإضافة إلى ذلك، قال بعض مستخدمي الإنترنت أن هذا الوضع ناجم عن قول العديد من الأشخاص إن IJCAI و AAAI ضعيفان للغاية، ولكن في الوقت نفسه يقدمون أوراقهم الخاصة التي من الواضح أنها لا ترقى إلى مستوى مؤتمرات المستوى الأول.

وبحسب البيانات، فقد ارتفع عدد الطلبات المقدمة والقبولات المقدمة إلى IJCAI في السنوات الأخيرة، كما أن عدد الأوراق المقبولة هذا العام أعلى من العام الماضي.تمت إضافة 37%،وصلت إلى أعلى مستوى لها على الإطلاق.ومع ذلك، على النقيض من ذلك، هذا العاممعدل القبول هو الأدنى في السنوات الأخيرة.ولأول مرة، كان معدل القبول أقل من متوسط معدل القبول 20% في السنوات السابقة.

بيانات مرجعية (قبول أوراق IJCAI ومعدل القبول في السنوات الأربع الماضية):

في عام 2015، تلقينا 1996 طلبًا، تم قبول 575 منها، بمعدل قبول 28.8%؛

في عام 2016، تم تلقي إجمالي 2294 طلبًا، بمعدل قبول أقل من 25%؛

في عام 2017، تم تلقي إجمالي 2,540 طلبًا، وتم قبول 660 طلبًا، وكان معدل القبول 25.9%. ومن بين هذه الأوراق البحثية المقدمة، والتي بلغ عددها 2,540 ورقة، جاء العدد الأكبر منها من الصين، حيث مثلت 37% من إجمالي عدد الأوراق المقدمة؛ بلغت حصة أوروبا والولايات المتحدة 18%؛

في عام 2018، تم تلقي ما مجموعه 3470 طلبًا، وتم قبول 710 ورقة بحثية، وكان معدل القبول 20.5%. ومن بين الأوراق المقبولة، كان هناك 325 بحثاً من مؤلفين صينيين، وهو ما يمثل 46% من الإجمالي، متقدماً كثيراً عن جميع البلدان والمناطق الأخرى.

ولعل الكثير من الباحثين غير متأكدين من جودة أوراقهم البحثية، كما قال أحد مستخدمي الإنترنت المذكورين أعلاه، ولكن المؤلفين يقدمونها بعقلية المقامرة.وقد أدى هذا إلى إهدار موارد مراجعة IJCAI.وهذا أيضًا أحد أسباب زيادة أخطاء المراجعة.

ولذلك فمن المعقول أن ننتقد نتائج هذا التوظيف بشكل عقلاني، ولكن ليس من الجيد أن نتبع الاتجاه بشكل أعمى ونشتكي. وينبغي على كل من المراجعين والمساهمين أن يفكروا في هذا الأمر.

لا يوجد مؤتمر كبير لا يتعرض للنقد

في الواقع، لا يعد IJCAI المؤتمر الوحيد الذي تعرض للانتقاد. نحن نرى ICML، AAAI، NeurIPS  لقد كان لديهم جميعا نفس "التجربة". ويبدو أن المراجعة ستتم بعد إعلان النتائج.لقد أصبح الانتقاد أمرا روتينيا.

لا، فقط اليوم، مؤتمر البرمجة اللغوية العصبية الرباط الصليبي الأمامي لقد تم الإعلان عن النتائج للتو، وقد أثارت الكثير من الانتقادات. ولم يمض وقت طويل، في أوائل شهر مارس/آذار، حتى صدرت النتائج. ICML 2019 وأبدى مستخدمو تويتر أيضًا غضبهم إزاء نتائج المراجعة.لقد سخر منها بشدة.

لذلك، في مواجهة الوضع الذي تتعرض فيه المؤتمرات الكبرى في مجال الذكاء الاصطناعي لانتقادات عامة، يتعين علينا أن نقضي المزيد من الوقت في اكتشاف أوجه القصور لدينا وكتابة أوراق بحثية أفضل.

وقد سبق للبروفيسور تشو تشيهوا أن علق على مؤتمرات مختلفة في مجال الذكاء الاصطناعي. وهنا تقييمه لـ IJCAI للرجوع إليه:

IJCAI: أفضل مؤتمر شامل حول الذكاء الاصطناعي، بدأ في عام 1969، ويُعقد كل عامين، في السنوات الفردية. وبما أن الذكاء الاصطناعي ضخم للغاية، فعلى الرغم من قدرتنا على تسجيل ما يزيد عن 100 ورقة بحثية كل عام (وقد وصل الآن إلى أكثر من 200 ورقة بحثية)، إلا أن هناك عددًا قليلًا من الأوراق البحثية في كل مجال. بالنسبة للمجالات الكبيرة مثل التعلم الآلي ورؤية الكمبيوتر، هناك حوالي 10 أوراق فقط في كل مرة، لذا فإن الأمر صعب للغاية.

ومع ذلك، فإن معدل القبول ليس منخفضًا جدًا، فهو في الأساس حوالي 20%، لأن المطلعين سوف يزنون وزن الطلب، وإذا لم يكن هناك أمل، فلا تضيع وقت المراجع.

في الآونة الأخيرة، كان هناك سيل من المقالات من الصين القارية المقدمة إلى المؤتمرات الدولية، ونظرًا لوجود عدد قليل جدًا من مجموعات البحث في البلاد التي يمكنها إجراء الفحص الخاص بها، فقد اشتكت العديد من المؤتمرات من أن المقالات ذات الجودة المنخفضة من الصين تعوق بشكل خطير كفاءة عمل الكمبيوتر. وفي ظل هذه الظروف، من المتوقع أن ينخفض معدل قبول المؤتمرات الدولية خلال السنوات القليلة المقبلة.

IJCAI هو المؤتمر الرائد في مجال الذكاء الاصطناعي

من حيث الأقدمية، يمكن اعتبار IJCAI من المخضرمين بين العديد من المؤتمرات المرموقة في مجال الذكاء الاصطناعي.

بالنظر إلى أهم المؤتمرات الدولية في مجال الذكاء الاصطناعي،يعد IJCAI أحد أقدم المؤتمرات.انعقدت الدورة الأولى في الولايات المتحدة عام 1969، واستمرت في الانعقاد كل عامين حتى عام 2015، عندما أصبحت اجتماعا سنويا. هذا العام هو عيد ميلادي الخمسين.

تم الاعتراف بمؤتمر IJCAI من قبل اتحاد الكمبيوتر الصيني (CCF) باعتباره أحد المؤتمرات الأكاديمية الدولية الموصى بها. اجتماعات الفئة أ،لقد احتلت دائمًا مكانة مرموقة للغاية في مجال الذكاء الاصطناعي. لقد كانت معايير القبول فيها صارمة نسبيًا دائمًا، ويتم الحفاظ عليها عمومًا عند حوالي 20%.

عند إلقاء نظرة سريعة على قائمة الفائزين بجائزة الشرف الأعلى التي تقدمها IJCAI على مر السنين، وهي "جائزة التميز في البحث"، فإن معظمهم من الشخصيات المعروفة في الصناعة. على سبيل المثال، فإنهم:

1985 جون مكارثي، والد الذكاء الاصطناعي، الحائز على جائزة تولينج عام 1971. (ومن المثير للاهتمام أن هناك أيضًا جائزة IJCAI تحمل اسمه والتي تكرم الباحثين في منتصف حياتهم المهنية.)

في عام 2005، جيفري إي. هينتون، والد الشبكات العصبية والفائز بجائزة Graph لعام 2018.

في عام 2016، مايكل آي جوردان، عضو في ثلاث أكاديميات أمريكية ورائد في مجال الذكاء الاصطناعي.

إذا كنت مهتمًا، فيمكنك البحث عن القائمة التفصيلية للفائزين السابقين. إنهم جميعًا آلهة الذكاء الاصطناعي المثيرة للإعجاب.

وبالإضافة إلى ذلك، فإن رعاة المؤتمر يمكن أن يعكسوا مستواه إلى حد ما. وبناءً على رعاة معرض IJCAI هذا العام، لا يوجد نقص في شركات التكنولوجيا العملاقة، بما في ذلك Baidu وHuawei وAlibaba وTencent وغيرها في الصين، وIBM Research AI وSONY وBOSCH وHITACHI وMicrosoft في الخارج. التشكيلة لا تزال قوية جدًا.

الحل: استخدام الذكاء الاصطناعي لمراجعة أوراق الذكاء الاصطناعي

كانت المناقشة حول نتائج القبول في IJCAI 2019 على قائمة Zhihu الساخنة، وأعرب بعض الناس عن أسفهم: يبدو أنها حقًاالذكاء الاصطناعي للجميع.

وفي السنوات الأخيرة، حققت الصين تقدماً سريعاً في مجال الذكاء الاصطناعي. ومن بين العدد المتزايد من الأوراق البحثية في مؤتمرات الذكاء الاصطناعي المرموقة، يأتي جزء كبير منها من المساهمات المحلية. في العشرين سنة الماضية، أنتجت الصين ما مجموعه 369,000 مقالة،يقع المخرج فيرقم 1 في العالموتحتل الولايات المتحدة المرتبة الثانية، أي ما يعادل 3.8 أضعاف المملكة المتحدة التي تحتل المركز الثالث.

وليس من المستغرب أن تشكو IJCAI من أن الكمية الضخمة من الأوراق تقلل من كفاءة أجهزة الكمبيوتر.

استجابة للوضع الحالي، قدم الباحثون نظامًا فعالًا وغير متحيز مُراجع منحة الذكاء الاصطناعي.

وقد جاء في مقال نُشر أمس في مجلة "نيتشر":المؤسسة الوطنية للعلوم الطبيعية في الصين (NSFC)يتم تجربة أداة الذكاء الاصطناعي التي تختار الباحثين لمراجعة طلبات المنح، مما يجعل العملية أكثر سهولة.أكثر كفاءة وسرعة وعدالة.

سوف يستخدم النظاممعالجة اللغة الطبيعيةابحث في قواعد بيانات الأدبيات العلمية عبر الإنترنت وصفحات الويب الشخصية للعلماء لجمع معلومات مفصلة عن منشورات المراجعين المحتملين أو مشاريع البحث. في استخدام التحليل الدلالي للنص لمقارنة طلبات المنح وتحديد أفضل المطابقات للمراجعين.

ويقول بعض الباحثين إن نهج NSFC هو الرائد عالميًا، لكنهم يظلون متشككين بشأن ما إذا كان الذكاء الاصطناعي قادرًا حقًا على تحسين العملية.

المزيد من المؤتمرات الكبرى تستخدم الذكاء الاصطناعي

الشهر الماضي،المجلس النرويجي للبحوثلقد بدأنا باستخدام تقنيات معالجة اللغة الطبيعية لتجميع ما يقرب من 3000 مقترح بحثي ومطابقتها مع أفضل لجان المراجعة.

ناشر أكاديمي مقره سويسرا الحدود(الحدود) من خلال أدوات الذكاء الاصطناعي أيرا(مساعد مراجعة الذكاء الاصطناعي) يساعد المراجعين والمحررين على تحسين الكفاءة.

تم بناء نظام AIRA من خوارزميات مخصصة داخلية بالإضافة إلى أدوات رائدة في الصناعة مثل Google وiThenticate من CrossRef وAda من Editage.

تنفذ AIRA حاليًا مهمتين رئيسيتين لمراجعة الأقران:مراقبة الجودة وتحديد المراجعين.وتقوم خوارزميتها بتقييم المخطوطات المرسلة بسرعة ودقة استنادًا إلى مجموعة من مقاييس الجودة، بما في ذلك تداخل النصوص، واللغة، ووجود صور بشرية، وغيرها من الاعتبارات الأخلاقية. يتم تمرير المخطوطات التي تلبي معايير الجودة المحددة إلى المحرر، في حين يتم إرسال المخطوطات التي تحتوي على أي مشكلات محتملة إلى فريق المراجعة لمزيد من التحقيق.

نأمل أنه عندما تنضم أدوات الذكاء الاصطناعي إلى فريق مراجعة الأوراق البحثية، سيتمكن المراجعون من توفير المزيد من الوقت من الروابط الأخرى، حتى يتمكنوا من مراجعة أوراقنا بعناية وإعطاء كل مساهم ردًا مرضيًا.

سيقام معرض IJCAI 2019 في ماكاو، الصين، في الفترة من 10 إلى 16 أغسطس من هذا العام. وهذه هي المرة الثانية التي يعقد فيها المؤتمر في الصين بعد مؤتمر بكين عام 2013.

لا يزال أمامنا ثلاثة أشهر حتى افتتاح المؤتمر، لكنه بالفعل حيوي للغاية وربما يكون مثيرا للاهتمام للغاية. إذن هل تريد الحضور؟

انقر لقراءة المقال الأصلي