Die Zahl der Einreichungen auf den führenden Künstlichen-Intelligenz-Konferenzen ist in den vergangenen zehn Jahren um mehr als das Zehnfache gestiegen – ein Phänomen, das nicht nur auf den globalen Aufschwung der AI-Forschung zurückzuführen ist, sondern auch auf die Tendenz vieler Forscher, mehrere Arbeiten gleichzeitig einzureichen. Buxin Su, Mathematiker an der University of Pennsylvania, warnt vor der Überlastung der Gutachter: Wer soll bei solch einer Flut an Beiträgen die herausragendsten und qualitativ besten Arbeiten identifizieren? Um dieses Problem anzugehen, haben Su und sein Team ein neues System entwickelt, das Autoren mit mehreren Einreichungen auffordert, ihre eigenen Arbeiten nach Qualität und potenzieller Wirkung zu bewerten. Diese Selbstbewertungen werden anschließend mit den Bewertungen unabhängiger Peer-Reviewer verglichen – ohne dass die Gutachter die Selbstrangliste sehen. So entsteht ein „kalibriertes“ Score-System, das die tatsächliche Qualität besser widerspiegelt. Die Methode wurde anhand von 2.592 Beiträgen von 1.342 Forschern zur ICML 2023 in Honolulu getestet. Sechzehn Monate später analysierten die Wissenschaftler die Zitierhäufigkeit der Arbeiten und fanden heraus, dass die mit der höchsten Selbstbewertung versehenen Papers doppelt so oft zitiert wurden wie die mit der niedrigsten Bewertung. „Die Autoren-Rankings sind ein hervorragender Indikator für die langfristige Wirkung“, sagt Su. „Die kalibrierten Scores spiegeln die wahre Qualität besser wider.“ Die ICML 2026 in Seoul wird als erste Konferenz das System offiziell einführen, bestätigt Su, Mitglied des Integritätsausschusses. Experten sind gemischt: Nihar Shah von der Carnegie Mellon University findet die Idee „sehr neuartig und spannend“, zweifelt aber an der Objektivität der Autoren. „Die Behauptung, Autoren würden bessere Prognosen stellen als Gutachter, könnte eine Methode-Falle sein, nicht die Realität.“ Emma Pierson von der University of California, Berkeley, sieht hingegen Potenzial: „Man weiß, welche Arbeit das eigene „Kind“ ist, das man besonders liebt. Eine ehrliche Selbstbewertung könnte wertvolle Informationen liefern.“ Beide warnen jedoch vor Manipulationsversuchen: Forscher könnten schwächere Arbeiten höher bewerten, um negative Gutachten auszugleichen. Das System erfordert daher Vertrauen und Transparenz. Die zunehmende Zahl von AI-generierten Beiträgen verschärft die Herausforderung zusätzlich. In mehr als drei Viertel der ICML-2023-Einreichungen gab es mindestens einen Autor mit mehreren Beiträgen – ein Zeichen dafür, dass das Problem strukturell ist. Die neue Methode könnte ein Schritt hin zu einer nachhaltigeren, qualitativ besseren Bewertung sein, doch ihre Wirksamkeit hängt entscheidend von der Ehrlichkeit der Autoren ab.