KI-Gutachten im Vergleich: Wie verändert sich Peer Review?

Gary King und Steven Worthington vergleichen KI-Gutachten mit 134 bezahlten menschlichen Gutachten zu 124 Manuskripten aus dem Dienst rapidPeer. Die Untersuchung zielt auf Verbesserungsvorschläge vor der Zeitschrifteneinreichung. Ihr zentrales Ergebnis: Die KI-Gutachten schnitten in allen sieben untersuchten Bewertungsbereichen besser ab – Theorie und Idee, Methoden, Schwächen, Rahmung, Verständlichkeit, Abbildungen und Tabellen sowie Quellen. Die umfassende Bewertung erfolgte überwiegend durch ein weiteres KI-Modell. [2]

Eine menschliche Gegenprüfung umfasst drei ehemalige Zeitschriftenherausgeber und zehn zufällig ausgewählte Gutachtenpaare: In 26 von 30 Bewertungen wurde das KI-Gutachten bevorzugt. Die Bewertenden kannten die Herkunft der Gutachten nicht, prüften jedoch auch nicht die zugrunde liegenden Manuskripte. Der Anhang dokumentiert zusätzliche Prüfungen zu Stil, Modellwahl und Fehlern. [3]

Nicht gemessen wurde, ob das Feedback tatsächlich bessere Überarbeitungen erzeugt. Die Autoren diskutieren zudem Risiken einer inhaltlichen Vereinheitlichung von Wissenschaft. [2] Unsere Einordnung: Das Indiz macht sichtbar, wie generative KI eine zentrale wissenschaftliche Praxis verändert – und wie wichtig die Unterscheidung zwischen hilfreichem Feedback und redaktioneller Entscheidung bleibt.

Zur Artikelseite mit Volltext und Anhang