Schon 2024: KI durchläuft den Forschungsprozess von der Idee bis zum Paper

Sakana AI stellte am 13. August 2024 „The AI Scientist“ vor. Entscheidend ist der frühe Zeitpunkt: Schon damals wurden zentrale Schritte eines Forschungsprojekts zu einem automatisierten Ablauf verbunden. Die Demonstration betraf ausgewählte Bereiche des maschinellen Lernens. [1]

Ausgehend von menschlich bereitgestellten Codevorlagen entwickelte das System Ideen, suchte Literatur, schrieb Code, führte Experimente aus, visualisierte Ergebnisse und erstellte Manuskripte. Eine KI-basierte, simulierte Begutachtung lieferte anschließend Rückmeldung. Das Originalpaper ist im Quellenverzeichnis ausdrücklich als arXiv-Preprint verlinkt, nicht als unabhängig begutachtete Zeitschriftenveröffentlichung. [2]

Die damalige Darstellung verspricht eine Beschleunigung und breiteren Zugang zur Forschung, benennt aber selbst Fehler bei Umsetzung und Auswertung sowie Risiken für wissenschaftliche Qualitätskontrolle. [1] Auch ein positives Urteil des eigenen automatisierten Reviewers ist keine Annahme durch eine unabhängige Konferenz. Die Autor:innen empfehlen, die erzeugten Arbeiten als Ausgangspunkte für weitere Prüfung zu behandeln. [2]

Einordnung aus heutiger Sicht: Dass dieser zusammenhängende Workflow bereits 2024 funktionierte, macht deutliche Verbesserungen mit leistungsfähigeren heutigen Systemen plausibel. Das ist eine begründete Erwartung, kein im damaligen Preprint nachgewiesener aktueller Leistungsvergleich. Zuverlässigkeit, Neuartigkeit und wissenschaftlicher Wert müssen weiterhin eigenständig geprüft werden.

Als Indiz gelesen verschiebt sich damit die Frage von einzelnen KI-Hilfen zum gesamten Forschungsprozess: Wer kontrolliert die Verbindung aus automatisierter Wissensproduktion und automatisierter Bewertung, und wer übernimmt Verantwortung für ihre Ergebnisse?

Persönliche Wortmeldung

Der Workflow zeigt, dass der gesamte wissenschaftliche Workflow komplett automatisiert werden kann (um 15$/Publikation) und damit den eigentlichen wissenschaftlichen Prozess in Frage stellt, dessen Qualität sich auf das Peer-Review Verfahren stützt. Auch wenn es nur ein PrePrint ist, konnte schon 2024 gezeigt werden, dass alles maschinell erledigt werden kann, dafür muss man auch den Autoren danken für die dargelegte Transparenz