PaperOrchestra: KI-Agenten machen aus Forschungsnotizen ein Manuskript
PaperOrchestra automatisiert den Weg von Forschungsnotizen zum fertigen Manuskript und schlägt andere KI-Schreibsysteme deutlich. Das beeindruckende Evaluationsergebnis wirft Fragen zum bisherigen Publikationskreislauf auf.
Das Google-Forschungsteam um Yiwen Song, Yale Song, Tomas Pfister und Jinsung Yoon stellt mit PaperOrchestra ein System vor, das vorhandene Ideenbeschreibungen und Experimentprotokolle in vollständige wissenschaftliche Manuskripte überführt. Die Arbeit ist als COLM-Konferenzpublikation 2026 verzeichnet; zusätzlich steht eine frühere arXiv-Fassung frei zur Verfügung. [1][2][3]
Ein orchestrierter Schreibprozess
Spezialisierte KI-Agenten übernehmen fünf Schritte: Sie entwickeln eine Gliederung, erzeugen Diagramme und Datenvisualisierungen, recherchieren und strukturieren Literatur, schreiben die Abschnitte und überarbeiten das Manuskript anhand simulierter Begutachtung. Literatur- und Abbildungsarbeit können parallel laufen. Heraus kommen LaTeX-Quelldateien und ein gesetztes PDF. Für die Literaturrecherche werden gefundene Publikationen über Semantic Scholar auf ihre Existenz geprüft. Diese Prüfung garantiert allerdings nicht, dass jede zitierte Aussage inhaltlich korrekt belegt ist. [3]
Der besondere Schritt liegt darin, dass das Schreiben als eigenständiger Workflow funktioniert: Die Materialien können aus menschlicher Forschung stammen, statt zwingend aus einer vorgeschalteten automatisierten Experimentierpipeline. Die Experimente und Forschungsergebnisse müssen bereits als Input vorliegen. PaperOrchestra demonstriert deshalb die Automatisierung der Manuskripterstellung, nicht die vollständige eigenständige Erzeugung und Validierung neuer Forschung. [3]
Das beeindruckende Gesamtergebnis der Evaluation
Der Benchmark beruht auf 200 veröffentlichten Arbeiten, jeweils 100 von CVPR und ICLR 2025. Aus diesen fertigen Papers wurden Ideenbeschreibungen und Experimentprotokolle rückwärts rekonstruiert. Ergänzend zu automatisierten Bewertungen beurteilten elf KI-Forschende eine Stichprobe von 40 Arbeiten. [3]
In den menschlichen Paarvergleichen der Gesamtqualität gewann PaperOrchestra gegen das Ein-Agent-System in 57 Prozent der Bewertungen; dieses gewann in 19 Prozent, bei 24 Prozent Gleichständen. Gegen AI Scientist-v2 lag PaperOrchestra mit 50 zu 36 Prozent vorne, bei 14 Prozent Gleichständen. Das entspricht einem Vorsprung der Gewinnanteile von 38 beziehungsweise 14 Prozentpunkten. Diese Zahlen bedeuten weder eine pauschal um 14–38 Prozent höhere wissenschaftliche Qualität noch eine Annahmequote bei einer Konferenz. [2][3]
Das Ergebnis ist für einen automatisierten Schreibworkflow bemerkenswert. Zugleich bleibt der Vergleich mit menschlichen Originalarbeiten deutlich: Bei der Gesamtqualität bevorzugten die menschlichen Bewertenden das Original in 81 Prozent und PaperOrchestra in 5 Prozent der Vergleiche; 14 Prozent endeten unentschieden. Eine pauschale Gleichwertigkeit mit menschlichen Papers lässt sich daraus nicht ableiten. [2]
Was die Ergebnisse begrenzt
Die Untersuchung betrifft KI- und Machine-Learning-Publikationen und künstlich rekonstruierte Ausgangsmaterialien. Vorwissen der Modelle über die veröffentlichten Arbeiten lässt sich trotz Gegenmaßnahmen nicht vollständig ausschließen. Zudem wurden bei den zentralen Baseline-Vergleichen vorhandene Originalabbildungen bereitgestellt; die eigenständige Visualisierung wurde gesondert untersucht. Generierte Abbildungen können Fehler enthalten, und automatisierte Gutachter stimmen gerade bei Literaturübersichten nur eingeschränkt mit menschlichen Urteilen überein. Die Autoren belassen die Verantwortung für Richtigkeit, Originalität und Gültigkeit ausdrücklich bei den Forschenden. [3]
Frage an den wissenschaftlichen Publikationskreislauf
Unsere abschließende Frage richtet sich deshalb auf den Zweck des Verfahrens: Macht der bisherige Kreislauf einer wissenschaftlichen Publikation noch Sinn, wenn KI aus vorhandenen Ergebnissen Manuskripte erstellt, simuliert begutachtet und überarbeitet – und wie muss sich dieser Kreislauf verändern, damit er tatsächlich neue, überprüfbare Erkenntnis statt vor allem überzeugender Darstellung belohnt?
Quellen
- [1] Google Research: PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing (2026) (öffnet in neuem Tab)
- [2] Song, Song, Pfister & Yoon (2026): PaperOrchestra – COLM-Konferenzpublikation (PDF) (öffnet in neuem Tab)
- [3] Song et al. (2026): PaperOrchestra – frei zugänglicher Volltext der arXiv-Fassung vom 6. April 2026, CC BY 4.0 (öffnet in neuem Tab)
Dieses Indiz von Martin Ebner ist lizenziert unter
CC BY 4.0
Kommentare 0
Kommentare werden moderiert. Neue Beiträge erscheinen nach Prüfung durch die Redaktion.
Noch keine Kommentare.