AutoFrontCCS
Das Projekt AutoFrontCCS ist Teil des der zweiten Förderphase des von der DFG geförderten Schwerpunktprogramms „META-REP: A meta-scientific research program to analyse and optimise replicability in the behavioral, social, and cognitive Sciences“. Das Projekt entwickelt Werkzeuge und Verfahren, die Forschende dabei unterstützen, Studien von Anfang an replizierbar zu dokumentieren.
Projektziele
Ziel des Projekts AutoFrontCCS ist es, Lösungen zu entwickeln, zu testen und zu evaluieren, die die Replizierbarkeit und Reproduzierbarkeit von Forschung im jungen, aber schnell wachsenden Feld der Computational Communication Science (CCS) verbessern. Das Projekt baut auf den Ergebnissen des Vorgängerprojekts „RepCCS: What Defines and Affects Replicability in Computational Communication Science?“ auf.
Dieses hat gezeigt, dass die Kommunikationswissenschaft insgesamt und CCS im Besonderen mit mehreren Herausforderungen konfrontiert sind, die die Replizierbarkeit von Forschung erschweren können. Zwei Probleme sind dabei besonders deutlich geworden. Erstens ist die Unterscheidung zwischen Reproduktion und Replikation in CCS weniger klar definiert als in vielen anderen Forschungsfeldern. Zweitens besteht eine deutliche Lücke zwischen den Materialien, die Forschende üblicherweise bereitstellen, und den Informationen, die tatsächlich für Replikationsstudien benötigt werden. Beide Probleme hängen eng mit den Themen, Methoden und Daten zusammen, die in CCS häufig verwendet werden.
Um diesen Herausforderungen zu begegnen, entwickelt das Projekt AutoFrontCCS Tools zur Förderung einer sogenannten „proaktiven Replizierbarkeit“. Diese Tools sollen bereits bei der Einreichung und Begutachtung von Forschungsarbeiten bei Journals und Konferenzen eingesetzt werden. Neben etablierten Maßnahmen wie Checklisten kommen dabei auch innovative Ansätze auf Basis von Large Language Models zum Einsatz. Die Entwicklung der Tools erfolgt in enger Abstimmung mit der Forschenden-Community, und ihre Wirksamkeit wird im Projekt systematisch evaluiert.
„Wir entwickeln und erproben Lösungen zur Verbesserung der Replizierbarkeit im rasant wachsenden Feld Computational Communication Science. Dabei kommen sowohl erprobte Mittel wie Checklisten als auch innovative LLM-basierte Ansätze zum Einsatz.“
Prof. Johannes Breuer
AutoFrontCCS - Fostering Proactive Replicability in Computational Communication Science via Frontloading Effort and Automating Protocols
Projektlaufzeit: 03/2025 bis 03/2028
Gefördert von der DFG
Ansprechpartner
Prof. Johannes Breuer
johannes.breuer@cais-research.de
Direkt zu …
Forschungsschwerpunkte am CAIS
Die beteiligten Forschenden am CAIS sind vor allem für das zweite Arbeitspaket des Projekts verantwortlich. Dieses Arbeitspaket trägt den Titel „Evaluation und Community“ und umfasst drei zentrale Bereiche mit unterschiedlichen Aufgaben.
1. Erfassung der Bedürfnisse und Einbindung der Community
Zunächst werden die Perspektiven und Bedürfnisse der Forschenden im Feld der Computational Communication Science systematisch erfasst und in das Projekt einbezogen:
- Community Survey: In einer Online-Umfrage werden Forschende aus dem Bereich CCS zu ihren Erfahrungen mit Replizierbarkeit und Reproduzierbarkeit befragt. Außerdem werden ihre Einschätzungen zu den im Projekt geplanten Lösungen erhoben.
- Qualitative Interviews: Ergänzend werden strukturierte Interviews mit Herausgeber:innen von Fachzeitschriften sowie mit Verantwortlichen für Fachsektionen (Division Chairs) bei wichtigen Konferenzen im CCS-Bereich geführt. Ziel ist es, zusätzliches Feedback und Einschätzungen aus der Praxis des Publizierens und Begutachtens zu erhalten.
2. Systematische Evaluation der im Projekt entwickelten Tools
Ein weiterer Schwerpunkt liegt auf der systematischen Bewertung der im Projekt entwickelten Werkzeuge:
- Experimentelle Studie: Autor:innen von Studien, die bereits von einer Fachzeitschrift oder Konferenz zur Veröffentlichung angenommen wurden, werden zufällig einer von drei Gruppen zugeordnet. Die erste Gruppe nutzt eine Checkliste, die zweite ein auf Large Language Models basierendes Tool, und die dritte Gruppe arbeitet ohne zusätzliches Tool und dient als Kontrollgruppe.
- Subjektive Evaluation: Die Nutzenden bewerten anschließend ihre Erfahrungen mit den Tools und deren Nutzen im Arbeitsprozess.
- Objektive Evaluation: Zusätzlich wird überprüft, wie gut sich die Studien aus dem Experiment tatsächlich replizieren lassen. Dies geschieht in sogenannten Replication Games. Dabei versuchen Teilnehmende, auf Basis der bereitgestellten Materialien die jeweilige Studie nachzuvollziehen und zu reproduzieren.
3. Dissemination und Training
Schließlich werden Materialien entwickelt, die die Nutzung der im Projekt entstandenen Tools unterstützen:
-
Dazu gehören Trainingsmaterialien (Dokumentationen und Tutorials) für Forschende sowie für Herausgeber:innen von Fachzeitschriften und Verantwortliche für Konferenzprogramme, um die Nutzung der entwickelten Tools zu erleichtern und fördern.
Xinyue Zhao & Prof. Johannes Breuer
Projektpartner:innen
Das Projekt wird im Verbund mit Prof. Dr. Mario Haim von der Ludwig-Maximilians-Universität München durchgeführt und ist Teil des von der DFG geförderten Schwerpunktprogramms „SPP 2317: META-REP – Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften“.
Gefördert von:
Team AutoFrontCCS
