Wie Sie auf Reviewer-Kommentare zu Ihren Daten reagieren (ohne alles neu machen zu müssen)
Die meisten Gutachterkommentare zu Daten fordern eines von vier Dingen: einen anderen Test, eine Sensitivitätsanalyse, eine Erklärung für ausgeschlossene Fälle oder eine übersichtlichere Abbildung. Keines dieser vier Dinge erfordert eine erneute Durchführung Ihrer Studie. Alle vier erfordern jedoch, dass Sie mit einer konkreten Frage zu Ihrem Datensatz zurückkehren.
Der schwierige Teil ist nicht die Statistik. Er besteht darin, dass jede Anfrage in eine konkrete Analyse, eine konkrete Zahl und einen Satz übersetzt werden muss, den ein Leser überprüfen kann.
Dieser Leitfaden befasst sich damit, warum diese Phase ins Stocken gerät, welche drei Ansätze üblicherweise genutzt werden und wo die Grenzen der einzelnen Methoden liegen. Es handelt sich um einen Daten-Workflow, nicht um eine Publikationsberatung; befolgen Sie daher bitte die Richtlinien Ihres Zieljournals.
Warum Gutachterkommentare zu Daten so schwer zu beantworten sind
Das erste Problem ist die Übersetzung. Ein Gutachter schreibt einen einzigen Satz, und daraus entstehen mehrere separate Analysen.
„Bitte bestätigen Sie, dass das Ergebnis nicht durch Ausreißer beeinflusst wird“ ist eine einzige Zeile. Die Beantwortung erfordert die Definition einer Ausreißerregel, die erneute Ausführung des Modells mit und ohne diese Fälle sowie die Berichterstattung über beide Ergebnisse.
Das zweite Problem ist, dass die ursprüngliche Analyse selten auf Knopfdruck reproduzierbar ist. Sie existiert als Arbeitsmappe mit manuellen Filtern, einem Diagramm, das auf einem nicht mehr passenden Datenbereich basiert, und Schritten, die niemand aufgeschrieben hat. Sie Monate später wieder zu öffnen, gleicht Archäologie.
Das dritte Problem ist die Buchführung. PLOS ONE verlangt bei einer Überarbeitung drei separate Dateien: ein Antwortdokument, eine markierte Kopie mit aktivierter Funktion „Änderungen nachverfolgen“ und eine saubere Kopie. Jede Zahl muss in allen drei Dokumenten übereinstimmen.
Ein viertes Problem ist die schleichende Ausweitung des Umfangs (Scope Creep) in Ihren eigenen Antworten. Gutachterkommentare verleiten oft zu einer umfassenderen Analyse als eigentlich gefordert, und eine Überarbeitung, die neue Abschnitte hervorbringt, lädt zu neuen Einwänden ein.
In diesem Prozess lauert eine stille Falle. PLOS gibt an, dass Abbildungen und unterstützende Informationen aus der ursprünglichen Einreichung automatisch übernommen werden. Sie werden übertragen, „es sei denn, Sie entscheiden sich dafür, sie zu aktualisieren und zu ersetzen“. Wenn Sie eine Abbildung neu erstellen, aber vergessen, sie zu ersetzen, wird die alte Version veröffentlicht.
Was Sie das kostet
Eine zweite Begutachtungsrunde, die Sie hätten vermeiden können. Unvollständige Antworten provozieren dieselbe Frage erneut. Ein Gutachter, der nach Ausreißern gefragt und einen Absatz ohne Zahlen erhalten hat, wird ein zweites Mal nachfragen.
Wochen an Kalenderzeit für wenige Stunden Analyse. Die Verzögerung liegt selten an der Rechenleistung. Es ist die Rekonstruktion dessen, was in der ursprünglichen Arbeitsmappe gemacht wurde, bevor Sie überhaupt etwas ändern können.
Inkonsistenz zwischen dem Antwortschreiben und dem Manuskript. In der Antwort steht, dass der Koeffizient nun 0,31 beträgt, in der Tabelle steht immer noch 0,34, und nur eines von beiden wurde aktualisiert. Dies ist der häufigste Grund, warum eine Überarbeitung nachlässig wirkt.
Eine Überarbeitung wird danach beurteilt, ob ein Editor Ihre Änderungen nachvollziehen kann, ohne sie selbst neu berechnen zu müssen.
Die Behelfslösungen, die versucht werden
Option 1: Jeden Kommentar in eine nummerierte Analyseliste umwandeln
Bevor Sie die Daten anfassen, teilen Sie jeden Kommentar in die spezifischen Ergebnisse auf, die er erfordert. Ein einziger Kommentar führt oft zu drei Zeilen.
Nummerieren Sie diese passend zur Nummerierung des Gutachters, da das Antwortdokument genau diese widerspiegeln muss. PLOS fordert Autoren auf, „auf die spezifischen Punkte jedes Gutachters einzugehen“ und die vorgenommenen Änderungen aufzulisten.
Dies ist die wertvollste Gewohnheit, die Sie sich aneignen können, und sie kostet nur eine Stunde. Die Analysen selbst werden dadurch allerdings nicht schneller.
Option 2: Die Analyse so neu aufbauen, dass sie wiederholt ausgeführt werden kann
Anstatt die ursprüngliche Arbeitsmappe zu bearbeiten, bauen Sie die Berechnung so neu auf, dass die Ausschlussregel in einer Zelle und nicht in einem Filter steht. Wenn Sie dann die Regel ändern, ändert sich auch das Ergebnis.
Für die gängigsten Anfragen reichen die nativen Funktionen aus. T.TEST liefert direkt einen p-Wert, wobei das Typ-Argument zwischen gepaart, gleicher Varianz oder ungleicher Varianz unterscheidet. QUARTILE liefert Ihnen die Grenzen für eine interquartile Ausreißerregel, und CORREL deckt eine geforderte Korrelation ab.
Berichten Sie die überarbeiteten Zahlen gemäß Ihrem Styleguide und nicht nach den Standardeinstellungen der Tabellenkalkulation. Der APA-Statistik-Leitfaden sieht zwei Dezimalstellen für t, F und Korrelationen vor und schreibt jeden Wert unter ,001 als p < .001. Unser Leitfaden zur Berichterstattung von Statistiken im APA-Format deckt den Rest ab.
Die Grenze ist der Aufwand. Der Neuaufbau dauert länger als die ursprüngliche Erstellung, und das Ganze geschieht unter Zeitdruck.
Option 3: Ein Änderungsprotokoll neben dem Antwortschreiben führen
Führen Sie eine Tabelle mit vier Spalten: der Kommentar, was Sie ausgeführt haben, das Ergebnis und die Stelle im Manuskript, die Sie bearbeitet haben. Füllen Sie diese während der Arbeit aus, nicht erst danach.
So lassen sich Abweichungen zwischen Antwortschreiben und Tabelle vermeiden. Zudem dient es als Referenz, wenn in einer zweiten Runde Fragen zur ersten Runde gestellt werden.
Die Einschränkung liegt eher in der Disziplin als in den Fähigkeiten. Das Protokoll wird genau dann vernachlässigt, wenn die Frist näher rückt und es am dringendsten benötigt wird.
Die gemeinsame Grenze. Alle drei Optionen setzen voraus, dass sich der Datensatz noch in einem Zustand befindet, den Sie analysieren können. Wenn die Datei seit der Einreichung direkt bearbeitet wurde, besteht die erste Aufgabe darin, den ursprünglichen Zustand wiederherzustellen.
Wie Sie mit Powerdrill Bloom auf Gutachterkommentare reagieren
Schritt 1: Den Datensatz hinter der Arbeit hochladen
Laden Sie die Datei hoch, die für die eingereichte Analyse verwendet wurde. Powerdrill Bloom analysiert die Spalten direkt beim Import, sodass Ausschlüsse, leere Blöcke und Typkonflikte sichtbar sind, noch bevor Sie irgendetwas neu ausführen.
Schritt 2: Jede geforderte Analyse in natürlicher Sprache anfragen
Gehen Sie die Kommentare nacheinander durch. Fragen Sie nach dem vom Gutachter genannten Test und fordern Sie dann denselben Test ohne die markierten Fälle an, damit Sie über beide Ergebnisse berichten können.
Stellen Sie die Folgefragen im selben Durchgang. Fragen Sie, welche Fälle außerhalb der Interquartilsgrenzen liegen und ob sich die Schlussfolgerung ändert, wenn diese weggelassen werden. Fragen Sie anschließend, welche Untergruppen zu kleine Stichprobengrößen aufweisen, um eine Behauptung zu stützen.
Schritt 3: Diagramm, Bericht oder Präsentation exportieren
Exportieren Sie eine Ersatzabbildung, eine Tabelle mit Vorher-Nachher-Werten oder eine schriftliche Zusammenfassung, die Sie in das Antwortdokument übernehmen können.
Warum dies besser ist, als die Analyse manuell neu aufzubauen
| Manueller Weg | Powerdrill Bloom | |
|---|---|---|
| Einen Test ohne markierte Fälle erneut ausführen | Datenbereich und Formel neu aufbauen | Beide Varianten anfragen |
| Sensitivitätsprüfung über mehrere Regeln hinweg | Eine Arbeitsmappen-Kopie pro Regel | Jede Regel nacheinander anfragen |
| Eine passende Abbildung neu erstellen | Diagramm manuell neu erstellen | Das aktualisierte Diagramm anfordern |
| Zweite Begutachtungsrunde | Die Arbeit erneut rekonstruieren | Dieselbe Sitzung wieder öffnen |
Die letzte Zeile ist am wichtigsten. Überarbeitungen erfolgen in Runden, und in der zweiten Runde hat man einen manuellen Neuaufbau meist schon wieder vergessen.
Gutachterkommentare in einer zweiten Runde beziehen sich zudem oft auf die erste. Die Möglichkeit, exakt dieselbe Analyse wieder zu öffnen, ist wertvoller, als sie nur schneller durchzuführen.
Häufige Fehler
In Prosa ohne Zahlen antworten. Ein Gutachter, der nach Ausreißern fragt, möchte den Koeffizienten mit und ohne diese sehen. Ein beruhigender Absatz wirkt wie Ausweichen.
Die Originaldatei direkt bearbeiten. Dadurch verlieren Sie die Möglichkeit zu zeigen, was sich geändert hat. Arbeiten Sie mit einer Kopie und lassen Sie die eingereichte Version unberührt.
Abweichungen zwischen Antwortschreiben und Manuskript zulassen. Aktualisieren Sie beides in derselben Sitzung und gleichen Sie anschließend jede Zahl im Schreiben mit der Tabelle ab, aus der sie stammt.
Vergessen, übertragene Abbildungen zu ersetzen. Bei einigen Fachzeitschriften werden alte Abbildungen automatisch übernommen. Eine Überarbeitung, die das vorherige Diagramm enthält, macht die ganze Arbeit zunichte.
Unangenehme Fälle, nach denen der Gutachter gefragt hat, stillschweigend weglassen. Das heimliche Entfernen problematischer Zeilen ist schlimmer als das ursprüngliche Problem. Nennen Sie die Regel und berichten Sie über beide Ergebnisse.
Im Schreiben und in der Tabelle unterschiedlich runden. Wählen Sie die vom Styleguide geforderte Genauigkeit und wenden Sie diese überall an. Unser Beitrag über statistische Signifikanz befasst sich damit, was diese Werte aussagen und was nicht.
Eine Bitte um Klarheit als Bitte um mehr Inhalt missverstehen. Manchmal ist die Abbildung schlicht unleserlich. Unser Leitfaden zur Erstellung von Diagrammen für wissenschaftliche Arbeiten deckt die Formatierungsseite ab.
Fazit
Teilen Sie jeden Kommentar in konkrete Analysen auf, führen Sie diese so aus, dass beide Versionen sichtbar sind, und führen Sie ein Protokoll, das jede Antwort mit einer Stelle im Manuskript verknüpft. Diese Struktur übersteht auch eine zweite Runde.
Der aufwendige Teil ist nicht die Statistik. Es ist die Rekonstruktion einer Analyse, die Sie nicht mehr ausführen können, und das unter einer von jemand anderem gesetzten Frist.
Wenn Ihre Überarbeitungen an dieser Stelle ins Stocken geraten, probieren Sie Powerdrill Bloom für den Datensatz hinter Ihrer Arbeit aus. Lesen Sie auch unseren Leitfaden zur Überprüfung Ihrer Daten vor der Einreichung und unsere Seite zu wissenschaftlichen Arbeiten.
Häufig gestellte Fragen
Wie sollte ich eine Antwort auf Gutachterkommentare zu Daten strukturieren?
Spiegeln Sie die Nummerierung des Gutachters wider und geben Sie für jeden Punkt die durchgeführte Analyse, das Ergebnis und die Stelle an, an der das Manuskript geändert wurde. PLOS ONE fordert Autoren auf, auf die spezifischen Punkte jedes Gutachters einzugehen und die vorgenommenen Änderungen aufzulisten.
Muss ich meine gesamte Analyse neu durchführen, wenn ein Gutachter ein einzelnes Ergebnis infrage stellt?
Normalerweise nicht. Die meisten Anfragen beziehen sich auf einen einzelnen Test, eine Ausschlussregel oder eine Abbildung, sodass es sich eher um eine gezielte Wiederholung als um eine völlig neue Studie handelt.
Was ist, wenn ich mit einem Gutachter bezüglich der Statistik nicht übereinstimme?
Antworten Sie mit der Analyse statt mit einer bloßen Meinung. Führen Sie aus, was gefordert wurde, berichten Sie über das Ergebnis und erklären Sie anschließend, warum Ihre ursprüngliche Wahl dennoch Bestand hat, falls dies der Fall ist.
Wie berichte ich eine überarbeitete Statistik korrekt?
Folgen Sie dem Styleguide Ihres Zieljournals und nicht den Standardeinstellungen der Tabellenkalkulation. Der APA-Stil sieht zwei Dezimalstellen für Werte wie t, F und Korrelationen vor und schreibt alles unter ,001 als p < .001.
Welche Dateien sind für eine Überarbeitung normalerweise erforderlich?
Bei PLOS ONE sind es drei: eine Antwort an die Gutachter, ein markiertes Manuskript, das Änderungen über „Änderungen nachverfolgen“ anzeigt, und eine saubere Kopie. Überprüfen Sie die Vorgaben Ihres Journals, da die Anforderungen variieren können.