Hoe te reageren op opmerkingen van reviewers over je data (zonder alles opnieuw te doen)
De meeste opmerkingen van reviewers over data vragen om een van vier dingen. Een andere test, een gevoeligheidsanalyse, een verklaring voor uitgesloten gevallen of een duidelijkere figuur. Geen van deze vier vereist dat u uw onderzoek opnieuw uitvoert. Alle vier vereisen ze dat u met een specifieke vraag teruggaat naar de dataset.
Het moeilijke deel is niet statistisch. Het is dat elke vraag moet worden omgezet in een concrete analyse, een concreet getal en een zin die een lezer kan controleren.
Deze gids behandelt waarom deze fase vaak vastloopt, de drie benaderingen die mensen gebruiken en waar elk van deze tekortschiet. Dit is een data-workflow, geen publicatieadvies, dus volg de instructies van het tijdschrift waarin u wilt publiceren.
Waarom opmerkingen van reviewers over data lastig te beantwoorden zijn
Het eerste probleem is de vertaalslag. Een reviewer schrijft één zin, en dat mondt uit in verschillende afzonderlijke analyses.
"Bevestig alstublieft dat het resultaat niet wordt gestuurd door uitschieters" is een enkele regel. Om dit te beantwoorden moet u een regel voor uitschieters definiëren, het model met en zonder die gevallen opnieuw uitvoeren en beide rapporteren.
Het tweede probleem is dat de oorspronkelijke analyse zelden direct reproduceerbaar is. Het bestaat als een werkmap met handmatige filters, een grafiek die is opgebouwd uit een bereik dat niet meer klopt, en stappen die niemand heeft opgeschreven. Dit maanden later weer openen is pure archeologie.
The third problem is bookkeeping. PLOS ONE asks for three separate files at revision: a response document, a marked-up copy using Track Changes, and a clean copy. Every number has to agree across all three.
Een vierde probleem is 'scope creep' in uw eigen antwoorden. Opmerkingen van reviewers nodigen vaak uit tot een bredere analyse dan gevraagd, en een herziening die nieuwe secties krijgt, roept ook weer nieuwe bezwaren op.
Er zit een addertje onder het gras in dat proces. PLOS stelt dat figuren en ondersteunende informatie uit de oorspronkelijke indiening automatisch worden overgedragen. Ze worden overgedragen "tenzij u ervoor kiest ze bij te werken en te vervangen". Genereert u een figuur opnieuw, maar vergeet u deze te vervangen, dan wordt de oude meegestuurd.
Wat dit u kost
Een tweede beoordelingsronde die u had kunnen vermijden. Gedeeltelijke antwoorden lokken dezelfde vraag opnieuw uit. Een reviewer die naar uitschieters vroeg en een alinea zonder cijfers terugkreeg, zal het twee keer vragen.
Weken aan kalendertijd voor uren aan analyse. De vertraging zit zelden in de berekening zelf. Het zit in het reconstrueren van wat de oorspronkelijke werkmap deed voordat u überhaupt iets kunt aanpassen.
Inconsistentie tussen de begeleidende brief en het manuscript. De reactie vermeldt dat de coëfficiënt 0.31 is geworden, de tabel toont nog steeds 0.34, en slechts een van de twee is bijgewerkt. Dit is de meest voorkomende reden waarom een herziening slordig overkomt.
Een herziening wordt beoordeeld op de vraag of een redacteur uw wijzigingen kan volgen zonder ze opnieuw te hoeven berekenen.
De tijdelijke oplossingen die mensen proberen
Optie 1: Zet elke opmerking om in een genummerde analyselijst
Voordat u de data aanraakt, splitst u elke opmerking op in de specifieke outputs die deze vereist. Eén opmerking levert vaak drie rijen op.
Nummer ze zo dat ze overeenkomen met de nummering van de reviewer, want dat is wat het reactiedocument moet weerspiegelen. PLOS vraagt auteurs om "in te gaan op de specifieke punten van elke reviewer" en de aangebrachte wijzigingen op te sommen.
Dit is de meest waardevolle gewoonte die er is, en het kost u een uurtje. Het maakt de analyses zelf echter niet sneller.
Optie 2: Bouw de analyse opnieuw op zodat deze opnieuw kan worden uitgevoerd
In plaats van de originele werkmap te bewerken, bouwt u de berekening opnieuw op met de uitsluitingsregel in een cel in plaats van in een filter. Als u de regel vervolgens aanpast, verandert het resultaat automatisch mee.
Voor de meest voorkomende verzoeken zijn de ingebouwde functies voldoende. T.TEST retourneert direct een p-waarde, waarbij het type-argument gekoppelde, gelijke of ongelijke variantie selecteert. QUARTILE geeft u de grenzen voor een interkwartiel-uitschietersregel, en CORREL dekt een gevraagde correlatie.
Rapporteer de herziene cijfers volgens uw stijlgids in plaats van de standaardinstellingen van uw spreadsheet. De APA-statistiekgids schrijft twee decimalen voor bij t, F en correlaties, en schrijft elke waarde onder .001 als p < .001. Onze gids voor het rapporteren van statistieken in APA-formaat behandelt de rest.
De beperkende factor is de inspanning. Het opnieuw opbouwen duurt langer dan de oorspronkelijke opzet, en dat terwijl u onder tijdsdruk staat.
Optie 3: Houd een wijzigingslogboek bij naast de begeleidende brief
Houd één tabel bij met vier kolommen: de opmerking, wat u hebt uitgevoerd, het resultaat en de locatie in het manuscript die u hebt bewerkt. Vul deze in tijdens het werken, niet pas achteraf.
Dit is wat de inconsistentie tussen de reactie en de tabel voorkomt. Het is ook wat u raadpleegt wanneer een tweede ronde vragen stelt over de eerste ronde.
De beperking is discipline, niet de haalbaarheid. Het logboek wordt vaak juist verwaarloosd wanneer de deadline nadert en u het het hardst nodig hebt.
De gezamenlijke beperking. Alle drie de opties gaan ervan uit dat de dataset zich nog in een staat bevindt waarin u deze kunt analyseren. Als het bestand sinds de indiening ter plekke is bewerkt, is de eerste taak het reconstrueren van wat u oorspronkelijk had.
Hoe u opmerkingen van reviewers beantwoordt met Powerdrill Bloom
Stap 1: Upload de dataset achter het artikel
Upload het bestand dat voor de ingediende analyse is gebruikt. Powerdrill Bloom profileert de kolommen direct bij binnenkomst, zodat uitsluitingen, lege blokken en type-mismatches zichtbaar zijn voordat u überhaupt iets opnieuw uitvoert.
Stap 2: Vraag elke gewenste analyse in natuurlijke taal
Behandel de opmerkingen één voor één. Vraag naar de test die de reviewer noemde, en vraag vervolgens naar dezelfde test met de gemarkeerde gevallen verwijderd, zodat u beide kunt rapporteren.
Stel de vervolgvragen in dezelfde ronde. Vraag welke gevallen buiten de interkwartielgrenzen vallen, en of de conclusie verandert als ze worden weggelaten. Vraag vervolgens welke subgroepen te kleine steekproeven hebben om een bewering te ondersteunen.
Stap 3: Exporteer de grafiek, het rapport of de presentatie
Exporteer een vervangende figuur, een tabel met voor-en-na-waarden of een geschreven samenvatting die u kunt overnemen in het reactiedocument.
Waarom dit beter is dan de analyse handmatig opnieuw opbouwen
| Handmatige route | Powerdrill Bloom | |
|---|---|---|
| Een test opnieuw uitvoeren zonder gemarkeerde gevallen | Het bereik en de formule opnieuw opbouwen | Vraag er op beide manieren naar |
| Gevoeligheidsanalyse over verschillende regels | Eén kopie van de werkmap per regel | Vraag naar elke regel om de beurt |
| Een figuur opnieuw genereren om deze te laten overeenstemmen | De grafiek handmatig opnieuw opbouwen | Vraag om de bijgewerkte grafiek |
| Tweede beoordelingsronde | Het werk opnieuw reconstrueren | Dezelfde sessie heropenen |
De laatste rij is het belangrijkst. Herzieningen komen in rondes, en bij de tweede ronde is een handmatige reconstructie vaak alweer vergeten.
Opmerkingen van reviewers in een second round verwijzen bovendien vaak naar de eerste. Het exact kunnen heropenen van de analyse is waardevoller dan het sneller uitvoeren ervan.
Veelgemaakte fouten
Antwoorden in tekstvorm zonder cijfers. Een reviewer die naar uitschieters vraagt, wil de coëfficiënt met en zonder die uitschieters zien. Een geruststellende alinea komt over als ontwijking.
Het originele bestand ter plekke bewerken. U verliest hiermee de mogelijkheid om te laten zien wat er is veranderd. Werk in een kopie en houd de ingediende versie intact.
De begeleidende brief laten afwijken van het manuscript. Werk beide in dezelfde sessie bij en controleer vervolgens elk getal in de brief met de tabel waar het vandaan komt.
Vergeten overgedragen figuren te vervangen. Oude figuren worden bij sommige tijdschriften automatisch overgedragen. Een herziening met de vorige grafiek doet al het werk teniet.
Stilzwijgend gevallen weglaten waar de reviewer naar vroeg. Het weglaten van lastige rijen zonder dit te vermelden is erger dan het oorspronkelijke probleem. Vermeld de regel en rapporteer beide resultaten.
Anders afronden in de brief dan in de tabel. Kies de nauwkeurigheid die uw stijlgids voorschrijft en pas deze overal toe. Onze toelichting op statistische significantie behandelt wat die waarden wel en niet beweren.
Een verzoek om verduidelijking opvatten als een verzoek om meer. Soms is de figuur simpelweg onleesbaar. Onze gids voor het maken van grafieken voor een wetenschappelijk artikel behandelt de opmaakzijde.
Conclusie
Splits elke opmerking op in benoemde analyses, voer ze opnieuw uit zodat beide versies zichtbaar zijn, en houd één logboek bij dat elk antwoord koppelt aan een locatie in het manuscript. Die structuur overleeft een tweede ronde.
Het kostbare deel is niet de statistiek. Het is het reconstrueren van een analyse die u niet meer opnieuw kunt uitvoeren, onder een deadline die door iemand anders is gesteld.
Als dat is waar uw herzieningen vastlopen, probeer dan Powerdrill Bloom op de dataset achter het artikel. Zie ook onze gids voor het controleren van uw data vóór indiening en de pagina over wetenschappelijke artikelen.
Veelgestelde vragen
Hoe moet ik een reactie op opmerkingen van reviewers over data structureren?
Neem de nummering van de reviewer over en vermeld bij elk punt de uitgevoerde analyse, het resultaat en waar het manuscript is gewijzigd. PLOS ONE vraagt auteurs om in te gaan op de specifieke punten van elke reviewer en de aangebrachte wijzigingen op te sommen.
Moet ik mijn hele analyse opnieuw uitvoeren als een reviewer vraagtekens zet bij één resultaat?
Meestal niet. De meeste verzoeken zijn gericht op één test, één uitsluitingsregel of één figuur, dus het werk is een gerichte herhaling in plaats van een volledig nieuw onderzoek.
What if I disagree with a reviewer about the statistics?
Antwoord met de analyse in plaats van met een mening. Voer uit wat ze hebben gevraagd, rapporteer het resultaat en leg vervolgens uit waarom uw oorspronkelijke keuze eventueel blijft staan.
Hoe rapporteer ik een herziene statistiek correct?
Volg de stijlgids van uw doel-tijdschrift in plaats van de standaardinstellingen van uw spreadsheet. De APA-stijl schrijft twee decimalen voor bij waarden zoals t, F en correlaties, en schrijft alles onder .001 als p < .001.
Welke bestanden zijn er meestal nodig voor een herziening?
Bij PLOS ONE zijn dat er drie: een reactie op de reviewers, een gemarkeerd manuscript waarin de wijzigingen via 'Wijzigingen bijhouden' te zien zijn, en een schone versie. Controleer uw eigen tijdschrift, aangezien de vereisten verschillen.