Jak odpowiadać na uwagi recenzentów dotyczące Twoich danych (bez robienia wszystkiego od nowa)
Większość uwag recenzentów dotyczących danych sprowadza się do jednej z czterech kwestii: innego testu, analizy wrażliwości, wyjaśnienia wykluczonych przypadków lub czytelniejszego wykresu. Żadna z nich nie wymaga ponownego przeprowadzania całego badania. Wszystkie cztery wymagają natomiast powrotu do zbioru danych z konkretnym pytaniem.
Trudność nie leży w statystyce. Polega ona na tym, że każda uwaga musi zostać przełożona na konkretną analizę, konkretną liczbę i zdanie, które czytelnik będzie mógł zweryfikować.
Ten poradnik wyjaśnia, dlaczego ten etap często utyka w miejscu, omawia trzy stosowane podejścia i wskazuje, kiedy każde z nich przestaje się sprawdzać. Dotyczy on organizacji pracy z danymi, a nie samych wytycznych wydawniczych, dlatego należy zawsze postępować zgodnie z instrukcjami wybranego czasopisma.
Dlaczego odpowiedzi na uwagi recenzentów dotyczące danych bywają trudne
Pierwszym problemem jest interpretacja. Recenzent pisze jedno zdanie, które przekłada się na kilka osobnych analiz.
Zdanie „Proszę potwierdzić, że na wynik nie wpływają wartości odstające” to tylko jedna linijka. Odpowiedź na nie wymaga jednak zdefiniowania reguły identyfikacji wartości odstających, ponownego uruchomienia modelu z uwzględnieniem tych przypadków oraz bez nich, a następnie opisania obu rezultatów.
Drugim problemem jest to, że pierwotna analiza rzadko daje się łatwo odtworzyć na żądanie. Często istnieje w formie arkusza z ręcznie nałożonymi filtrami, wykresu zbudowanego na podstawie zakresu danych, który już się nie zgadza, oraz kroków, których nikt nie zapisał. Otwieranie takiego pliku po kilku miesiącach przypomina archeologię.
Trzecim problemem jest kwestia formalna. PLOS ONE wymaga przy poprawkach trzech osobnych plików: dokumentu z odpowiedziami, wersji artykułu z widocznymi zmianami (w trybie śledzenia zmian) oraz czystej kopii. Każda liczba musi być spójna we wszystkich trzech dokumentach.
Czwartym problemem jest niekontrolowane rozszerzanie zakresu własnych odpowiedzi. Uwagi recenzentów często kuszą do przeprowadzenia szerszej analizy, niż faktycznie wymagano, a wersja artykułu rozbudowana o nowe sekcje może sprowokować kolejne zastrzeżenia.
W tym procesie kryje się też pułapka. PLOS informuje, że wykresy i materiały uzupełniające z pierwotnego zgłoszenia są przenoszone automatycznie. Dzieje się tak, „chyba że zdecydujesz się je zaktualizować i zastąpić”. Jeśli wygenerujesz wykres na nowo, ale zapomnisz go podmienić, opublikowana zostanie stara wersja.
Jakie niesie to za sobą koszty
Kolejna runda recenzji, której można było uniknąć. Niepełne odpowiedzi prowokują ponowne zadanie tego samego pytania. Recenzent, który pytał o wartości odstające, a w odpowiedzi otrzymał akapit tekstu bez konkretnych liczb, zapyta o to jeszcze raz.
Tygodnie oczekiwania na efekty pracy, która wymaga zaledwie kilku godzin analizy. Opóźnienie rzadko wynika z czasu potrzebnego na obliczenia. Najwięcej czasu zajmuje odtworzenie tego, co działo się w pierwotnym arkuszu, zanim w ogóle będzie można cokolwiek zmienić.
Niespójność między listem z odpowiedziami a samym artykułem. W odpowiedzi pojawia się informacja, że współczynnik wynosi obecnie 0,31, podczas gdy w tabeli nadal widnieje 0,34, ponieważ zaktualizowano tylko jedno z tych miejsc. To najczęstszy powód, dla którego poprawiony artykuł sprawia wrażenie przygotowanego niestarannie.
Poprawiona wersja jest oceniana pod kątem tego, czy redaktor może łatwo prześledzić wprowadzone zmiany bez konieczności ponownego wykonywania obliczeń.
Doraźne rozwiązania, które stosują autorzy
Opcja 1: Przekształcenie każdej uwagi w ponumerowaną listę analiz
Zanim przejdziesz do danych, rozbij każdą uwagę na konkretne wyniki, których ona wymaga. Jeden komentarz często przekłada się na trzy pozycje na liście.
Ponumeruj je zgodnie z numeracją zastosowaną przez recenzenta, ponieważ to do niej musi odnosić się dokument z odpowiedziami. PLOS wymaga od autorów „odniesienia się do konkretnych uwag zgłoszonych przez każdego recenzenta” oraz przedstawienia listy wprowadzonych zmian.
To niezwykle cenny nawyk, którego wdrożenie zajmuje zaledwie godzinę. Nie przyspiesza on jednak samych analiz.
Opcja 2: Przebudowanie analizy tak, aby można ją było łatwo uruchomić ponownie
Zamiast edytować oryginalny arkusz, przygotuj obliczenia na nowo, umieszczając regułę wykluczania w komórce, a nie w filtrze. Wtedy zmiana reguły automatycznie zaktualizuje wynik.
W przypadku typowych próśb wystarczą wbudowane funkcje. T.TEST zwraca bezpośrednio wartość p, gdzie odpowiedni argument pozwala wybrać test dla prób zależnych, o równej wariancji lub o różnych wariancjach. Funkcja QUARTILE pozwala wyznaczyć granice dla reguły rozstępu ćwiartkowego przy identyfikacji wartości odstających, a CORREL obsługuje wnioskowaną korelację.
Zapisuj zaktualizowane dane zgodnie z wytycznymi stylu redakcyjnego, a nie domyślnymi ustawieniami arkusza kalkulacyjnego. Przewodnik statystyczny APA zaleca stosowanie dwóch miejsc po przecinku dla wartości t, F oraz korelacji, a każdą wartość poniżej ,001 nakazuje zapisywać jako p < .001. Pozostałe kwestie omawia nasz poradnik dotyczący raportowania statystyk w formacie APA.
Główną przeszkodą jest nakład pracy. Przebudowanie analizy trwa dłużej niż jej pierwotne stworzenie, a na dodatek odbywa się pod presją czasu.
Opcja 3: Prowadzenie rejestru zmian równolegle z listem z odpowiedziami
Prowadź jedną tabelę z czterema kolumnami: uwaga recenzenta, wykonana analiza, wynik oraz miejsce w artykule, które zostało zmienione. Uzupełniaj ją na bieżąco w trakcie pracy, a nie po jej zakończeniu.
To właśnie ten rejestr pozwala wyłapać niespójności między listem z odpowiedziami a tabelą w artykule. Będzie on również nieocenioną pomocą, jeśli w drugiej rundzie recenzji pojawią się pytania dotyczące zmian z pierwszej rundy.
Ograniczeniem jest tu samodyscyplina, a nie brak możliwości. Rejestr bywa porzucany dokładnie wtedy, gdy zbliża się termin ostateczny i jest on najbardziej potrzebny.
Wspólne ograniczenie. Wszystkie trzy podejścia zakładają, że zbiór danych nadal znajduje się w stanie nadającym się do analizy. Jeśli plik był modyfikowany od momentu wysłania artykułu, pierwszym zadaniem będzie odtworzenie jego pierwotnej wersji.
Jak odpowiadać na uwagi recenzentów za pomocą Powerdrill Bloom
Krok 1: Prześlij zbiór danych powiązany z artykułem
Prześlij plik, który posłużył do przeprowadzenia zgłoszonej analizy. Powerdrill Bloom profiluje kolumny zaraz po przesłaniu, dzięki czemu wykluczenia, puste bloki i niezgodności typów są widoczne jeszcze przed ponownym uruchomieniem jakichkolwiek obliczeń.
Krok 2: Zleć każdą wymaganą analizę za pomocą języka naturalnego
Zajmuj się uwagami po kolei. Poproś o test wskazany przez recenzenta, a następnie o ten sam test po usunięciu wskazanych przypadków, aby móc przedstawić oba wyniki.
Zadaj pytania uzupełniające w tym samym kroku. Zapytaj, które przypadki wykraczają poza granice rozstępu ćwiartkowego i czy wnioski ulegną zmianie po ich odrzuceniu. Następnie zapytaj, które podgrupy mają zbyt małą liczebność próby, aby poprzeć dane twierdzenie.
Krok 3: Wyeksportuj wykres, raport lub prezentację
Pobierz zaktualizowany wykres, tabelę z wartościami przed i po zmianach lub pisemne podsumowanie, które możesz łatwo wdrożyć do dokumentu z odpowiedziami.
Dlaczego to rozwiązanie jest lepsze od ręcznego przebudowywania analizy
| Metoda ręczna | Powerdrill Bloom | |
|---|---|---|
| Ponowne wykonanie testu bez wskazanych przypadków | Przebudowanie zakresu i formuły | Zlecenie obu wariantów analizy |
| Analiza wrażliwości dla kilku różnych reguł | Osobna kopia arkusza dla każdej reguły | Zlecenie analizy dla każdej reguły po kolei |
| Wygenerowanie spójnego wykresu na nowo | Ręczne przebudowanie wykresu | Poproszenie o zaktualizowany wykres |
| Druga runda recenzji | Ponowne odtwarzanie całej pracy | Otwarcie tej samej sesji |
Ostatni wiersz ma kluczowe znaczenie. Poprawki spływają etapami, a przy drugiej rundzie szczegóły ręcznej przebudowy zdążą już zatrzeć się w pamięci.
Uwagi recenzentów w drugiej rundzie często odnoszą się do zmian wprowadzonych w pierwszej. Możliwość powrotu do dokładnie tej samej analizy jest cenniejsza niż samo przyspieszenie pracy.
Najczęstsze błędy
Odpowiadanie opisowo, bez podawania liczb. Recenzent pytający o wartości odstające oczekuje wartości współczynnika z ich uwzględnieniem oraz bez nich. Akapit tekstu mający jedynie uspokoić recenzenta sprawia wrażenie unikania konkretnej odpowiedzi.
Edytowanie oryginalnego pliku bezpośrednio. W ten sposób tracisz możliwość wykazania, co dokładnie uległo zmianie. Pracuj na kopii i zachowaj pierwotnie wysłaną wersję w nienaruszonym stanie.
Dopuszczenie do rozbieżności między listem z odpowiedziami a artykułem. Aktualizuj oba dokumenty w tym samym czasie, a następnie porównaj każdą liczbę w liście z tabelą źródłową.
Zapominanie o podmienieniu przeniesionych wykresów. W niektórych czasopismach stare wykresy są kopiowane automatycznie. Przesłanie poprawionej wersji zawierającej poprzedni wykres niweczy cały wysiłek.
Ciche usuwanie przypadków, o które pytał recenzent. Usuwanie kłopotliwych wierszy bez słowa wyjaśnienia jest gorsze niż pierwotny problem. Należy jasno określić regułę i przedstawić oba wyniki.
Różne sposoby zaokrąglania liczb w liście i w tabeli. Wybierz stopień dokładności wymagany przez styl redakcyjny i stosuj go konsekwentnie. Nasz wpis na temat istotności statystycznej wyjaśnia, co te wartości faktycznie oznaczają, a czego nie dowodzą.
Traktowanie prośby o doprecyzowanie jako żądania dodatkowych analiz. Czasami wykres jest po prostu nieczytelny. Nasz poradnik dotyczący tworzenia wykresów do prac naukowych omawia kwestie związane z ich formatowaniem.
Podsumowanie
Rozbij każdą uwagę na konkretne analizy, przeprowadź je ponownie tak, aby obie wersje były widoczne, i prowadź jeden rejestr łączący każdą odpowiedź z konkretnym miejscem w artykule. Taka struktura pozwoli Ci bez trudu przejść przez drugą rundę recenzji.
Najbardziej kosztownym elementem nie jest sama statystyka. Jest nim odtwarzanie analizy, której nie da się już łatwo uruchomić ponownie, zwłaszcza pod presją narzuconego terminu.
Jeśli to właśnie na tym etapie Twoje poprawki utykają w miejscu, wypróbuj Powerdrill Bloom na zbiorze danych powiązanym z Twoim artykułem. Zobacz również nasz poradnik dotyczący sprawdzania danych przed wysłaniem artykułu oraz stronę poświęconą pracom naukowym.
Najczęściej zadawane pytania
Jak ustrukturyzować odpowiedź na uwagi recenzentów dotyczące danych?
Zastosuj tę samą numerację, co recenzent, i przy każdym punkcie wskaż wykonaną analizę, jej wynik oraz miejsce, w którym artykuł został zmieniony. PLOS ONE wymaga od autorów odniesienia się do konkretnych uwag zgłoszonych przez każdego recenzenta oraz przedstawienia listy wprowadzonych zmian.
Czy muszę ponownie przeprowadzać całą analizę, jeśli recenzent kwestionuje jeden wynik?
Zazwyczaj nie. Większość próśb dotyczy jednego konkretnego testu, jednej reguły wykluczania lub jednego wykresu, więc praca sprowadza się do wybiórczego powtórzenia obliczeń, a nie do przeprowadzania badania od nowa.
Co zrobić, jeśli nie zgadzam się z recenzentem w kwestiach statystycznych?
Odpowiedz, opierając się na analizie, a nie na samej opinii. Przeprowadź badanie zgodnie z ich prośbą, przedstaw wynik, a następnie wyjaśnij, dlaczego Twój pierwotny wybór pozostaje uzasadniony, jeśli tak właśnie jest.
Jak prawidłowo raportować zaktualizowane dane statystyczne?
Postępuj zgodnie z wytycznymi wybranego stylu redakcyjnego, a nie domyślnymi ustawieniami arkusza kalkulacyjnego. Styl APA zaleca stosowanie dwóch miejsc po przecinku dla wartości takich jak t, F oraz korelacji, a każdą wartość poniżej ,001 nakazuje zapisywać jako p < .001.
Jakich plików zazwyczaj wymaga poprawiona wersja artykułu?
W przypadku PLOS ONE wymagane są trzy pliki: odpowiedź na uwagi recenzentów, poprawiony artykuł z widocznymi zmianami (w trybie śledzenia zmian) oraz czysta kopia. Sprawdź wymogi swojego czasopisma, ponieważ wytyczne mogą się różnić.