데이터에 대한 리뷰어 의견에 대처하는 방법 (전부 다시 하지 않고)
데이터에 대한 심사위원의 의견은 대부분 다음 네 가지 중 하나를 요구합니다. 다른 테스트, 민감도 분석, 제외된 사례에 대한 설명, 또는 더 명확한 그림입니다. 이 네 가지 중 연구를 처음부터 다시 수행해야 하는 것은 없습니다. 네 가지 모두 구체적인 질문을 가지고 데이터셋으로 다시 돌아가야 하는 작업입니다.
어려운 부분은 통계적인 것이 아닙니다. 각 요청을 구체적인 분석, 구체적인 숫자, 그리고 독자가 확인할 수 있는 문장으로 변환해야 한다는 점입니다.
이 가이드에서는 이 단계에서 작업이 지체되는 이유, 사람들이 사용하는 세 가지 접근 방식, 그리고 각 방식의 한계를 다룹니다. 이는 데이터 워크플로우에 관한 것이며 출판 자문이 아니므로, 투고하려는 저널의 지침을 따르시기 바랍니다.
데이터에 대한 심사위원의 의견에 답변하기 어려운 이유
첫 번째 문제는 번역입니다. 심사위원이 한 문장을 쓰면, 그것이 여러 개의 개별 분석으로 확장됩니다.
"결과가 이상치에 의해 좌우되지 않는지 확인해 주십시오"라는 요청은 단 한 줄에 불과합니다. 하지만 이에 답변하려면 이상치 기준을 정의하고, 해당 사례를 포함하거나 제외한 상태로 모델을 다시 실행한 다음, 두 결과를 모두 보고해야 합니다.
두 번째 문제는 기존 분석을 필요할 때 바로 재현하기가 매우 어렵다는 점입니다. 수동 필터가 적용된 워크북, 더 이상 일치하지 않는 범위로 만들어진 차트, 그리고 아무도 기록해 두지 않은 단계들로 남아 있기 때문입니다. 몇 달 후에 이를 다시 열어보는 것은 고고학 연구와 다름없습니다.
세 번째 문제는 문서 관리입니다. PLOS ONE은 수정본 제출 시 답변서, 변경 내용 추적(Track Changes) 기능이 적용된 수정본, 그리고 최종 수정본의 세 가지 개별 파일을 요구합니다. 모든 숫자가 이 세 파일 전체에서 일치해야 합니다.
네 번째 문제는 답변 과정에서 범위가 불필요하게 넓어지는 것입니다. 심사위원의 의견은 종종 요청된 것보다 더 광범위한 분석을 유도하며, 새로운 섹션이 추가되는 수정본은 또 다른 반론을 불러올 수 있습니다.
이 과정에는 보이지 않는 함정이 있습니다. PLOS는 최초 제출 시의 그림과 보충 정보가 자동으로 이전된다고 명시하고 있습니다. 즉, "사용자가 이를 업데이트하고 교체하기로 선택하지 않는 한" 그대로 유지됩니다. 그림을 다시 생성하고 교체하는 것을 잊어버리면 이전 그림이 그대로 출판됩니다.
이로 인해 치러야 하는 대가
피할 수 있었던 2차 심사. 불완전한 답변은 동일한 질문을 다시 유발합니다. 이상치에 대해 질문했는데 숫자 없이 텍스트로만 작성된 문단을 받은 심사위원은 같은 질문을 다시 던질 것입니다.
몇 시간짜리 분석을 위해 허비되는 몇 주의 시간. 지연의 원인은 계산 작업 자체가 아닙니다. 무언가를 수정하기 전에 기존 워크북이 어떻게 작동했는지 복원하는 데 시간이 걸리기 때문입니다.
답변서와 원고 간의 불일치. 답변서에는 계수가 0.31로 변경되었다고 적혀 있는데 표에는 여전히 0.34로 표시되어 있다면, 둘 중 하나만 업데이트된 것입니다. 이는 수정본이 꼼꼼하지 못하다는 인상을 주는 가장 흔한 원인입니다.
수정본은 에디터가 직접 다시 계산하지 않고도 변경 사항을 쉽게 따라갈 수 있는지에 따라 평가됩니다.
사람들이 시도하는 임시방편들
옵션 1: 각 의견을 번호가 매겨진 분석 목록으로 변환하기
데이터를 건드리기 전에, 모든 의견을 필요한 구체적인 결과물로 세분화하세요. 하나의 의견이 종종 세 개의 작업 행으로 나뉘기도 합니다.
심사위원의 번호와 일치하도록 번호를 매기세요. 답변서도 이를 그대로 반영해야 하기 때문입니다. PLOS는 저자들에게 "각 심사위원이 제기한 구체적인 사항에 답변"하고 변경된 사항을 목록으로 작성할 것을 요구합니다.
이는 1시간 정도의 노력으로 가장 큰 효과를 볼 수 있는 습관입니다. 다만, 분석 자체의 속도를 높여주지는 않습니다.
옵션 2: 재실행이 가능하도록 분석 재구축하기
기존 워크북을 직접 수정하는 대신, 필터가 아닌 특정 셀에 제외 규칙을 넣어 계산을 재구축하세요. 그러면 규칙을 변경하는 것만으로 결과가 자동으로 바뀝니다.
일반적인 요청의 경우 기본 함수만으로도 충분합니다. T.TEST는 p-값을 직접 반환하며, 유형 인수를 통해 대응 표본, 등분산 또는 이분산을 선택할 수 있습니다. QUARTILE은 사분위수 기준의 이상치 규칙 경계를 제공하며, CORREL은 요청된 상관관계를 해결해 줍니다.
수정된 수치는 스프레드시트 기본값 대신 해당 스타일 가이드에 맞춰 보고하세요. APA statistics guide는 t, F 및 상관관계에 대해 소수점 둘째 자리까지 표기하도록 규정하고 있으며, .001 미만의 값은 p < .001로 작성합니다. 그 외의 내용은 reporting statistics in APA format 가이드에서 다루고 있습니다.
한계는 노력의 양입니다. 재구축은 원래 만드는 것보다 더 오랜 시간이 걸리며, 마감 기한이 임박한 상황에서 진행해야 합니다.
옵션 3: 답변서와 함께 변경 로그 작성하기
의견, 실행한 분석, 결과, 수정된 원고 위치의 네 가지 열로 구성된 하나의 표를 관리하세요. 작업이 끝난 후가 아니라 작업을 진행하면서 바로 채워 넣으십시오.
이를 통해 답변서와 표 간의 불일치를 잡아낼 수 있습니다. 또한 2차 심사에서 1차 심사 내용에 대해 질문할 때 참고할 수 있는 훌륭한 자료가 됩니다.
한계는 능력보다는 꾸준함에 있습니다. 마감 기한이 촉박해져 로그가 가장 절실히 필요한 순간에 정작 로그 작성을 포기하게 되기 때문입니다.
공통적인 한계. 세 가지 방법 모두 데이터셋이 여전히 분석 가능한 상태로 보존되어 있음을 전제로 합니다. 제출 이후 파일이 직접 수정되었다면, 가장 먼저 해야 할 일은 원래 상태를 복원하는 것입니다.
Powerdrill Bloom으로 심사위원 의견에 답변하는 방법
1단계: 논문의 기반이 되는 데이터셋 업로드하기
제출된 분석에 사용된 파일을 업로드하세요. Powerdrill Bloom은 업로드 즉시 열의 프로파일을 분석하므로, 분석을 다시 실행하기 전에 제외된 항목, 빈 블록, 데이터 유형 불일치 등을 바로 확인할 수 있습니다.
2단계: 요청된 각 분석을 자연어로 질문하기
의견을 하나씩 처리하세요. 심사위원이 언급한 테스트를 요청한 다음, 표시된 사례를 제외한 동일한 테스트를 다시 요청하여 두 결과를 모두 보고할 수 있도록 하십시오.
후속 질문도 같은 방식으로 진행하세요. 어떤 사례가 사분위수 범위를 벗어나는지, 그리고 이를 제외했을 때 결론이 바뀌는지 질문하십시오. 그런 다음 어떤 하위 그룹의 샘플 크기가 너무 작아 주장을 뒷받침하기 어려운지 물어보세요.
3단계: 차트, 보고서 또는 프레젠테이션 내보내기
교체할 그림, 전후 비교 표, 또는 답변서에 맞게 조정할 수 있는 서면 요약본을 내보내기 하세요.
이 방식이 분석을 수동으로 재구축하는 것보다 나은 이유
| 수동 방식 | Powerdrill Bloom | |
|---|---|---|
| 표시된 사례를 제외하고 테스트 재실행 | 범위 및 수식 재구축 | 두 가지 방식 모두 요청 |
| 여러 규칙에 대한 민감도 분석 | 규칙당 하나의 워크북 사본 생성 | 각 규칙을 차례대로 요청 |
| 이에 맞게 그림 다시 생성 | 차트 수동 재구축 | 업데이트된 차트 요청 |
| 2차 심사 | 작업 내용 다시 복원 | 동일한 세션 다시 열기 |
마지막 행이 가장 중요합니다. 수정 요청은 여러 차례에 걸쳐 진행되며, 2차 심사가 시작될 즈음에는 수동으로 재구축했던 내용을 이미 잊어버린 상태이기 쉽습니다.
또한 2차 심사의 의견은 대개 1차 심사 내용을 참조하는 경향이 있습니다. 정확히 동일한 분석을 다시 열어볼 수 있다는 것은 작업을 더 빨리 처리하는 것보다 훨씬 더 가치 있는 일입니다.
흔히 하는 실수들
숫자 없이 줄글로만 답변하기. 이상치에 대해 질문하는 심사위원은 이상치를 포함한 계수와 제외한 계수를 원합니다. 안심시키려는 듯한 긴 문단은 질문을 회피하는 것처럼 보일 뿐입니다.
원본 파일을 직접 수정하기. 이 경우 무엇이 변경되었는지 보여줄 수 없게 됩니다. 사본을 만들어 작업하고 제출된 버전은 그대로 보존하세요.
답변서와 원고의 내용이 어긋나게 두기. 두 문서를 동시에 업데이트한 다음, 답변서의 모든 숫자를 출처가 되는 표와 대조하여 확인하십시오.
이전된 그림을 교체하는 것을 잊어버리기. 일부 저널에서는 이전 그림이 자동으로 유지됩니다. 이전 차트가 그대로 포함된 수정본은 그동안의 노력을 헛수고로 만듭니다.
심사위원이 질문한 사례를 언급 없이 삭제하기. 까다로운 행을 아무런 언급 없이 삭제하는 것은 원래 문제보다 더 심각한 결과를 초래합니다. 적용한 규칙을 명시하고 두 결과를 모두 보고하세요.
답변서와 표에서 반올림을 다르게 적용하기. 스타일 가이드가 요구하는 정밀도를 선택하여 모든 곳에 일관되게 적용하세요. statistical significance에 관한 당사의 노트에서 이러한 값들이 주장하는 바와 주장하지 않는 바를 다루고 있습니다.
명확성을 요구하는 요청을 더 많은 분석을 요구하는 것으로 오해하기. 때로는 단순히 그림을 알아보기 힘든 것뿐일 수 있습니다. how to make charts for a research paper 가이드에서 서식 지정 측면을 다루고 있습니다.
결론
각 의견을 구체적인 분석으로 세분화하고, 두 버전의 결과를 모두 볼 수 있도록 재실행한 다음, 모든 답변을 원고의 수정 위치와 연결하는 하나의 로그를 유지하세요. 이러한 체계를 갖추면 2차 심사도 무사히 통과할 수 있습니다.
가장 큰 비용이 드는 부분은 통계가 아닙니다. 타인이 정한 마감 기한 내에 더 이상 재실행할 수 없는 분석을 복원하는 일입니다.
수정 단계에서 작업이 지체되고 있다면, 논문의 기반이 되는 데이터셋으로 Powerdrill Bloom을 사용해 보세요. 제출 전 데이터 확인 방법에 대한 how to check your data before submitting a paper 가이드 및 academic papers 페이지도 참고하시기 바랍니다.
자주 묻는 질문
데이터에 대한 심사위원 의견의 답변서는 어떻게 구성해야 하나요?
심사위원의 번호를 그대로 따르고, 각 항목에 대해 실행한 분석, 결과, 원고의 수정 위치를 제시하세요. PLOS ONE은 저자들에게 각 심사위원이 제기한 구체적인 사항에 답변하고 변경된 사항을 목록으로 작성할 것을 요구합니다.
심사위원이 하나의 결과에 대해 의문을 제기할 때 분석 전체를 다시 실행해야 하나요?
대개의 경우 그렇지 않습니다. 대부분의 요청은 특정 테스트, 하나의 제외 규칙 또는 하나의 그림을 대상으로 하므로, 연구를 처음부터 다시 하기보다는 특정 부분만 다시 실행하는 작업에 가깝습니다.
통계 분석에 대해 심사위원의 의견에 동의하지 않는 경우는 어떻게 해야 하나요?
의견보다는 분석 결과로 답변하세요. 심사위원이 요청한 분석을 실행하여 결과를 보고한 다음, 기존 선택이 타당한 이유를 설명하십시오.
수정된 통계 수치는 어떻게 올바르게 보고해야 하나요?
스프레드시트 기본값 대신 해당 스타일 가이드를 따르세요. APA 스타일은 t, F 및 상관관계와 같은 값에 대해 소수점 둘째 자리까지 표기하도록 규정하고 있으며, .001 미만의 값은 p < .001로 작성합니다.
수정본 제출 시 일반적으로 어떤 파일들이 필요한가요?
PLOS ONE의 경우 답변서, 변경 내용 추적 기능이 적용된 수정본, 그리고 최종 수정본의 세 가지 파일이 필요합니다. 저널마다 요구 사항이 다를 수 있으므로 해당 저널의 지침을 확인하세요.