データに関する査読コメントへの対処法（すべてをやり直さずに）
データに関する査読者のコメントの多くは、次の4つのいずれかを求めています。異なる検定、感度分析、除外されたデータの理由説明、あるいはより分かりやすい図の提示です。これらいずれも、研究自体をやり直す必要はありません。必要なのは、具体的な問いを持ってデータセットを再度確認することだけです。
難しいのは統計的な部分ではありません。それぞれの要望を、具体的な分析、具体的な数値、そして読者が確認できる文章に落とし込まなければならない点です。
本ガイドでは、この段階で作業が滞る理由、よく使われる3つのアプローチ、そしてそれぞれの限界について解説します。これはデータワークフローに関するものであり、出版のアドバイスではないため、投稿先ジャーナルの指示に従ってください。
データに関する査読者のコメントへの回答が難しい理由
第1の問題は「翻訳」です。査読者が書いた1文が、複数の個別の分析へと膨れ上がります。
「結果が外れ値に左右されていないことを確認してください」というのは、わずか1行の指摘です。しかし、これに答えるには、外れ値の基準を定義し、それらのデータを除外した場合と除外しない場合の両方でモデルを再実行し、両方の結果を報告する必要があります。
第2の問題は、元の分析が必要な時にすぐに再現できる状態になっていないことが多い点です。手動フィルターが適用されたワークブック、もはや一致しない範囲から作成されたグラフ、および誰も記録していない手順。数ヶ月後にそれを開き直すのは、もはや考古学の作業です。
第3の問題は「帳尻合わせ」です。PLOS ONEでは、改訂時に回答書、変更履歴（Track Changes）付きの原稿、およびクリーンコピーの3つの別々のファイルを求められます。これら3つすべてにおいて、すべての数値が一致していなければなりません。
第4の問題は、回答における「スコープの肥大化」です。査読者のコメントに引きずられて、求められている以上の広範な分析を行ってしまいがちですが、改訂によって新しいセクションが増えると、新たな反論を招くことになります。
このプロセスには、静かな罠が潜んでいます。PLOSは、初回投稿時の図や補足情報は自動的に引き継がれるとしています。これらは「更新して差し替えることを選択しない限り」引き継がれます。図を再作成したものの差し替えを忘れてしまうと、古い図がそのまま掲載されてしまいます。
これによって失われるもの
回避できたはずの2回目の査読。不完全な回答は、同じ質問を再び招きます。外れ値について質問したのに、数値のない文章だけの回答を受け取った査読者は、もう一度同じ質問をするでしょう。
わずか数時間の分析のために、数週間もの時間が費やされる。遅れの原因が計算自体であることは滅多にありません。何かを変更する前に、元のワークブックで何が行われていたかを再構築する作業に時間がかかるのです。
回答書と原稿の間の不一致。回答書には係数が0.31になったと書かれているのに、表にはまだ0.34と書かれており、どちらか一方しか更新されていないケースです。これは、改訂原稿が「不注意」であると見なされる最も一般的な原因です。
改訂原稿は、エディターが再計算することなく、あなたの変更内容を追跡できるかどうかで判断されます。
よく試みられる回避策
Option 1: 各コメントを番号付きの分析リストに変換する
データに手を付ける前に、すべてのコメントを、必要とされる具体的なアウトプットに分解します。1つのコメントから3つのタスクが生まれることもよくあります。
回答書は査読者のコメントの番号付けに対応させる必要があるため、これらに査読者と同じ番号を振ります。PLOSは著者に対し、「各査読者から指摘された具体的なポイントに対処し」、行われた変更をリストアップすることを求めています。
これは非常に価値の高い習慣であり、かかる時間は1時間程度です。ただし、これによって分析自体が速くなるわけではありません。
Option 2: 再実行できるように分析を再構築する
元のワークブックを直接編集するのではなく、除外ルールをフィルターではなくセルに入力して計算を再構築します。そうすれば、ルールを変更するだけで結果が変わるようになります。
よくある要望に対しては、標準関数だけで十分です。T.TESTはp値を直接返し、引数で対応のある検定、等分散、または非等分散を選択できます。QUARTILEは四分位範囲に基づく外れ値ルールの境界値を提供し、CORRELは求められた相関関係をカバーします。
改訂された数値は、スプレッドシートのデフォルトではなく、投稿先のスタイルガイドに従って報告してください。APA統計ガイドでは、t、F、および相関関係の小数点以下は2桁とし、.001未満の数値はp < .001と表記するよう定めています。その他の詳細については、当社のAPAフォーマットでの統計報告方法に関するガイドをご覧ください。
限界は「労力」です。再構築には最初の構築よりも時間がかかり、しかも締め切りに追われながら行うことになります。
Option 3: 回答書とは別に変更ログを記録する
コメント、実行した内容、結果、および編集した原稿の箇所の4つの列を持つテーブルを1つ作成します。後からではなく、作業を進めながら記入していきます。
これにより、回答書と表の不一致を防ぐことができます。また、2回目の査読で1回目の内容について質問された際にも、これを参照できます。
制限となるのは、能力ではなく「規律」です。締め切りが迫り、最もログが必要とされるまさにその瞬間に、ログの更新が放棄されてしまうのです。
共通する限界。これら3つのアプローチはすべて、データセットがまだ分析可能な状態に保たれていることを前提としています。投稿後にファイルを直接編集してしまっている場合、最初のタスクは、元の状態を再構築することになります。
Powerdrill Bloomを使って査読者のコメントに回答する方法
Step 1: 論文の背景にあるデータセットをアップロードする
投稿された分析で使用したファイルをアップロードします。Powerdrill Bloomはアップロード時に対象列のプロファイルを作成するため、再実行する前に、除外データ、空白ブロック、型の不一致などを確認できます。
Step 2: 求められた各分析を自然言語で質問する
コメントを1つずつ処理していきます。査読者が指定した検定を依頼し、次に、指摘されたデータを除外した同じ検定を依頼することで、両方の結果を報告できるようにします。
関連する質問も同じ流れで行います。どのデータが四分位範囲の境界外にあるか、それらを除外した場合に結論が変わるかどうかを尋ねます。さらに、どのサブグループのサンプルサイズが小さすぎて主張を裏付けられないかを尋ねます。
Step 3: グラフ、レポート、またはスライドをエクスポートする
差し替え用の図、変更前後の数値の表、または回答書にそのまま活用できる要約テキストを取り出します。
手作業で分析を再構築するよりも優れている理由
| 手作業 | Powerdrill Bloom | |
|---|---|---|
| 指摘されたデータを除外して検定を再実行する | 範囲と数式を再構築する | 両方のパターンを依頼する |
| 複数のルールに基づく感度分析 | ルールごとにワークブックをコピーする | 各ルールを順番に依頼する |
| それに合わせた図の再作成 | 手動でグラフを再作成する | 更新されたグラフを依頼する |
| 2回目の査読 | 再び作業を再構築する | 同じセッションを再度開く |
最も重要なのは最後の行です。改訂は複数回にわたって行われることがあり、2回目の査読の時点では、手作業で行った再構築の内容はすでに忘れ去られています。
また、2回目の査読コメントは1回目の内容に言及することがよくあります。まったく同じ分析を再度開くことができる機能は、単に作業を速く進めること以上の価値があります。
よくある間違い
数値を示さずに文章だけで回答する。外れ値について質問している査読者は、それらを除外した場合と除外しない場合の係数を知りたがっています。安心させるための文章だけの段落は、はぐらかしているように受け取られます。
元のファイルを直接編集する。何が変更されたかを示すことができなくなります。コピーを作成して作業し、投稿したバージョンはそのまま残しておきましょう。
回答書と原稿の内容を乖離させる。両方を一度に更新し、回答書に記載されているすべての数値を、その元となった表と照らし合わせて確認してください。
引き継がれた図の差し替えを忘れる。一部のジャーナルでは、古い図が自動的に引き継がれます。以前のグラフが含まれたまま改訂原稿を提出すると、せっかくの作業が台無しになります。
査読者が指摘したデータを黙って除外する。不都合な行を説明なしに削除することは、元の問題よりも悪質です。ルールを明記し、両方の結果を報告してください。
回答書と表で四捨五入の基準を変える。スタイルガイドが要求する精度を選択し、すべてに適用してください。統計的有意性に関する当社のメモ（statistical significance）では、それらの数値が何を主張し、何を主張しないかについて解説しています。
明確化の要求を、さらなる追加の要求と勘違いする。単に図が読みにくいだけの場合もあります。学術論文用のグラフ作成に関する当社のガイド（making charts for a research paper）では、フォーマットの側面について解説しています。
結論
各コメントを具体的な分析に分解し、両方のバージョンが確認できるように再実行し、すべての回答を原稿の箇所と結びつけるログを1つ作成します。この構造を整えておけば、2回目の査読も乗り切ることができます。
コストがかかるのは統計処理ではありません。他人が設定した締め切りに追われながら、もはや再実行できなくなった分析を再構築することです。
もしそこで改訂作業が滞っているなら、論文の背景にあるデータセットでPowerdrill Bloomをお試しください。また、投稿前にデータを確認するためのガイドや、学術論文のページもご覧ください。
よくある質問
データに関する査読者のコメントへの回答はどのように構成すべきですか？
査読者自身の番号付けに対応させ、各ポイントに対して実行した分析、結果、および原稿の変更箇所を記載します。PLOS ONEは著者に対し、各査読者から指摘された具体的なポイントに対処し、行われた変更をリストアップすることを求めています。
査読者が1つの結果に疑問を呈した場合、分析全体を再実行する必要がありますか？
通常はその必要はありません。ほとんどの要望は、特定の1つの検定、1つの除外ルール、または1つの図を対象としているため、作業は新規の研究ではなく、対象を絞った再実行になります。
統計に関して査読者と意見が合わない場合はどうすればよいですか？
主観的な意見ではなく、分析結果で回答してください。求められた分析を実行して結果を報告した上で、元の選択が妥当である場合は、その理由を説明します。
改訂された統計数値を正しく報告するにはどうすればよいですか？
スプレッドシートのデフォルトではなく、投稿先のスタイルガイドに従ってください。APAスタイルでは、t、F、相関関係などの数値は小数点以下2桁とし、.001未満の数値はp < .001と表記します。
通常、改訂にはどのようなファイルが必要ですか？
PLOS ONEでは、査読者への回答書、変更履歴（Track Changes）付きの原稿、およびクリーンコピーの3つです。要件はジャーナルによって異なるため、投稿先の規定を確認してください。