Как отвечать на комментарии рецензентов к вашим данным (не переделывая всё заново)
Большинство замечаний рецензентов к данным сводятся к одной из четырех вещей: другому тесту, анализу чувствительности, объяснению исключенных случаев или более понятному графику. Ни одно из этих требований не требует повторного проведения исследования. Все четыре требуют возврата к набору данных с конкретным вопросом.
Сложность здесь не в статистике. Она в том, что каждый запрос должен превратиться в конкретный анализ, конкретную цифру и предложение, которое читатель сможет проверить.
В этом руководстве рассказывается, почему этот этап затягивается, какие три подхода используют авторы и в чем ограничения каждого из них. Это рабочий процесс работы с данными, а не рекомендации по публикации, поэтому следуйте инструкциям вашего целевого журнала.
Почему на замечания рецензентов о данных так трудно отвечать
Первая проблема — это интерпретация. Рецензент пишет одно предложение, а оно разворачивается в несколько отдельных анализов.
«Пожалуйста, подтвердите, что на результат не повлияли выбросы» — это всего одна строчка. Но чтобы ответить на нее, нужно определить правило выявления выбросов, запустить модель заново с этими случаями и без них, а затем представить оба результата.
Вторая проблема заключается в том, что исходный анализ редко можно воспроизвести по первому требованию. Он существует в виде рабочей книги с ручными фильтрами, диаграммы, построенной по диапазону, который больше не совпадает, и шагов, которые никто не записал. Открыть его месяцы спустя — это настоящая археология.
Третья проблема — это ведение учета. PLOS ONE требует при доработке три отдельных файла: документ с ответами, копию рукописи с исправлениями в режиме Track Changes и чистую копию. Каждая цифра во всех трех файлах должна совпадать.
Четвертая проблема — это размывание границ в ваших собственных ответах. Замечания рецензентов часто подталкивают к более широкому анализу, чем требовалось, а доработанная версия, обросшая новыми разделами, вызывает новые возражения.
В этом процессе есть скрытая ловушка. PLOS заявляет, что рисунки и сопроводительная информация из первоначальной заявки переносятся автоматически. Они переносятся, «если только вы не решите обновить и заменить их». Если вы переделаете рисунок, но забудете его заменить, в публикацию уйдет старый вариант.
Чего вам это стоит
Втого раунда рецензирования, которого можно было избежать. Неполные ответы вызывают тот же вопрос снова. Рецензент, который спросил о выбросах и получил в ответ абзац текста без цифр, спросит еще раз.
Недель календарного времени на то, что требует нескольких часов анализа. Задержка редко связана с самими вычислениями. Чаще всего дело в восстановлении того, что именно делалось в исходной рабочей книге, прежде чем вы сможете что-то изменить.
Несоответствия между сопроводительным письмом и рукописью. В ответе говорится, что коэффициент стал равен 0.31, а в таблице по-прежнему указано 0.34, и только один из этих показателей был обновлен. Это самая частая причина, по которой доработанная статья выглядит небрежной.
Качество доработки оценивается по тому, может ли редактор проследить ваши изменения без повторного проведения расчетов.
Способы, которые пытаются использовать
Вариант 1: Превратить каждое замечание в нумерованный список задач для анализа
Прежде чем прикасаться к данным, разбейте каждое замечание на конкретные результаты, которые для него требуются. Одно замечание часто порождает три новые строки задач.
Пронумеруйте их в соответствии с нумерацией самого рецензента, поскольку именно ее должен отражать документ с ответами. PLOS просит авторов «ответить на конкретные замечания каждого рецензента» и перечислить внесенные изменения.
Это самая полезная привычка, которая отнимет у вас всего час. Но сам анализ она быстрее не сделает.
Вариант 2: Перестроить анализ так, чтобы его можно было запустить заново
Вместо редактирования исходной рабочей книги перестройте расчет так, чтобы правило исключения находилось в ячейке, а не в фильтре. Тогда изменение правила сразу изменит результат.
Для стандартных запросов достаточно встроенных функций. T.TEST возвращает значение p напрямую, где аргумент типа позволяет выбрать парный критерий, с равными или неравными дисперсиями. QUARTILE дает границы для межквартильного правила определения выбросов, а CORREL рассчитывает запрашиваемую корреляцию.
Оформляйте измененные показатели в соответствии с вашим руководством по стилю, а не по умолчанию для электронных таблиц. Руководство по статистике APA предписывает использовать два десятичных знака для t, F и корреляций, а любое значение ниже .001 записывать как p < .001. В нашем руководстве по представлению статистических данных в формате APA описано все остальное.
Главное препятствие здесь — трудозатраты. Перестройка занимает больше времени, чем первоначальное создание, и все это происходит в условиях жесткого дедлайна.
Вариант 3: Вести журнал изменений параллельно с сопроводительным письмом
Ведите одну таблицу из четырех колонок: замечание, что вы запустили, результат и место в рукописи, которое вы отредактировали. Заполняйте ее по ходу работы, а не после.
Именно это помогает вовремя заметить нестыковки между ответом и таблицей. К этому же журналу вы обратитесь, если во втором раунде возникнут вопросы по первому.
Ограничение здесь кроется в дисциплине, а не в возможностях. О ведении журнала забывают именно тогда, когда сроки поджимают и он нужен больше всего.
Общий предел возможностей. Все три варианта предполагают, что набор данных все еще находится в состоянии, пригодном для анализа. Если файл редактировался на месте с момента подачи статьи, первой задачей станет восстановление того, что у вас было изначально.
Как отвечать на замечания рецензентов с помощью Powerdrill Bloom
Шаг 1: Загрузите набор данных, лежащий в основе статьи
Загрузите файл, который использовался для отправленного анализа. Powerdrill Bloom профилирует столбцы при загрузке, поэтому исключения, пустые блоки и несоответствия типов видны еще до того, как вы что-либо запустите заново.
Шаг 2: Запросите каждый требуемый анализ на естественном языке
Разбирайте замечания по одному. Запросите тест, указанный рецензентом, а затем тот же тест с удалением отмеченных случаев, чтобы вы могли представить оба результата.
Задавайте сопутствующие вопросы в том же сеансе. Спросите, какие случаи выходят за межквартильные границы и меняется ли вывод при их исключении. Затем спросите, в каких подгруппах выборки слишком малы для подтверждения утверждения.
Шаг 3: Экспортируйте график, отчет или презентацию
Выгрузите измененный рисунок, таблицу значений «до и после» или текстовое резюме, которое можно адаптировать для документа с ответами.
Почему это лучше, чем перестраивать анализ вручную
| Ручной способ | Powerdrill Bloom | |
|---|---|---|
| Повторный запуск теста без отмеченных случаев | Перестроить диапазон и формулу | Запросить оба варианта |
| Анализ чувствительности по нескольким правилам | По одной копии рабочей книги на каждое правило | Запросить каждое правило по очереди |
| Повторное создание соответствующего рисунка | Перестроить диаграмму вручную | Запросить обновленную диаграмму |
| Второй раунд рецензирования | Снова восстанавливать проделанную работу | Открыть ту же сессию |
Последняя строка важнее всего. Доработка проходит в несколько раундов, и ко второму раунду ручные перестройки обычно уже забываются.
Замечания рецензентов во втором раунде также часто ссылаются на первый. Возможность открыть точно такой же анализ ценнее, чем просто сделать его быстрее.
Типичные ошибки
Ответы текстом без цифр. Рецензент, спрашивающий о выбросах, хочет видеть коэффициент с ними и без них. Абзац с заверениями воспринимается как уклонение от ответа.
Редактирование исходного файла на месте. Вы теряете возможность показать, что именно изменилось. Работайте с копией и сохраняйте отправленную версию нетронутой.
Рассогласование сопроводительного письма и рукописи. Обновляйте и то, и другое за один раз, а затем сверяйте каждую цифру в письме с таблицей, из которой она взята.
Забыть заменить перенесенные рисунки. В некоторых журналах старые рисунки переносятся автоматически. Доработанная версия, содержащая предыдущий график, сводит всю работу на нет.
Умолчание об исключении случаев, о которых спрашивал рецензент. Удаление неудобных строк без упоминания об этом хуже, чем первоначальная проблема. Сформулируйте правило и представьте оба результата.
Разное округление в письме и в таблице. Выберите точность, требуемую вашим руководством по стилю, и применяйте ее везде. В нашей заметке о статистической значимости подробно описано, о чем говорят и о чем не говорят эти значения.
Восприятие просьбы о ясности как требования сделать больше. Иногда график просто нечитаем. Наше руководство по созданию графиков для научной статьи посвящено вопросам форматирования.
Заключение
Разбивайте каждое замечание на конкретные задачи анализа, запускайте их заново, чтобы были видны обе версии, и ведите один журнал, связывающий каждый ответ с местом в рукописи. Такая структура выдержит и второй раунд.
Самая затратная часть — это не статистика. Это восстановление анализа, который вы больше не можете запустить заново, в условиях дедлайна, установленного кем-то другим.
Если именно на этом этапе ваши доработки заходят в тупик, попробуйте Powerdrill Bloom на наборе данных, лежащем в основе статьи. См. также наше руководство по проверке данных перед отправкой статьи и страницу научных статей.
Часто задаваемые вопросы
Как структурировать ответ на замечания рецензентов о данных?
Придерживайтесь нумерации самого рецензента и для каждого пункта указывайте проведенный вами анализ, результат и место, где изменилась рукопись. PLOS ONE просит авторов отвечать на конкретные замечания каждого рецензента и перечислять внесенные изменения.
Нужно ли мне заново запускать весь анализ, если рецензент ставит под сомнение один результат?
Обычно нет. Большинство запросов касаются одного теста, одного правила исключения или одного рисунка, поэтому работа представляет собой точечный повторный запуск, а не новое исследование.
Что делать, если я не согласен с рецензентом по поводу статистики?
Отвечайте анализом, а не мнением. Запустите то, о чем они просили, сообщите результат, а затем объясните, почему ваш первоначальный выбор остается в силе, если это так.
Как правильно представить измененные статистические данные?
Следуйте вашему целевому руководству по стилю, а не настройкам по умолчанию в электронных таблицах. Стиль APA предписывает использовать два десятичных знака для таких значений, как t, F и корреляции, а все, что ниже .001, записывать как p < .001.
Какие файлы обычно требуются при доработке?
В PLOS ONE их три: ответ рецензентам, размеченная рукопись с изменениями в режиме Track Changes и чистая копия. Проверьте требования вашего журнала, так как они могут отличаться.