วิธีตอบกลับข้อคิดเห็นของผู้ประเมินเกี่ยวกับข้อมูลของคุณ (โดยไม่ต้องทำใหม่ทั้งหมด)

ความคิดเห็นส่วนใหญ่ของผู้ประเมินเกี่ยวกับข้อมูลมักจะขอสิ่งใดสิ่งหนึ่งใน 4 อย่างนี้ ได้แก่ การทดสอบแบบอื่น, การตรวจสอบความไว (sensitivity check), คำอธิบายเกี่ยวกับกรณีที่ถูกคัดออก หรือรูปภาพที่ชัดเจนขึ้น ซึ่งไม่มีข้อใดใน 4 อย่างนี้ที่กำหนดให้คุณต้องรันการศึกษาใหม่ทั้งหมด แต่ทั้ง 4 อย่างล้วนต้องการให้คุณกลับไปดูชุดข้อมูลเดิมพร้อมกับคำถามที่เฉพาะเจาะจง

ส่วนที่ยากไม่ใช่เรื่องของสถิติ แต่เป็นเรื่องที่ว่าคำขอแต่ละข้อจะต้องถูกแปลงไปสู่การวิเคราะห์ที่เป็นรูปธรรม ตัวเลขที่เป็นรูปธรรม และประโยคที่ผู้อ่านสามารถตรวจสอบได้

คู่มือนี้จะครอบคลุมถึงสาเหตุที่ขั้นตอนนี้นิ่งชะงัก, 3 แนวทางที่ผู้คนนิยมใช้ และข้อจำกัดของแต่ละแนวทาง นี่คือกระบวนการทำงานของข้อมูล (data workflow) ไม่ใช่คำแนะนำในการตีพิมพ์ ดังนั้นโปรดปฏิบัติตามคำแนะนำของวารสารเป้าหมายของคุณเอง

ทำไมความคิดเห็นของผู้ประเมินเกี่ยวกับข้อมูลถึงตอบได้ยาก

ปัญหาแรกคือการตีความ ผู้ประเมินเขียนเพียงประโยคเดียว แต่อาจขยายผลไปสู่การวิเคราะห์แยกย่อยอีกหลายรายการ

"โปรดตรวจสอบให้แน่ใจว่าผลลัพธ์ไม่ได้ถูกขับเคลื่อนโดยค่าผิดปกติ (outliers)" เป็นเพียงข้อความบรรทัดเดียว แต่การตอบคำถามนี้หมายถึงการกำหนดเกณฑ์สำหรับค่าผิดปกติ, การรันโมเดลใหม่ทั้งแบบที่มีและไม่มีกรณีเหล่านั้น และรายงานผลลัพธ์ทั้งสองแบบ

ปัญหาที่สองคือ การวิเคราะห์ต้นฉบับมักจะนำกลับมาทำซ้ำได้ยากเมื่อต้องการ มันอาจอยู่ในรูปแบบของเวิร์กบุ๊กที่มีการกรองข้อมูลด้วยตนเอง (manual filters), แผนภูมิที่สร้างจากช่วงข้อมูลที่ไม่ตรงกันอีกต่อไป และขั้นตอนที่ไม่มีใครบันทึกไว้ การเปิดมันขึ้นมาอีกครั้งในอีกหลายเดือนต่อมาจึงไม่ต่างอะไรกับงานโบราณคดี

ปัญหาที่สามคือการจัดการเอกสาร PLOS ONE กำหนดให้ส่งไฟล์แยกกัน 3 ไฟล์เมื่อมีการแก้ไข ได้แก่ เอกสารชี้แจงการแก้ไข (response document), สำเนาที่แสดงการแก้ไขโดยใช้ Track Changes และสำเนาฉบับแก้ไขที่สมบูรณ์ (clean copy) ซึ่งตัวเลขทุกตัวในทั้ง 3 ไฟล์จะต้องตรงกันทั้งหมด

ปัญหาที่สี่คือการขยายขอบเขตของคำตอบโดยไม่จำเป็น (scope creep) ความคิดเห็นของผู้ประเมินมักจะชักจูงให้เราทำการวิเคราะห์ที่กว้างเกินกว่าที่ขอ และการแก้ไขบทความที่มีการเพิ่มหัวข้อใหม่ๆ เข้ามาก็อาจนำไปสู่ข้อโต้แย้งใหม่ๆ ได้เช่นกัน

มีกับดักเงียบๆ ซ่อนอยู่ในกระบวนการนั้น PLOS ระบุว่ารูปภาพและข้อมูลสนับสนุนจากการส่งผลงานครั้งแรกจะถูกโอนย้ายโดยอัตโนมัติ โดยจะถูกส่งต่อไป "เว้นแต่คุณจะเลือกอัปเดตและแทนที่ข้อมูลเหล่านั้น" หากคุณสร้างรูปภาพขึ้นมาใหม่แต่ลืมนำไปแทนที่ รูปภาพเก่าก็จะถูกส่งไปแทน

สิ่งที่คุณต้องสูญเสีย

การประเมินรอบที่สองที่คุณสามารถหลีกเลี่ยงได้ การตอบคำถามแบบไม่ครบถ้วนจะทำให้เกิดคำถามเดิมซ้ำอีก ผู้ประเมินที่ถามเกี่ยวกับค่าผิดปกติ (outliers) แต่ได้รับคำตอบเป็นย่อหน้าอธิบายที่ไม่มีตัวเลขประกอบ จะต้องถามซ้ำเป็นครั้งที่สองอย่างแน่นอน

เวลาหลายสัปดาห์ที่เสียไปกับการวิเคราะห์เพียงไม่กี่ชั่วโมง ความล่าช้ามักไม่ได้เกิดจากการคำนวณ แต่เกิดจากการต้องย้อนกลับไปทำความเข้าใจว่าเวิร์กบุ๊กต้นฉบับทำงานอย่างไร ก่อนที่คุณจะสามารถแก้ไขอะไรได้

ความไม่สอดคล้องกันระหว่างจดหมายชี้แจงและต้นฉบับ ในจดหมายชี้แจงระบุว่าค่าสัมประสิทธิ์เปลี่ยนเป็น 0.31 แต่ในตารางยังคงแสดงเป็น 0.34 เนื่องจากมีการอัปเดตเพียงอย่างใดอย่างหนึ่ง นี่คือสาเหตุที่พบบ่อยที่สุดที่ทำให้งานเขียนที่แก้ไขแล้วดูเหมือนขาดความรอบคอบ

การพิจารณาบทความที่แก้ไขแล้วจะขึ้นอยู่กับว่าบรรณาธิการสามารถติดตามการเปลี่ยนแปลงของคุณได้โดยไม่ต้องคำนวณใหม่ทั้งหมดหรือไม่

วิธีการแก้ปัญหาที่ผู้คนนิยมใช้

ทางเลือกที่ 1: เปลี่ยนแต่ละความคิดเห็นให้เป็นรายการวิเคราะห์ที่มีการใส่หมายเลข

ก่อนที่จะแตะต้องข้อมูล ให้แยกแต่ละความคิดเห็นออกเป็นผลลัพธ์เฉพาะเจาะจงที่ต้องใช้ ความคิดเห็นเพียงข้อเดียวมักจะแตกย่อยออกมาได้ถึง 3 รายการ

ใส่หมายเลขให้ตรงกับหมายเลขของผู้ประเมิน เพราะนั่นคือสิ่งที่เอกสารชี้แจงการแก้ไขต้องสะท้อนให้เห็น PLOS กำหนดให้ผู้เขียน "ตอบคำถามในประเด็นเฉพาะเจาะจงที่ผู้ประเมินแต่ละคนระบุไว้" และแสดงรายการการเปลี่ยนแปลงที่เกิดขึ้น

นี่คือนิสัยที่มีคุณค่ามากที่สุดและใช้เวลาเพียงไม่ถึงชั่วโมง แต่มันไม่ได้ช่วยให้การวิเคราะห์เร็วขึ้นแต่อย่างใด

ทางเลือกที่ 2: สร้างการวิเคราะห์ใหม่เพื่อให้สามารถรันซ้ำได้ง่าย

แทนที่จะแก้ไขเวิร์กบุ๊กเดิม ให้สร้างการคำนวณใหม่โดยใส่เกณฑ์การคัดออก (exclusion rule) ไว้ในเซลล์แทนที่จะใส่ไว้ในตัวกรอง (filter) เพื่อที่ว่าเมื่อเปลี่ยนเกณฑ์ ผลลัพธ์ก็จะเปลี่ยนตามโดยอัตโนมัติ

สำหรับคำขอทั่วไป ฟังก์ชันพื้นฐานก็เพียงพอแล้ว T.TEST จะส่งคืนค่า p-value โดยตรง โดยมีอาร์กิวเมนต์ประเภทให้เลือกทั้งแบบจับคู่ (paired), ความแปรปรวนเท่ากัน (equal-variance) หรือความแปรปรวนไม่เท่ากัน (unequal-variance) ส่วน QUARTILE จะช่วยกำหนดขอบเขตสำหรับเกณฑ์ค่าผิดปกติแบบอินเตอร์ควอไทล์ (interquartile outlier rule) และ CORREL จะครอบคลุมการหาค่าสหสัมพันธ์ที่ต้องการ

รายงานตัวเลขที่แก้ไขตามคู่มือรูปแบบการเขียน (style guide) ของคุณ แทนที่จะใช้ค่าเริ่มต้นของสเปรดชีต โดย APA statistics guide กำหนดให้ใช้ทศนิยม 2 ตำแหน่งสำหรับค่า t, F และค่าสหสัมพันธ์ และเขียนค่าใดๆ ที่ต่ำกว่า .001 เป็น p < .001 ส่วนคู่มือของเราเกี่ยวกับการรายงานสถิติในรูปแบบ APA จะครอบคลุมส่วนที่เหลือทั้งหมด

ข้อจำกัดคือความพยายาม การสร้างระบบการวิเคราะห์ขึ้นมาใหม่ใช้เวลานานกว่าการสร้างครั้งแรก และมักจะต้องทำภายใต้กำหนดเวลาที่กระชั้นชิด

ทางเลือกที่ 3: บันทึกประวัติการเปลี่ยนแปลง (change log) ควบคู่ไปกับจดหมายชี้แจง

จัดทำตารางที่มี 4 คอลัมน์ ได้แก่ ความคิดเห็น, สิ่งที่คุณรัน, ผลลัพธ์ และตำแหน่งในต้นฉบับที่คุณแก้ไข โดยให้กรอกข้อมูลนี้ไปพร้อมๆ กับการทำงาน แทนที่จะมาทำทีหลัง

วิธีนี้จะช่วยป้องกันความไม่สอดคล้องกันระหว่างจดหมายชี้แจงและตารางข้อมูล และยังเป็นสิ่งที่คุณสามารถใช้อ้างอิงได้เมื่อมีการประเมินรอบที่สองที่ถามถึงรอบแรก

ข้อจำกัดของวิธีนี้คือเรื่องของวินัยไม่ใช่ความสามารถ เพราะบันทึกนี้มักจะถูกละเลยเมื่อกำหนดเวลาใกล้เข้ามา ซึ่งเป็นช่วงเวลาที่จำเป็นต้องใช้มันมากที่สุด

ข้อจำกัดร่วมกัน ทั้ง 3 แนวทางนี้ตั้งอยู่บนสมมติฐานที่ว่าชุดข้อมูลยังอยู่ในสถานะที่คุณสามารถนำมาวิเคราะห์ได้ หากไฟล์ถูกแก้ไขทับไปแล้วตั้งแต่ตอนส่งผลงาน งานแรกที่คุณต้องทำคือการกู้คืนข้อมูลเดิมที่คุณเคยมีกลับมาให้ได้

วิธีตอบความคิดเห็นของผู้ประเมินด้วย Powerdrill Bloom

ขั้นตอนที่ 1: อัปโหลดชุดข้อมูลที่ใช้ในงานวิจัย

อัปโหลดไฟล์ที่ใช้ในการวิเคราะห์ที่ส่งไป Powerdrill Bloom จะวิเคราะห์ข้อมูลคอลัมน์ต่างๆ ทันทีที่อัปโหลด ดังนั้นคุณจะเห็นข้อมูลที่ถูกคัดออก, ช่องว่าง และประเภทข้อมูลที่ไม่ตรงกัน ก่อนที่คุณจะรันอะไรใหม่เสียอีก

ขั้นตอนที่ 2: สอบถามการวิเคราะห์ที่ต้องการด้วยภาษาธรรมชาติ

จัดการกับความคิดเห็นทีละข้อ โดยขอให้ระบบทำการทดสอบตามที่ผู้ประเมินระบุ จากนั้นขอให้ทำการทดสอบแบบเดียวกันโดยตัดกรณีที่ถูกทำเครื่องหมายไว้ออก เพื่อให้คุณสามารถรายงานผลลัพธ์ได้ทั้งสองแบบ

ถามคำถามติดตามผลในคราวเดียวกัน เช่น ถามว่ากรณีใดบ้างที่อยู่นอกขอบเขตอินเตอร์ควอไทล์ และข้อสรุปจะเปลี่ยนไปหรือไม่หากตัดกรณีเหล่านั้นออก จากนั้นถามว่ากลุ่มย่อยใดบ้างที่มีขนาดกลุ่มตัวอย่างเล็กเกินกว่าจะสนับสนุนข้อกล่าวอ้างได้

ขั้นตอนที่ 3: ส่งออกแผนภูมิ, รายงาน หรือสไลด์นำเสนอ

ดึงรูปภาพที่จะนำไปแทนที่, ตารางแสดงค่าก่อนและหลัง หรือบทสรุปที่เป็นลายลักษณ์อักษรที่คุณสามารถนำไปปรับใช้ในเอกสารชี้แจงการแก้ไขได้

ทำไมวิธีนี้ถึงดีกว่าการสร้างการวิเคราะห์ใหม่ด้วยตนเอง

	วิธีทำด้วยตนเอง	Powerdrill Bloom
การรันการทดสอบซ้ำโดยไม่มีกรณีที่ถูกทำเครื่องหมาย	สร้างช่วงข้อมูลและสูตรใหม่	ขอให้ระบบทำทั้งสองแบบ
การตรวจสอบความไวด้วยเกณฑ์หลายแบบ	คัดลอกเวิร์กบุ๊กหนึ่งไฟล์ต่อหนึ่งเกณฑ์	ขอให้ระบบทำตามแต่ละเกณฑ์ทีละข้อ
การสร้างรูปภาพใหม่ให้ตรงกัน	สร้างแผนภูมิใหม่ด้วยตนเอง	ขอแผนภูมิที่อัปเดตแล้ว
การประเมินรอบที่สอง	ต้องย้อนกลับไปทำความเข้าใจงานใหม่อีกครั้ง	เปิดเซสชันเดิมขึ้นมาใหม่

แถวสุดท้ายมีความสำคัญที่สุด การแก้ไขมักจะมาเป็นรอบๆ และในรอบที่สองนี้เองที่การสร้างงานใหม่ด้วยตนเองมักจะถูกลืมเลือนไปแล้ว

ความคิดเห็นของผู้ประเมินในรอบที่สองมักจะอ้างอิงถึงรอบแรก การที่คุณสามารถเปิดการวิเคราะห์เดิมที่แน่นอนขึ้นมาใหม่ได้จึงมีค่ามากกว่าการทำงานได้เร็วขึ้นเสียอีก

ข้อผิดพลาดที่พบบ่อย

การตอบเป็นความเรียงโดยไม่มีตัวเลขประกอบ ผู้ประเมินที่ถามเกี่ยวกับค่าผิดปกติ (outliers) ต้องการเห็นค่าสัมประสิทธิ์ทั้งแบบที่มีและไม่มีค่าเหล่านั้น การเขียนอธิบายเพียงย่อหน้าเดียวเพื่อสร้างความมั่นใจจะถูกมองว่าเป็นการหลีกเลี่ยงคำถาม

การแก้ไขทับไฟล์ต้นฉบับเดิม คุณจะสูญเสียความสามารถในการแสดงให้เห็นว่ามีอะไรเปลี่ยนแปลงไปบ้าง ดังนั้นควรทำงานบนไฟล์สำเนาและเก็บไฟล์เวอร์ชันที่ส่งไปครั้งแรกไว้ในสภาพเดิม

การปล่อยให้จดหมายชี้แจงไม่ตรงกับต้นฉบับ ควรอัปเดตทั้งสองส่วนพร้อมกันในการทำงานครั้งเดียว จากนั้นตรวจสอบตัวเลขทุกตัวในจดหมายชี้แจงเทียบกับตารางที่เป็นแหล่งที่มาของข้อมูล

การลืมแทนที่รูปภาพที่ถูกโอนย้ายมา วารสารบางแห่งจะโอนย้ายรูปภาพเก่ามาโดยอัตโนมัติ หากบทความที่แก้ไขแล้วยังคงมีแผนภูมิเดิมอยู่ งานที่คุณทำไปทั้งหมดก็จะสูญเปล่า

การแอบตัดกรณีที่ผู้ประเมินถามถึงออกไปเงียบๆ การลบแถวข้อมูลที่มีปัญหาออกโดยไม่แจ้งให้ทราบนั้นแย่ยิ่งกว่าปัญหาเดิมเสียอีก ควรระบุเกณฑ์ให้ชัดเจนและรายงานผลลัพธ์ทั้งสองแบบ

การปัดเศษทศนิยมในจดหมายชี้แจงและตารางไม่ตรงกัน เลือกความละเอียดของทศนิยมตามที่คู่มือรูปแบบการเขียนกำหนดและใช้ให้เหมือนกันทุกที่ บันทึกของเราเกี่ยวกับนัยสำคัญทางสถิติ (statistical significance) จะครอบคลุมถึงสิ่งที่ค่าเหล่านั้นอ้างสิทธิ์และไม่ได้อ้างสิทธิ์

การมองว่าคำขอความชัดเจนคือคำขอให้ทำเพิ่ม บางครั้งรูปภาพอาจจะแค่อ่านยากเท่านั้น คู่มือของเราเกี่ยวกับการสร้างแผนภูมิสำหรับงานวิจัย จะครอบคลุมในส่วนของการจัดรูปแบบ

บทสรุป

แยกแต่ละความคิดเห็นออกเป็นรายการวิเคราะห์ที่ระบุชื่อ รันการวิเคราะห์เหล่านั้นซ้ำเพื่อให้เห็นผลลัพธ์ทั้งสองเวอร์ชัน และเก็บบันทึกประวัติที่เชื่อมโยงทุกคำตอบเข้ากับตำแหน่งในต้นฉบับ โครงสร้างนี้จะช่วยให้คุณผ่านพ้นการประเมินรอบที่สองไปได้

ส่วนที่มีราคาแพงไม่ใช่เรื่องของสถิติ แต่เป็นการต้องย้อนกลับไปทำความเข้าใจการวิเคราะห์ที่คุณไม่สามารถรันซ้ำได้อีกต่อไป ภายใต้กำหนดเวลาที่คนอื่นเป็นผู้กำหนด

หากนั่นคือจุดที่ทำให้การแก้ไขบทความของคุณต้องหยุดชะงัก ลองใช้ Powerdrill Bloom กับชุดข้อมูลที่อยู่เบื้องหลังงานวิจัยของคุณ และสามารถดูคู่มือของเราเกี่ยวกับการตรวจสอบข้อมูลก่อนส่งบทความ รวมถึงหน้าเว็บเกี่ยวกับเอกสารทางวิชาการ (academic papers) ได้เช่นกัน

คำถามที่พบบ่อย

ฉันควรจัดโครงสร้างการตอบความคิดเห็นของผู้ประเมินเกี่ยวกับข้อมูลอย่างไร?

ใส่หมายเลขให้ตรงกับหมายเลขของผู้ประเมิน และระบุการวิเคราะห์ที่คุณรัน ผลลัพธ์ที่ได้ และตำแหน่งที่มีการแก้ไขในต้นฉบับสำหรับแต่ละประเด็น PLOS ONE กำหนดให้ผู้เขียนตอบคำถามในประเด็นเฉพาะเจาะจงที่ผู้ประเมินแต่ละคนระบุไว้ และแสดงรายการการเปลี่ยนแปลงที่เกิดขึ้น

ฉันจำเป็นต้องรันการวิเคราะห์ทั้งหมดใหม่หรือไม่เมื่อผู้ประเมินตั้งคำถามกับผลลัพธ์เพียงข้อเดียว?

โดยปกติแล้วไม่จำเป็น คำขอส่วนใหญ่มักจะมุ่งเป้าไปที่การทดสอบเพียงหนึ่งรายการ, เกณฑ์การคัดออกเพียงข้อเดียว หรือรูปภาพเพียงรูปเดียว ดังนั้นงานที่ต้องทำจึงเป็นการรันซ้ำเฉพาะจุดมากกว่าการเริ่มทำการศึกษาใหม่ทั้งหมด

จะทำอย่างไรดีหากฉันไม่เห็นด้วยกับผู้ประเมินในเรื่องสถิติ?

ให้ตอบด้วยผลการวิเคราะห์แทนที่จะเป็นความคิดเห็นส่วนตัว รันการวิเคราะห์ตามที่พวกเขาขอ รายงานผลลัพธ์ที่ได้ จากนั้นจึงอธิบายว่าทำไมทางเลือกเดิมของคุณยังคงเหมาะสมกว่า (หากเป็นเช่นนั้นจริง)

ฉันจะรายงานสถิติที่แก้ไขแล้วอย่างถูกต้องได้อย่างไร?

ปฏิบัติตามคู่มือรูปแบบการเขียนของวารสารเป้าหมายแทนที่จะใช้ค่าเริ่มต้นของสเปรดชีต รูปแบบ APA กำหนดให้ใช้ทศนิยม 2 ตำแหน่งสำหรับค่าต่างๆ เช่น t, F และค่าสหสัมพันธ์ และเขียนค่าใดๆ ที่ต่ำกว่า .001 เป็น p < .001

โดยทั่วไปแล้วการส่งบทความที่แก้ไขแล้วต้องใช้ไฟล์อะไรบ้าง?

สำหรับ PLOS ONE จะต้องใช้ 3 ไฟล์ ได้แก่ จดหมายชี้แจงการแก้ไขต่อผู้ประเมิน, ต้นฉบับที่แสดงการแก้ไขผ่าน Track Changes และสำเนาฉบับแก้ไขที่สมบูรณ์ ทั้งนี้โปรดตรวจสอบกับวารสารของคุณเอง เนื่องจากข้อกำหนดอาจแตกต่างกันไป