Cách phản hồi ý kiến của người phản biện về dữ liệu của bạn (Mà không cần làm lại tất cả)
Hầu hết các ý kiến phản biện về dữ liệu đều yêu cầu một trong bốn điều: một kiểm định khác, một đánh giá độ nhạy, một lời giải thích cho các trường hợp bị loại trừ, hoặc một biểu đồ rõ ràng hơn. Không có điều nào trong số bốn điều này yêu cầu bạn phải chạy lại toàn bộ nghiên cứu của mình. Cả bốn điều đều chỉ đòi hỏi bạn quay lại tập dữ liệu với một câu hỏi cụ thể.
Phần khó khăn không nằm ở khía cạnh thống kê. Mà là ở chỗ mỗi yêu cầu đều phải được chuyển hóa thành một phân tích cụ thể, một con số cụ thể, và một câu văn mà người đọc có thể kiểm chứng được.
Hướng dẫn này sẽ giải thích lý do tại sao giai đoạn này thường bị đình trệ, ba phương pháp mọi người thường dùng, và giới hạn của từng phương pháp. Đây là một quy trình làm việc với dữ liệu, không phải lời khuyên xuất bản, vì vậy hãy tuân thủ các hướng dẫn riêng của tạp chí mục tiêu của bạn.
Tại sao các ý kiến phản biện về dữ liệu lại khó trả lời
Vấn đề đầu tiên là việc diễn dịch. Người phản biện chỉ viết một câu, nhưng nó lại mở rộng thành nhiều phân tích riêng biệt.
"Vui lòng xác nhận kết quả không bị ảnh hưởng bởi các giá trị ngoại lai" chỉ là một dòng ngắn ngủi. Nhưng để trả lời nó, bạn phải định nghĩa quy tắc xác định giá trị ngoại lai, chạy lại mô hình khi có và không có các trường hợp đó, rồi báo cáo cả hai kết quả.
Vấn đề thứ hai là phân tích ban đầu hiếm khi có thể tái lập ngay lập tức khi cần. Nó tồn tại dưới dạng một bảng tính với các bộ lọc thủ công, một biểu đồ được dựng từ một vùng dữ liệu không còn khớp nữa, và những bước thực hiện không ai ghi chép lại. Mở lại nó sau vài tháng giống như một cuộc khảo cổ.
Vấn đề thứ ba là việc đối chiếu sổ sách. PLOS ONE yêu cầu ba tệp riêng biệt khi nộp bản sửa đổi: một tài liệu phản hồi, một bản thảo có đánh dấu thay đổi bằng Track Changes, và một bản thảo sạch. Mọi con số đều phải thống nhất trên cả ba tài liệu này.
Vấn đề thứ tư là việc tự mở rộng phạm vi câu trả lời của chính bạn. Các ý kiến phản biện thường vô tình gợi ý một phân tích rộng hơn mức cần thiết, và một bản sửa đổi phát sinh thêm các phần mới sẽ dễ kéo theo những phản bác mới.
Có một cái bẫy ngầm trong quy trình đó. PLOS quy định rằng các biểu đồ và thông tin hỗ trợ từ lần nộp đầu tiên sẽ tự động được chuyển sang bản sửa đổi. Chúng được giữ nguyên "trừ khi bạn chọn cập nhật và thay thế chúng". Nếu bạn tạo lại một biểu đồ nhưng quên thay thế nó, biểu đồ cũ vẫn sẽ được xuất bản.
Những tổn thất bạn phải gánh chịu
Một vòng phản biện thứ hai lẽ ra có thể tránh được. Những câu trả lời nửa vời sẽ lại kéo theo cùng một câu hỏi. Một người phản biện hỏi về các giá trị ngoại lai nhưng chỉ nhận được một đoạn văn không có số liệu chắc chắn sẽ hỏi lại lần thứ hai.
Mất nhiều tuần chờ đợi chỉ cho vài giờ phân tích. Sự chậm trễ hiếm khi nằm ở việc tính toán. Mà là ở việc dựng lại những gì bảng tính ban đầu đã làm trước khi bạn có thể thay đổi bất cứ điều gì.
Sự mâu thuẫn giữa thư phản hồi và bản thảo. Thư phản hồi ghi hệ số đã đổi thành 0.31, nhưng bảng số liệu vẫn ghi là 0.34, và chỉ một trong hai tài liệu được cập nhật. Đây là lý do phổ biến nhất khiến bản sửa đổi bị đánh giá là cẩu thả.
Một bản sửa đổi được đánh giá dựa trên việc biên tập viên có thể theo dõi các thay đổi của bạn mà không cần phải tính toán lại hay không.
Những giải pháp tạm thời mọi người thường thử
Tùy chọn 1: Chuyển mỗi ý kiến phản biện thành một danh sách phân tích được đánh số
Trước khi chạm vào dữ liệu, hãy chia nhỏ từng ý kiến phản biện thành các kết quả đầu ra cụ thể mà nó yêu cầu. Một ý kiến phản biện thường tạo ra ba đầu việc.
Hãy đánh số chúng sao cho khớp với số thứ tự của người phản biện, vì đó là những gì tài liệu phản hồi cần phải đối chiếu. PLOS yêu cầu các tác giả "giải quyết các điểm cụ thể do từng người phản biện đưa ra" và liệt kê các thay đổi đã thực hiện.
Đây là thói quen mang lại giá trị cao nhất và chỉ mất một giờ thực hiện. Tuy nhiên, bản thân nó không giúp các phân tích diễn ra nhanh hơn.
Tùy chọn 2: Xây dựng lại phân tích để có thể chạy lại dễ dàng
Thay vì chỉnh sửa bảng tính ban đầu, hãy xây dựng lại phép tính với quy tắc loại trừ nằm trong một ô thay vì trong bộ lọc. Khi đó, việc thay đổi quy tắc sẽ tự động thay đổi kết quả.
Đối với các yêu cầu phổ biến, các hàm có sẵn là đã đủ. T.TEST trả về trực tiếp giá trị p, với đối số loại kiểm định cho phép chọn bắt cặp (paired), phương sai bằng nhau (equal-variance) hoặc phương sai khác nhau (unequal-variance). QUARTILE cung cấp cho bạn các ranh giới cho quy tắc ngoại lai dựa trên khoảng tứ phân vị, và CORREL đáp ứng yêu cầu tính toán tương quan.
Hãy báo cáo các số liệu đã sửa đổi theo hướng dẫn định dạng (style guide) của bạn thay vì theo mặc định của bảng tính. Hướng dẫn thống kê APA quy định lấy hai chữ số thập phân cho t, F và các hệ số tương quan, đồng thời viết bất kỳ giá trị nào dưới .001 thành p < .001. Hướng dẫn của chúng tôi về báo cáo số liệu thống kê theo định dạng APA sẽ trình bày phần còn lại.
Giới hạn ở đây là công sức. Việc xây dựng lại mất nhiều thời gian hơn so với lần xây dựng ban đầu, và nó lại diễn ra dưới áp lực của thời hạn nộp bài.
Tùy chọn 3: Ghi nhật ký thay đổi bên cạnh thư phản hồi
Duy trì một bảng gồm bốn cột: ý kiến phản biện, những gì bạn đã chạy, kết quả, và vị trí trong bản thảo mà bạn đã chỉnh sửa. Hãy điền vào bảng này trong quá trình làm việc thay vì để đến sau cùng.
Đây chính là cách giúp phát hiện sự bất nhất giữa thư phản hồi và bảng số liệu. Đây cũng là tài liệu để bạn tham khảo khi vòng phản biện thứ hai hỏi về vòng phản biện thứ nhất.
Hạn chế ở đây nằm ở tính kỷ luật hơn là khả năng thực hiện. Nhật ký này thường bị bỏ dở ngay khi thời hạn nộp bài cận kề và đó lại là lúc cần đến nó nhất.
Giới hạn chung. Cả ba phương pháp đều giả định rằng tập dữ liệu vẫn ở trạng thái bạn có thể phân tích được. Nếu tệp dữ liệu đã bị chỉnh sửa trực tiếp kể từ khi nộp bài, nhiệm vụ đầu tiên của bạn là phải khôi phục lại những gì bạn đã có ban đầu.
Cách phản hồi các ý kiến phản biện bằng Powerdrill Bloom
Bước 1: Tải lên tập dữ liệu của bài báo
Tải lên tệp dữ liệu đã được sử dụng trong phân tích đã nộp. Powerdrill Bloom sẽ phân tích sơ lược các cột ngay khi tải lên, giúp bạn thấy rõ các trường hợp loại trừ, các khối trống và sự không khớp về kiểu dữ liệu trước khi chạy lại bất kỳ thứ gì.
Bước 2: Yêu cầu từng phân tích bằng ngôn ngữ tự nhiên
Giải quyết từng ý kiến phản biện một. Yêu cầu thực hiện kiểm định mà người phản biện đã nêu tên, sau đó yêu cầu thực hiện chính kiểm định đó nhưng loại bỏ các trường hợp bị gắn cờ, để bạn có thể báo cáo cả hai kết quả.
Đưa ra các câu hỏi tiếp theo trong cùng một lượt. Hỏi xem những trường hợp nào nằm ngoài ranh giới khoảng tứ phân vị, và liệu kết luận có thay đổi khi loại bỏ chúng hay không. Sau đó, hỏi xem phân nhóm nào có cỡ mẫu quá nhỏ để có thể hỗ trợ cho một khẳng định.
Bước 3: Xuất biểu đồ, báo cáo hoặc slide trình chiếu
Xuất ra một biểu đồ thay thế, một bảng giá trị trước và sau khi thay đổi, hoặc một bản tóm tắt bằng văn bản mà bạn có thể đưa vào tài liệu phản hồi.
Tại sao cách này vượt trội hơn việc xây dựng lại phân tích bằng tay
| Lộ trình thủ công | Powerdrill Bloom | |
|---|---|---|
| Chạy lại kiểm định không có các trường hợp bị gắn cờ | Xây dựng lại vùng dữ liệu và công thức | Yêu cầu thực hiện theo cả hai cách |
| Đánh giá độ nhạy qua nhiều quy tắc khác nhau | Mỗi quy tắc một bản sao bảng tính | Lần lượt yêu cầu từng quy tắc |
| Tạo lại biểu đồ cho khớp | Dựng lại biểu đồ bằng tay | Yêu cầu biểu đồ đã cập nhật |
| Vòng phản biện thứ hai | Dựng lại công việc một lần nữa | Mở lại chính phiên làm việc đó |
Dòng cuối cùng là quan trọng nhất. Các bản sửa đổi thường trải qua nhiều vòng, và ở vòng thứ hai, những gì bạn tự xây dựng lại bằng tay thường đã bị lãng quên.
Các ý kiến phản biện ở vòng thứ hai cũng có xu hướng tham chiếu đến vòng thứ nhất. Việc có thể mở lại chính xác phân tích đó có giá trị hơn nhiều so với việc thực hiện nó nhanh hơn.
Các sai lầm phổ biến
Trả lời bằng văn xuôi không có số liệu. Một người phản biện hỏi về các giá trị ngoại lai muốn thấy hệ số khi có và không có chúng. Một đoạn văn trấn an suông sẽ bị coi là sự né tránh.
Chỉnh sửa trực tiếp trên tệp gốc. Bạn sẽ mất khả năng chỉ ra những gì đã thay đổi. Hãy làm việc trên một bản sao và giữ nguyên bản đã nộp.
Để thư phản hồi không khớp với bản thảo. Hãy cập nhật cả hai trong cùng một lúc, sau đó đối chiếu từng con số trong thư phản hồi với bảng số liệu gốc của nó.
Quên thay thế các biểu đồ đã được chuyển sang. Ở một số tạp chí, các biểu đồ cũ sẽ tự động được chuyển sang bản sửa đổi. Một bản sửa đổi chứa biểu đồ cũ sẽ làm đổ sông đổ bể mọi công sức của bạn.
Âm thầm loại bỏ các trường hợp mà người phản biện đã hỏi. Việc tự ý xóa các hàng dữ liệu bất lợi mà không thông báo còn tồi tệ hơn cả vấn đề ban đầu. Hãy nêu rõ quy tắc và báo cáo cả hai kết quả.
Làm tròn số khác nhau giữa thư phản hồi và bảng số liệu. Hãy chọn mức độ chính xác mà hướng dẫn định dạng yêu cầu và áp dụng thống nhất ở mọi nơi. Bài viết của chúng tôi về ý nghĩa thống kê sẽ giải thích những giá trị đó khẳng định và không khẳng định điều gì.
Coi yêu cầu làm rõ là yêu cầu bổ sung thêm. Đôi khi biểu đồ chỉ đơn giản là không thể đọc được. Hướng dẫn của chúng tôi về cách vẽ biểu đồ cho bài báo nghiên cứu sẽ giải quyết khía cạnh định dạng này.
Kết luận
Hãy chia nhỏ từng ý kiến phản biện thành các phân tích cụ thể, chạy lại chúng để hiển thị cả hai phiên bản, và duy trì một nhật ký liên kết mỗi câu trả lời với một vị trí trong bản thảo. Cấu trúc đó sẽ giúp bạn vượt qua vòng phản biện thứ hai.
Phần tốn kém nhất không phải là thống kê. Mà là việc dựng lại một phân tích mà bạn không còn có thể chạy lại được nữa, dưới một thời hạn do người khác đặt ra.
Nếu đó là nơi các bản sửa đổi của bạn bị đình trệ, hãy dùng thử Powerdrill Bloom trên tập dữ liệu của bài báo. Xem thêm hướng dẫn của chúng tôi về kiểm tra dữ liệu trước khi nộp bài và trang bài báo học thuật.
Câu hỏi thường gặp
Tôi nên cấu trúc câu trả lời cho các ý kiến phản biện về dữ liệu như thế nào?
Hãy đối chiếu theo đúng số thứ tự của người phản biện, và cung cấp cho từng điểm phân tích bạn đã chạy, kết quả, và vị trí thay đổi trong bản thảo. PLOS ONE yêu cầu các tác giả giải quyết các điểm cụ thể do từng người phản biện đưa ra và liệt kê các thay đổi đã thực hiện.
Tôi có cần chạy lại toàn bộ phân tích khi người phản biện nghi ngờ một kết quả không?
Thường là không. Hầu hết các yêu cầu đều nhắm vào một kiểm định, một quy tắc loại trừ hoặc một biểu đồ cụ thể, vì vậy công việc chỉ là chạy lại có mục tiêu chứ không phải là một nghiên cứu mới hoàn toàn.
Tôi phải làm sao nếu không đồng ý với người phản biện về số liệu thống kê?
Hãy trả lời bằng phân tích thực tế thay vì ý kiến cá nhân. Hãy chạy những gì họ yêu cầu, báo cáo kết quả, và sau đó giải thích lý do tại sao lựa chọn ban đầu của bạn vẫn hợp lý (nếu có).
Làm thế nào để báo cáo một số liệu thống kê đã sửa đổi một cách chính xác?
Hãy tuân theo hướng dẫn định dạng mục tiêu của bạn thay vì mặc định của bảng tính. Định dạng APA quy định lấy hai chữ số thập phân cho các giá trị như t, F và các hệ số tương quan, đồng thời viết bất kỳ giá trị nào dưới .001 thành p < .001.
Một bản sửa đổi thường yêu cầu những tệp nào?
Tại PLOS ONE, yêu cầu gồm ba tệp: một thư phản hồi người phản biện, một bản thảo có đánh dấu các thay đổi qua Track Changes, và một bản thảo sạch. Hãy kiểm tra tạp chí của bạn, vì các yêu cầu có thể khác nhau.