Cách tìm giá trị ngoại lệ trong tập dữ liệu mà không cần viết code (Hướng dẫn 2026)
Bạn có thể tìm các giá trị ngoại lệ mà không cần viết mã bằng cách sử dụng quy tắc IQR, z-score hoặc biểu đồ hộp — cả ba phương pháp này đều hoạt động trên bảng tính. Quy tắc IQR gắn cờ các giá trị vượt quá 1.5 lần khoảng tứ phân vị ngoài các tứ phân vị; z-score gắn cờ các giá trị cách số trung bình hơn ba lần độ lệch chuẩn. Chúng thường không thống nhất với nhau, và hiểu được lý do tại sao mới là kỹ năng thực sự.
Tìm ra giá trị ngoại lệ mới chỉ là một nửa dễ dàng của vấn đề. Quyết định xử lý nó như thế nào mới là nửa quyết định tính trung thực trong phân tích của bạn, và không có phương pháp nào có thể trả lời thay bạn điều đó.
Hướng dẫn này sẽ giải thích lý do tại sao hai phương pháp tiêu chuẩn lại không thống nhất với nhau và ba cách để phát hiện các giá trị ngoại lệ mà không cần viết mã. Sau đó, hướng dẫn sẽ chỉ ra cách quyết định xem một giá trị ngoại lệ nên bị loại bỏ, giữ lại hay báo cáo riêng biệt.
Tại sao xử lý giá trị ngoại lệ lại khó hơn việc "chỉ cần xóa chúng đi"
Hai phương pháp tiêu chuẩn vốn dĩ đã khác nhau về mặt thiết kế
Quy tắc IQR hoạt động dựa trên các tứ phân vị, vốn mang tính vị trí. Nó không quan tâm một giá trị cực đoan đến mức nào, mà chỉ quan tâm đến vị trí của giá trị đó trong thứ tự đã sắp xếp. Điều này giúp nó không bị bóp méo bởi chính các giá trị ngoại lệ mà nó đang tìm kiếm.
Z-score hoạt động dựa trên số trung bình và độ lệch chuẩn, và cả hai chỉ số này đều bị kéo theo bởi các giá trị cực đoan. Một giá trị cực lớn sẽ làm thổi phồng độ lệch chuẩn, từ đó làm giảm mọi z-score — bao gồm cả z-score của chính nó. Trên một tập dữ liệu nhỏ, một giá trị ngoại lệ cực đoan duy nhất có thể tự ẩn mình theo cách này.
Đó là lý do tại sao cùng một cột có thể hiển thị bốn giá trị ngoại lệ theo IQR nhưng chỉ có một theo z-score. Các phương pháp này không hề mâu thuẫn; chúng chỉ đo lường những thứ khác nhau.
Quyết định này không mang tính thống kê
Một giao dịch trị giá $2 million trong một tệp gồm các đơn hàng $200 sẽ bị mọi phương pháp gắn cờ. Việc có nên loại bỏ nó hay không phụ thuộc vào những thực tế mà không phương pháp nào có thể tiếp cận được.
Nếu đó là lỗi nhập liệu với dấu thập phân bị đặt sai vị trí, hãy xóa nó đi. Nếu đó là một thương vụ doanh nghiệp thực sự, việc xóa nó sẽ loại bỏ khách hàng quan trọng nhất của bạn khỏi phân tích. Nếu đó là một giao dịch thử nghiệm mà ai đó quên xóa, hãy loại bỏ nó và kiểm tra các giao dịch khác. Ba hành động khác nhau cho cùng một cảnh báo giống hệt nhau.
Hình dạng phân phối phá vỡ các giả định
Cả hai phương pháp tiêu chuẩn đều giả định dữ liệu có hình dạng gần giống hình chuông. Thu nhập, lượt xem trang, giá trị đơn hàng và thời lượng phiên thường bị lệch với phần đuôi dài bên phải, nơi các giá trị cao là bình thường chứ không phải là ngoại lệ.
Áp dụng quy tắc z-score cho loại cột đó và bạn sẽ gắn cờ một phần đáng kể dữ liệu hoàn toàn bình thường. Cách khắc phục là kiểm tra hình dạng phân phối trước, và cân nhắc chuyển đổi logarit hoặc sử dụng điểm cắt dựa trên phân vị để thay thế.
Những tổn thất bạn phải gánh chịu
Các giá trị trung bình không mô tả ai cả. Một giá trị cực đoan duy nhất có thể làm thay đổi số trung bình đủ để nó nằm ngoài phạm vi thực tế của hầu hết dữ liệu của bạn. Các quyết định lại được đưa ra dựa trên con số đó.
Biểu đồ với trục không thể đọc được. Một giá trị lớn gấp mười lần các giá trị còn lại sẽ nén mọi thứ khác thành một đường phẳng sát đáy. Biểu đồ này đúng về mặt kỹ thuật nhưng không truyền tải được thông tin gì.
Âm thầm xóa dữ liệu. Kết quả tồi tệ nhất là ai đó âm thầm xóa các hàng không thuận tiện trước khi chia sẻ tệp. Không ai ở các bước sau biết rằng dữ liệu gốc đã thay đổi, và kết quả không thể được tái lập.
Ba cách để tìm giá trị ngoại lệ mà không cần viết mã
Tùy chọn 1: Quy tắc IQR
Sử dụng QUARTILE để lấy tứ phân vị thứ nhất và thứ ba, sau đó trừ đi để có được khoảng tứ phân vị. Gắn cờ bất kỳ giá trị nào dưới Q1 trừ 1.5 × IQR hoặc trên Q3 cộng 1.5 × IQR.
Đây là lựa chọn mặc định vì một lý do: nó có khả năng chống lại các giá trị cực đoan và không cần giả định về phân phối. Trên dữ liệu bị lệch nhiều, nó vẫn gắn cờ quá mức ở phần đuôi bên phải, vì vậy hãy kiểm tra hình dạng phân phối trước khi tin tưởng vào số lượng đếm được.
Tùy chọn 2: Z-score
Tính số trung bình và độ lệch chuẩn bằng STDEV.P, sau đó tính xem mỗi giá trị cách số trung bình bao nhiêu lần độ lệch chuẩn. Vượt quá ba lần thường là ngưỡng tiêu chuẩn.
Phương pháp này hoạt động tốt trên dữ liệu gần như đối xứng và cung cấp cho bạn một mức độ lớn thay vì chỉ là gắn cờ đúng/sai, điều này rất hữu ích cho việc xếp hạng. Nó không đáng tin cậy trên các mẫu nhỏ và trên các cột bị lệch.
Tùy chọn 3: Biểu đồ hộp
Vẽ cột dưới dạng biểu đồ hộp và đọc các điểm nằm ngoài các đường râu. Biểu đồ hộp của Excel sử dụng cùng quy ước 1.5 × IQR, vì vậy kết quả sẽ khớp với Tùy chọn 1. Sự khác biệt là bạn có thể nhìn thấy hình dạng phân phối cùng một lúc.
Đây là cách nhanh nhất để kiểm tra xem hai phương pháp kia có thực sự phù hợp hay không. Nếu chiếc hộp nằm sát về một phía với phần đuôi dài, hãy nghi ngờ bất kỳ quy tắc ngưỡng nào.
Nơi cả ba phương pháp đều chạm cùng một giới hạn
Mỗi phương pháp trả về một danh sách các hàng bị gắn cờ. Không có phương pháp nào cho bạn biết cờ nào là lỗi, cờ nào là giá trị cực đoan thực sự, và cờ nào chỉ đơn giản là do cột bị lệch chứ không phải do dữ liệu "bẩn".
Để trả lời câu hỏi đó, bạn cần xem xét các hàng bị gắn cờ trong ngữ cảnh cụ thể. Những thông tin khác trên hàng đó là gì. Liệu chúng có tập trung vào một khoảng thời gian hoặc một hệ thống nguồn hay không. Liệu cùng một khách hàng có xuất hiện lặp đi lặp lại hay không. Đó là quá trình điều tra, chứ không phải tính toán, và đó mới là nơi thực sự tiêu tốn thời gian.
Cách tìm giá trị ngoại lệ bằng Powerdrill Bloom
Bước 1: Tải lên dữ liệu của bạn
Tải lên tệp Excel hoặc CSV. Powerdrill Bloom sẽ phân tích sơ lược từng cột ngay khi tải lên, nhờ đó hình dạng phân phối và các giá trị cực đoan sẽ hiển thị trước khi bạn chọn phương pháp phát hiện.
Bước 2: Mô tả yêu cầu kiểm tra bằng ngôn ngữ tự nhiên
Hỏi trực tiếp: gắn cờ các giá trị nằm ngoài 1.5 lần khoảng tứ phân vị trong cột này, sau đó hiển thị cho tôi các hàng đầy đủ để tôi có thể xem ngữ cảnh. Tiếp tục với các câu hỏi thực sự giúp đưa ra quyết định. Liệu các hàng bị gắn cờ có tập trung theo ngày hoặc nguồn hay không, liệu cùng một mã định danh có lặp lại hay không, và các số liệu thống kê tóm tắt thay đổi như thế nào nếu loại trừ chúng.
Bước 3: Xuất biểu đồ, báo cáo hoặc bản trình bày
Xuất biểu đồ hộp, bảng các hàng bị gắn cờ cùng ngữ cảnh của chúng, hoặc một ghi chú bằng văn bản ghi lại những hàng nào đã bị loại trừ và lý do tại sao.
Tại sao cách này vượt trội hơn so với việc phát hiện thủ công
| Phương pháp bảng tính | Powerdrill Bloom | |
|---|---|---|
| So sánh kết quả IQR và z-score | Hai bộ công thức, đối chiếu thủ công | Yêu cầu cả hai |
| Xem ngữ cảnh xung quanh giá trị bị gắn cờ | Lọc và cuộn | Được trả về cùng với hàng |
| Kiểm tra hình dạng phân phối trước | Xây dựng biểu đồ tần suất (histogram) | Được phân tích sơ lược khi tải lên |
| Kiểm tra tác động của việc loại trừ | Nhân bản trang tính | Yêu cầu cả hai phiên bản |
Hàng cuối cùng là quan trọng nhất. Cách trung thực nhất để xử lý một giá trị ngoại lệ mơ hồ là báo cáo kết quả khi có và không có nó. Hãy để người đọc thấy liệu kết luận có phụ thuộc vào một hàng duy nhất đó hay không. Việc so sánh đó yêu cầu phải dựng lại từ đầu trong bảng tính, đó là lý do tại sao nó thường không được thực hiện.
Thực hành tốt nhất: quyết định cách xử lý một giá trị ngoại lệ
Điều tra trước khi loại trừ. Hãy xem xét toàn bộ hàng. Một dấu thập phân bị đặt sai vị trí, một bản ghi thử nghiệm và một khách hàng lớn thực sự trông hoàn toàn giống nhau nếu chỉ nhìn vào một cột duy nhất.
Không bao giờ âm thầm xóa dữ liệu. Nếu bạn loại trừ các hàng, hãy nêu rõ số lượng và lý do trong cùng một tài liệu chứa kết quả. Một phân tích có dữ liệu gốc bị thay đổi mà không có ghi chú sẽ không thể tái lập được.
Báo cáo cả hai phiên bản khi cần thiết. Nếu một kết luận bị đảo ngược chỉ vì một giá trị duy nhất, thì đó chính là phát hiện quan trọng, chứ không phải là một sự bất tiện cần được dọn dẹp đi.
Kiểm tra hình dạng phân phối trước khi chọn ngưỡng. Các cột bị lệch cần các điểm cắt theo phân vị hoặc chuyển đổi logarit, chứ không phải quy tắc z-score.
Chú ý đến các cụm dữ liệu. Nhiều giá trị ngoại lệ xuất hiện cùng một ngày hoặc từ cùng một nguồn thường là dấu hiệu của sự cố đường truyền dữ liệu chứ không phải là những khách hàng thực sự bất thường. Hướng dẫn của chúng tôi về làm sạch và loại bỏ dữ liệu trùng lặp sẽ đề cập đến trường hợp đó.
Kết luận
Việc tìm kiếm các giá trị ngoại lệ mà không cần viết mã quy về ba công cụ. Quy tắc IQR là một lựa chọn mặc định có tính chống chịu tốt, z-score phù hợp với dữ liệu gần như đối xứng khi bạn muốn biết mức độ lớn, và biểu đồ hộp giúp kiểm tra xem các giả định đó có đúng hay không. Hãy chuẩn bị tinh thần rằng chúng sẽ không thống nhất với nhau, và hãy coi sự không thống nhất đó là một thông tin hữu ích.
Phần mà không phương pháp nào có thể làm thay bạn chính là việc đưa ra quyết định. Nếu công việc xử lý giá trị ngoại lệ của bạn dừng lại ở một cột bị gắn cờ vì việc điều tra từng hàng quá chậm, hãy thử Powerdrill Bloom trên tệp đó. Xem thêm trang làm sạch dữ liệu bằng AI của chúng tôi, hướng dẫn về chạy thống kê mô tả, và chuyển đổi tệp CSV thành biểu đồ.
Câu hỏi thường gặp
Thế nào được coi là một giá trị ngoại lệ trong tập dữ liệu?
Theo quy ước, đó là một giá trị vượt quá 1.5 lần khoảng tứ phân vị tính từ tứ phân vị thứ nhất hoặc thứ ba, hoặc cách số trung bình hơn ba lần độ lệch chuẩn. Cả hai đều là quy ước chứ không phải là quy luật, và việc áp dụng phương pháp nào phụ thuộc vào việc dữ liệu của bạn gần như đối xứng hay bị lệch.
Làm thế nào để tìm các giá trị ngoại lệ trong Excel mà không cần viết mã?
Sử dụng hàm QUARTILE để thiết lập các ranh giới IQR và gắn cờ các giá trị nằm ngoài ranh giới đó, hoặc tính toán z-score bằng số trung bình và hàm STDEV.P. Biểu đồ hộp sẽ cho kết quả IQR tương tự một cách trực quan, đồng thời hiển thị hình dạng phân phối.
Tôi có nên loại bỏ các giá trị ngoại lệ khỏi phân tích của mình không?
Chỉ nên loại bỏ sau khi đã xác định được nguyên nhân gây ra chúng. Các lỗi nhập liệu và bản ghi thử nghiệm nên được xóa bỏ; các giá trị cực đoan thực sự thì thường không nên, bởi vì việc loại bỏ chúng sẽ xóa đi thông tin thực tế. Khi kết quả còn mơ hồ, hãy báo cáo kết quả theo cả hai cách.
Tại sao IQR và z-score lại gắn cờ các giá trị khác nhau?
IQR hoạt động dựa trên các tứ phân vị, vốn không bị bóp méo bởi các giá trị cực đoan. Z-score hoạt động dựa trên số trung bình và độ lệch chuẩn, những chỉ số vốn bị bóp méo bởi các giá trị cực đoan. Một giá trị đủ lớn sẽ làm thổi phồng độ lệch chuẩn và có thể tự che giấu chính nó.
Điều gì xảy ra nếu dữ liệu của tôi bị lệch thay vì có hình chuông?
Các ngưỡng tiêu chuẩn thường gắn cờ quá mức phần đuôi dài trên các cột bị lệch như thu nhập hoặc giá trị đơn hàng. Hãy sử dụng các điểm cắt dựa trên phân vị, hoặc chuyển đổi logarit cột đó trước, và kiểm tra hình dạng phân phối trước khi chọn bất kỳ quy tắc nào.