Cách phân tích kết quả thử nghiệm A/B không cần chuyên gia thống kê (Hướng dẫn 2026)

Để phân tích kết quả thử nghiệm A/B, hãy so sánh hai nhóm dựa trên một chỉ số chính. Kiểm tra xem khoảng cách đó có lớn hơn biến động ngẫu nhiên thông thường hay không, sau đó xác định khoảng giá trị mà sự khác biệt thực tế có thể xảy ra. Excel có thể thực hiện các phép tính này. Nhưng những quyết định mang tính cảm tính xung quanh nó mới là thứ thường dẫn đến sai sót.

Hướng dẫn này sẽ đề cập đến những gì bạn cần chuẩn bị trước khi xem xét các con số và cách thực hiện thử nghiệm thủ công. Hướng dẫn cũng chỉ ra giới hạn của phương pháp thủ công và cách đọc kết quả một cách trung thực.

Những điều bạn cần chuẩn bị trước khi đọc kết quả thử nghiệm

Có bốn yếu tố quyết định xem một kết quả có ý nghĩa hay không. Hãy thu thập chúng trước tiên.

Một chỉ số chính, được chọn trước khi chạy thử nghiệm. Tỷ lệ chuyển đổi, doanh thu trên mỗi khách truy cập hoặc tỷ lệ kích hoạt. Hãy chọn trước chỉ số này. Việc chọn chỉ số sau khi đã thấy dữ liệu là cách các đội nhóm tự huyễn hoặc bản thân về một chiến thắng.

Số liệu thô, không chỉ là tỷ lệ phần trăm. Mức tăng 3% trên 200 khách truy cập mang ý nghĩa hoàn toàn khác so với trên 200,000 khách truy cập. Bạn cần có các mẫu số.

Toàn bộ khung thời gian thử nghiệm. Việc chạy thử nghiệm không tròn tuần sẽ làm sai lệch kết quả, vì hành vi của người dùng vào ngày trong tuần và cuối tuần là khác nhau. Hãy chạy thử nghiệm theo các tuần trọn vẹn.

Ghi chép về những gì đã thay đổi. Chỉ một biến số cho mỗi thử nghiệm. Nếu bạn thay đổi cả tiêu đề và màu sắc nút cùng một lúc, không có số liệu thống kê nào có thể bóc tách riêng lẻ tác động của chúng.

Nếu thiếu bất kỳ yếu tố nào trong bốn yếu tố trên, hãy dừng lại trước khi thực hiện tính toán. Một phép tính chuẩn xác trên một thử nghiệm bị lỗi vẫn sẽ đưa ra một kết quả sai lệch đầy tự tin.

Hai câu hỏi mà mọi thử nghiệm A/B đều phải trả lời

Mọi kết quả đều xoay quanh hai câu hỏi, và chúng rất dễ bị nhầm lẫn.

Sự khác biệt có thực sự tồn tại? Đó là câu hỏi về ý nghĩa thống kê. Câu hỏi này đặt ra là: khả năng xảy ra một khoảng cách lớn như vậy là bao nhiêu nếu hai phiên bản thực tế hoạt động hoàn toàn như nhau. Chỉ số p-value sẽ trả lời câu hỏi này. Theo quy ước, giá trị dưới 0.05 được coi là đủ hiếm để có thể đưa ra quyết định hành động.

Sự khác biệt có đủ lớn để tạo ra ảnh hưởng? Đó là câu hỏi về quy mô tác động. Khoảng tin cậy sẽ trả lời câu hỏi này bằng cách đưa ra phạm vi mà sự khác biệt thực tế có khả năng rơi vào. Một mức tăng 0.2% có ý nghĩa thống kê thực tế vẫn có thể không xứng đáng với chi phí kỹ thuật bỏ ra.

Một thử nghiệm có ý nghĩa thống kê nhưng mức độ tác động quá nhỏ là một sai lầm phổ biến và tốn kém khi đọc kết quả. Hãy trả lời cả hai câu hỏi theo đúng thứ tự đó. Hãy báo cáo cả hai con số cùng nhau, bởi vì một đội ngũ nếu chỉ nghe về p-value sẽ coi mọi kết quả có ý nghĩa thống kê đều là thứ có thể triển khai ngay lập tức.

Cách thực hiện thủ công trong Excel

Excel hỗ trợ xử lý việc này một cách tự nhiên. Cách làm sẽ tùy thuộc vào loại chỉ số bạn đang thử nghiệm.

Đặt hai nhóm cạnh nhau

Sắp xếp mỗi biến thể vào một cột. Đối với chỉ số liên tục như doanh thu trên mỗi khách truy cập, mỗi hàng là giá trị của một khách truy cập. Đối với tỷ lệ chuyển đổi, mỗi hàng sẽ là giá trị 1 hoặc 0. Hãy giữ lại các hàng dữ liệu thô thay vì chỉ tóm tắt, vì các công thức cần dữ liệu phân tán gốc.

Sử dụng T.TEST cho chỉ số liên tục

T.TEST(array1, array2, tails, type) trả về xác suất liên quan đến kiểm định t-test của Student. Sử dụng tails = 2 trừ khi bạn đã quyết định trước rằng chỉ tính một hướng. Đối với type, sử dụng 1 cho các mẫu cặp, 2 khi hai nhóm có phương sai bằng nhau, và 3 khi phương sai khác nhau. Kiểm định hai mẫu có phương sai không bằng nhau là lựa chọn mặc định an toàn hơn cho hầu hết các thử nghiệm trên web.

Công thức này trả về trực tiếp giá trị p-value. Trang tài liệu về hàm T.TEST của Microsoft có hướng dẫn chi tiết về các đối số này.

Xử lý tỷ lệ chuyển đổi theo cách khác

Tỷ lệ chuyển đổi là một tỷ lệ, không phải là một thước đo liên tục. Phương pháp tiêu chuẩn là kiểm định z-test cho hai tỷ lệ, và Excel không có một hàm duy nhất nào cho việc này. Bạn có hai lựa chọn khả thi.

Tự xây dựng kiểm định z-test thủ công từ tỷ lệ gộp và sai số chuẩn, sau đó chuyển đổi điểm số thành p-value bằng hàm NORM.S.DIST. Hoặc sắp xếp các số liệu thô thành một bảng hai chiều (bảng 2x2) gồm số lượng chuyển đổi và không chuyển đổi theo từng biến thể. Tính toán số lượng kỳ vọng, sau đó sử dụng hàm CHISQ.TEST để lấy p-value.

Cả hai cách đều hoạt động tốt. Nhưng cả hai đều yêu cầu bạn phải thiết lập lại mỗi khi cấu trúc thử nghiệm thay đổi.

Giới hạn của phương pháp thủ công

Có ba yếu tố chắc chắn sẽ làm hỏng phương pháp này.

Chỉ riêng p-value không cho bạn biết quy mô của mức tăng, vì vậy bạn vẫn cần một phép tính khoảng tin cậy riêng biệt. Việc kiểm tra nhiều chỉ số cùng lúc sẽ làm tăng tỷ lệ dương tính giả, và không có gì trong bảng tính cảnh báo bạn về điều đó. Ngoài ra, mỗi thử nghiệm mới đồng nghĩa với việc phải xây dựng lại các công thức tương tự cho một tệp xuất dữ liệu có cấu trúc khác.

Có một chi phí thứ tư rất dễ bị bỏ qua. Người tạo ra bảng tính đó sẽ trở thành người duy nhất có thể kiểm tra và xác minh nó.

Đối với một thử nghiệm đơn lẻ, phương pháp thủ công là ổn. Nhưng đối với một chương trình thử nghiệm hàng tuần, bạn đang phải xây dựng lại cùng một bảng tính đó 50 lần một năm.

Cách phân tích kết quả thử nghiệm A/B với Powerdrill Bloom

Nếu dữ liệu thử nghiệm của bạn đã có sẵn trong một tệp xuất, bạn có thể bỏ qua bước thiết lập công thức phức tạp.

Bước 1: Tải lên dữ liệu thử nghiệm của bạn

Kéo thả tệp xuất Excel, CSV hoặc TSV từ công cụ thử nghiệm hoặc cơ sở dữ liệu của bạn. Bạn có thể tải lên nhiều tệp cùng lúc, nhờ đó một tệp sự kiện và một tệp người dùng có thể được so sánh chỉ trong một lượt. Quá trình phát hiện cột và làm sạch dữ liệu sẽ tự động chạy khi tải lên.

Bước 2: Mô tả phép so sánh bằng ngôn ngữ tự nhiên

Hãy đặt câu hỏi theo cách bạn nói với một đồng nghiệp. Ví dụ: "so sánh tỷ lệ chuyển đổi giữa biến thể A và B, cho tôi biết sự khác biệt có ý nghĩa thống kê hay không, và đưa ra khoảng tin cậy." Tác nhân AI sẽ chọn kiểm định phù hợp cho loại chỉ số đó, báo cáo p-value cùng khoảng tin cậy, và giải thích kiểm định nào đã được sử dụng. Bạn cũng có thể yêu cầu phân tích chi tiết theo phân khúc và hệ thống sẽ tự động chạy lại thay vì bắt bạn phải thiết lập lại từ đầu.

Bước 3: Xuất biểu đồ, báo cáo hoặc slide trình bày

Xuất kết quả dưới dạng biểu đồ, đưa vào một bản tóm tắt bằng văn bản, hoặc chuyển đổi bảng làm việc thành các trang slide để trình bày. Các phong cách Professional, Business và Fancy đều hỗ trợ xuất sang PowerPoint hoặc Notion. Về mặt trực quan, công cụ trực quan hóa dữ liệu sẽ hỗ trợ các loại biểu đồ khác có sẵn từ cùng một tệp tải lên.

Cách đọc kết quả mà không phóng đại quá mức

Những gì bạn thấy	Ý nghĩa thực sự	Những gì nó không biểu thị
p = 0.03	Khoảng cách lớn thế này khó có thể xảy ra nếu không có sự khác biệt thực tế	Không phải là 97% cơ hội biến thể B tốt hơn
p = 0.20	Không đủ bằng chứng để đưa ra kết luận	Không phải là bằng chứng cho thấy các phiên bản giống hệt nhau
Khoảng tin cậy từ −1% đến +6%	Mức tăng thực tế có thể là số âm	Không phải là mức tăng 2.5%, ngay cả khi đó là điểm giữa
Có ý nghĩa thống kê nhưng mức tăng chỉ 0.2%	Có thực, nhưng có lẽ không đáng để triển khai	Bản thân nó không phải là một chiến thắng kinh doanh
Có ý nghĩa thống kê trên một trong 8 chỉ số	Xấp xỉ những gì mà sự ngẫu nhiên thuần túy có thể tạo ra	Không phải là một phát hiện mới

Hãy làm tròn số một cách trung thực. Việc báo cáo mức tăng đến hai chữ số thập phân ngụ ý một độ chính xác mà quy mô mẫu không thể hỗ trợ.

Hãy viết kết luận dưới dạng một câu có chứa một khoảng giá trị. "Biến thể B đã tăng tỷ lệ chuyển đổi trong khoảng từ 1% đến 5%" là một cách nói trung thực. "Biến thể B chiến thắng" thì không, trừ khi toàn bộ khoảng tin cậy nằm hoàn toàn trên mức 0.

Các sai lầm thường gặp

Dừng thử nghiệm ngay khi vừa thấy có ý nghĩa thống kê. Việc kiểm tra liên tục và dừng lại ngay thời điểm có kết quả tốt đầu tiên sẽ làm tăng mạnh tỷ lệ dương tính giả. Hãy quyết định quy mô mẫu và ngày kết thúc trước khi bắt đầu, sau đó kiên nhẫn chờ đợi.

Thử nghiệm 8 chỉ số và chỉ báo cáo chỉ số chiến thắng. Với số lượng chỉ số đủ nhiều, một chỉ số nào đó sẽ vượt qua ngưỡng 0.05 một cách ngẫu nhiên. Hãy xác định chỉ số chính ngay từ đầu và coi các chỉ số còn lại là thông tin tham khảo.

Bỏ qua mẫu số. Quy mô mẫu nhỏ thường tạo ra những biến động tỷ lệ phần trăm trông rất ấn tượng. Hãy luôn hiển thị số lượng thô bên cạnh tỷ lệ phần trăm.

Phân khúc dữ liệu sau khi có kết quả cho đến khi tìm được phần có hiệu quả. Việc chia nhỏ dữ liệu theo thiết bị, quốc gia và kênh cho đến khi có một phân khúc đạt ý nghĩa thống kê thực chất cũng là một dạng của vấn đề trên. Hãy đăng ký trước các phân khúc mà bạn thực sự quan tâm.

So sánh các nhóm vốn không thể so sánh được với nhau. Nếu lưu lượng truy cập được phân chia không đều, hoặc các biến thể được chạy vào các ngày khác nhau, sự khác biệt đo lường được sẽ bao gồm cả sự mất cân bằng đó.

Coi kết quả không có sự khác biệt là một thất bại. Một thử nghiệm cho thấy không có sự khác biệt vẫn là một thông tin thực tế có giá trị. Nó giúp bạn tránh triển khai một thay đổi tốn công sức nhưng không mang lại kết quả gì.

Tóm tắt ngắn gọn

Phân tích kết quả thử nghiệm A/B chung quy lại nằm ở hai câu trả lời: sự khác biệt có thực sự tồn tại, và nó có đủ lớn để tạo ra ảnh hưởng hay không. Excel cung cấp cho bạn câu trả lời đầu tiên bằng hàm T.TEST và bắt bạn tự thiết lập câu trả lời thứ hai. Các tỷ lệ phần trăm cần một kiểm định khác so với các chỉ số liên tục, và đây là bước mà hầu hết mọi người thường bỏ qua.

Nếu bạn chạy thử nghiệm thường xuyên, việc thiết lập lại bảng tính là phần rất đáng để loại bỏ. Dùng thử Powerdrill Bloom miễn phí — tải lên tệp xuất dữ liệu, yêu cầu so sánh bằng ngôn ngữ tự nhiên và xuất báo cáo. Để biết thêm các tùy chọn công cụ, hãy xem Các công cụ AI để phân tích thử nghiệm A/B, và đối với các bước chuẩn bị cơ bản, hãy xem cách chạy thống kê mô tả.

Câu hỏi thường gặp

Làm thế nào để tôi biết kết quả thử nghiệm A/B của mình có ý nghĩa thống kê?

So sánh hai nhóm dựa trên chỉ số chính của bạn và tính toán giá trị p-value. Dưới 0.05 là ngưỡng thông thường để xác định một sự khác biệt khó có thể là do ngẫu nhiên. Hãy kết hợp nó với một khoảng tin cậy, vì chỉ riêng ý nghĩa thống kê không nói lên được sự khác biệt đó lớn như thế nào.

Tôi có thể phân tích kết quả thử nghiệm A/B trong Excel không?

Có. Sử dụng hàm T.TEST cho các chỉ số liên tục như doanh thu trên mỗi khách truy cập. Tỷ lệ chuyển đổi là các tỷ lệ, vì vậy chúng cần kiểm định z-test cho hai tỷ lệ hoặc kiểm định chi-bình phương trên một bảng số liệu hai chiều. Excel không có một hàm tích hợp duy nhất nào cho kiểm định hai tỷ lệ.

Tôi cần quy mô mẫu bao nhiêu cho một thử nghiệm A/B?

Điều đó phụ thuộc vào tỷ lệ cơ sở của bạn và mức tăng nhỏ nhất đáng để phát hiện. Mức tăng kỳ vọng càng nhỏ thì cần quy mô mẫu càng lớn. Hãy tính toán mục tiêu trước khi bắt đầu, sau đó chạy thử nghiệm cho đến khi đạt được con số đó thay vì dừng lại khi kết quả trông có vẻ tốt.

Chỉ số p-value thực sự cho tôi biết điều gì?

Nó đưa ra xác suất nhìn thấy một sự khác biệt ít nhất là lớn như thế này nếu hai phiên bản thực sự hoạt động giống nhau. Giá trị p-value thấp có nghĩa là sự ngẫu nhiên khó có thể là lời giải thích hợp lý. Nó không phải là xác suất cho thấy biến thể của bạn tốt hơn.

Tại sao thử nghiệm A/B của tôi không cho thấy sự khác biệt nào?

Có ba lý do phổ biến. Quy mô mẫu quá nhỏ để phát hiện tác động, thay đổi quá nhỏ để làm chuyển biến hành vi, hoặc thực sự không có sự khác biệt nào. Một kết quả không có sự khác biệt vẫn là một phát hiện thực tế, và nó bảo vệ bạn khỏi việc triển khai một thứ không mang lại kết quả gì.