Cara Menganalisis Hasil Uji A/B Tanpa Ahli Statistik (Panduan 2026)

Untuk menganalisis hasil A/B test, bandingkan kedua grup berdasarkan satu metrik utama. Periksa apakah selisihnya lebih besar dari variasi acak yang normal, lalu tentukan rentang perbedaan yang sebenarnya. Excel dapat melakukan perhitungan aritmetikanya. Namun, penilaian subjektif di sekitarnyalah yang biasanya sering keliru.

Panduan ini membahas apa saja yang perlu disiapkan sebelum Anda melihat angka-angkanya dan cara menjalankan pengujian secara manual. Panduan ini juga membahas batas dari metode manual, serta cara membaca hasilnya secara jujur.

Apa yang Anda butuhkan sebelum mulai membaca hasil pengujian

Ada empat hal yang menentukan apakah suatu hasil memiliki arti. Kumpulkan hal-hal ini terlebih dahulu.

Satu metrik utama, yang dipilih sebelum pengujian dijalankan. Tingkat konversi, pendapatan per pengunjung, atau tingkat aktivasi. Tentukan metrik ini sejak awal. Memilihnya setelah Anda melihat data adalah cara tim membohongi diri sendiri agar merasa menang.

Jumlah mentah, bukan hanya persentase. Kenaikan sebesar 3% memiliki arti yang sangat berbeda pada 200 pengunjung dibandingkan pada 200.000 pengunjung. Anda memerlukan angka penyebutnya.

Periode pengujian yang lengkap. Pengujian yang hanya berjalan beberapa hari dalam seminggu dapat mendistorsi hasil, karena perilaku pengguna di hari kerja dan akhir pekan berbeda. Jalankan pengujian selama satu minggu penuh.

Catatan tentang apa yang diubah. Satu variabel per pengujian. Jika Anda mengubah judul dan warna tombol secara bersamaan, tidak ada statistik yang dapat memisahkan pengaruh masing-masing elemen tersebut.

If any of the four is missing, stop before the arithmetic. A clean calculation on a compromised test still produces a confident wrong answer.

Dua pertanyaan yang dijawab oleh setiap A/B test

Setiap hasil pengujian bermuara pada dua pertanyaan, dan keduanya sering kali tertukar.

Apakah perbedaannya nyata? Ini adalah pertanyaan tentang signifikansi. Pertanyaan ini mencari tahu seberapa besar kemungkinan selisih sebesar ini terjadi jika kedua versi sebenarnya berkinerja identik. Nilai p-value menjawab pertanyaan ini. Aturan umumnya adalah nilai di bawah 0.05 dianggap cukup signifikan untuk ditindaklanjuti.

Apakah perbedaannya cukup besar hingga berdampak penting? Ini adalah pertanyaan tentang ukuran efek (effect size). Interval kepercayaan (confidence interval) menjawabnya dengan memberikan rentang perkiraan perbedaan yang sebenarnya. Kenaikan 0.2% yang signifikan secara statistik mungkin tetap tidak sebanding dengan biaya teknis pengerjaannya.

Pengujian yang signifikan tetapi memiliki dampak yang sangat kecil adalah kesalahan interpretasi yang umum dan mahal. Jawablah kedua pertanyaan tersebut, sesuai urutannya. Laporkan kedua angka tersebut bersama-sama, karena tim yang hanya mendengar nilai p-value akan menganggap setiap hasil yang signifikan layak untuk langsung diluncurkan.

Metode manual di Excel

Excel dapat menangani hal ini secara bawaan. Caranya bergantung pada jenis metrik yang Anda uji.

Letkka kedua grup secara berdampingan

Buat satu kolom untuk setiap varian. Untuk metrik berkelanjutan seperti pendapatan per pengunjung, setiap baris mewakili nilai dari satu pengunjung. Untuk konversi, setiap baris berisi angka 1 atau 0. Pertahankan baris data mentah ini alih-alih ringkasannya, karena rumus memerlukan sebaran data yang mendasarinya.

Gunakan T.TEST untuk metrik berkelanjutan

T.TEST(array1, array2, tails, type) mengembalikan probabilitas yang terkait dengan t-test Student. Gunakan tails = 2 kecuali jika Anda telah memutuskan sejak awal bahwa hanya satu arah yang dihitung. Untuk type, gunakan 1 untuk sampel berpasangan, 2 jika kedua grup memiliki varians yang sama, dan 3 jika tidak sama. Varians tidak sama dua sampel (two-sample unequal variance) adalah pilihan default yang lebih aman untuk sebagian besar pengujian web.

Rumus ini langsung mengembalikan nilai p-value. Halaman fungsi T.TEST milik Microsoft mendokumentasikan argumen-argumen tersebut.

Tangani tingkat konversi secara berbeda

Konversi adalah sebuah proporsi, bukan ukuran berkelanjutan. Pendekatan standarnya adalah z-test dua proporsi, dan Excel tidak memiliki fungsi tunggal untuk hal ini. Anda memiliki dua opsi yang bisa digunakan.

Buat z-test secara manual dari proporsi gabungan (pooled proportion) dan kesalahan standar (standard error), lalu konversikan skor tersebut menjadi p-value dengan NORM.S.DIST. Atau, susun jumlah data sebagai tabel dua-kali-dua berisi data yang terkonversi dan tidak terkonversi berdasarkan varian. Hitung jumlah yang diharapkan, lalu gunakan CHISQ.TEST untuk mendapatkan nilai p-value.

Kedua cara tersebut berhasil. Namun, keduanya mengharuskan Anda membuat ulang rumus setiap kali struktur pengujian berubah.

Batas dari metode manual

Ada tiga hal yang biasanya membuat metode ini tidak lagi efektif.

Nilai p-value saja tidak memberi tahu Anda besarnya kenaikan, sehingga Anda masih memerlukan perhitungan interval kepercayaan yang terpisah. Metrik yang banyak akan melipatgandakan tingkat positif palsu (false-positive) Anda, dan tidak ada apa pun di lembar kerja yang memperingatkan Anda tentang hal itu. Dan setiap pengujian baru berarti Anda harus membangun kembali rumus yang sama untuk format ekspor data yang berbeda.

Ada konsekuensi keempat yang sering kali terlewatkan. Siapa pun yang membuat lembar kerja tersebut menjadi satu-satunya orang yang bisa memeriksa dan memahaminya.

Untuk satu kali pengujian, metode manual tidak masalah. Namun untuk program pengujian mingguan, Anda akan membangun kembali lembar kerja yang sama sebanyak 50 kali dalam setahun.

Cara menganalisis hasil A/B test dengan Powerdrill Bloom

Jika data pengujian Anda sudah ada dalam file ekspor, Anda dapat melewatkan pembuatan rumus yang rumit.

Langkah 1: Unggah data pengujian Anda

Masukkan file ekspor Excel, CSV, atau TSV dari alat pengujian atau database Anda. Beberapa file dapat dimuat bersamaan, sehingga file aktivitas (events) dan file pengguna (users) dapat dibandingkan dalam sekali proses. Deteksi kolom dan pembersihan data akan langsung berjalan saat diunggah.

Langkah 2: Deskripsikan perbandingan dalam bahasa sehari-hari

Sampaikan pertanyaan Anda seperti saat berbicara dengan rekan kerja. Sebagai contoh: "bandingkan konversi antara varian A and B, beri tahu saya apakah perbedaannya signifikan, dan berikan interval kepercayaannya." Agen AI akan memilih pengujian yang sesuai untuk jenis metrik tersebut, melaporkan nilai p-value serta intervalnya, dan menjelaskan pengujian mana yang digunakannya. Mintalah rincian segmen, dan sistem akan menjalankannya kembali tanpa mengharuskan Anda membuat ulang dari awal.

Langkah 3: Ekspor grafik, laporan, atau slide presentasi

Ekspor hasilnya sebagai grafik, masukkan ke dalam ringkasan tertulis, atau ubah kanvas menjadi slide untuk presentasi. Gaya Professional, Business, dan Fancy semuanya dapat diekspor ke PowerPoint atau Notion. Untuk aspek visual, alat visualisasi data menyediakan jenis grafik lain yang tersedia dari unggahan yang sama.

Cara membaca hasil tanpa klaim berlebihan

Apa yang Anda lihat	Apa artinya	Apa yang bukan artinya
p = 0.03	Selisih sebesar ini kecil kemungkinannya terjadi jika tidak ada perbedaan nyata	Bukan berarti ada peluang 97% bahwa B lebih baik
p = 0.20	Tidak cukup bukti untuk mengambil keputusan	Bukan bukti bahwa kedua versi tersebut identik
Interval −1% hingga +6%	Kenaikan yang sebenarnya bisa saja bernilai negatif	Bukan berarti ada kenaikan sebesar 2.5%, meskipun itu adalah titik tengahnya
Signifikan tetapi kenaikan hanya 0.2%	Nyata, tetapi kemungkinan besar tidak sepadan untuk diluncurkan	Bukan merupakan keuntungan bisnis dengan sendirinya
Signifikan pada satu dari delapan metrik	Kurang lebih merupakan hasil dari faktor kebetulan belaka	Bukan sebuah penemuan baru

Lakukan pembulatan secara jujur juga. Melaporkan kenaikan hingga dua angka di belakang koma mengesankan tingkat presisi yang sebenarnya tidak didukung oleh ukuran sampel Anda.

Tulis kesimpulan dalam bentuk kalimat yang menyertakan rentang nilai. Kalimat "Varian B meningkatkan konversi antara 1% hingga 5%" adalah kesimpulan yang jujur. Sedangkan kalimat "Varian B menang" tidak jujur, kecuali jika seluruh rentang interval berada di atas angka nol.

Kesalahan umum

Menghentikan pengujian saat pertama kali terlihat signifikan. Memeriksa hasil berulang kali dan langsung berhenti saat melihat hasil yang bagus akan sangat meningkatkan tingkat positif palsu (false positive). Tentukan ukuran sampel dan tanggal berakhirnya sejak awal, lalu tunggulah hingga selesai.

Menguji delapan metrik lalu melaporkan yang menang. Jika metrik yang diuji terlalu banyak, salah satunya pasti akan melewati angka 0.05 secara kebetulan. Tentukan metrik utama sejak awal dan anggap metrik lainnya hanya sebagai konteks tambahan.

Mengabaikan angka penyebut. Sampel yang kecil dapat menghasilkan perubahan persentase yang terlihat sangat dramatis. Selalu tampilkan jumlah data mentah di samping angka persentase.

Melakukan segmentasi setelah pengujian selesai hingga menemukan hasil yang diinginkan. Membagi data berdasarkan perangkat, negara, dan saluran pemasaran hingga menemukan satu bagian yang signifikan adalah masalah yang sama dalam bentuk yang berbeda. Tentukan segmen yang penting bagi Anda sejak awal.

Membandingkan grup yang sejak awal tidak setara. Jika pembagian lalu lintas data tidak merata, atau varian dijalankan pada hari yang berbeda, perbedaan yang terukur juga akan mencakup ketidakseimbangan tersebut.

Menganggap hasil nihil (null result) sebagai kegagalan. Pengujian yang tidak menunjukkan perbedaan tetap merupakan informasi yang berharga. Hasil ini menyelamatkan Anda dari meluncurkan perubahan yang memakan energi tetapi tidak menghasilkan apa-apa.

Ringkasan singkat

Menganalisis hasil A/B test bermuara pada dua jawaban: apakah perbedaannya nyata, dan apakah perbedaannya cukup besar hingga berdampak penting. Excel memberikan jawaban pertama dengan fungsi T.TEST dan mengharuskan Anda menyusun sendiri jawaban kedua. Pengukuran proporsi memerlukan pengujian yang berbeda dibandingkan metrik berkelanjutan, dan langkah inilah yang paling sering dilewatkan orang.

Jika Anda rutin menjalankan pengujian, proses pembuatan ulang rumus adalah bagian yang sebaiknya Anda pangkas. Coba Powerdrill Bloom gratis — cukup unggah file ekspor, minta perbandingan dalam bahasa sehari-hari, lalu ekspor hasilnya. Untuk pilihan alat lainnya, lihat alat AI untuk analisis A/B test, dan untuk langkah dasarnya, lihat cara menjalankan statistik deskriptif.

Pertanyaan yang sering diajukan

Bagaimana cara mengetahui apakah hasil A/B test saya signifikan?

Bandingkan kedua grup berdasarkan metrik utama Anda lalu hitung nilai p-value. Di bawah 0.05 adalah ambang batas umum untuk menyatakan bahwa perbedaan tersebut kecil kemungkinannya terjadi karena kebetulan. Pasangkan hasil ini dengan interval kepercayaan, karena signifikansi saja tidak memberi tahu apa-apa tentang seberapa besar perbedaan tersebut.

Apakah saya bisa menganalisis hasil A/B test di Excel?

Ya. Gunakan T.TEST untuk metrik berkelanjutan seperti pendapatan per pengunjung. Tingkat konversi adalah proporsi, sehingga memerlukan z-test dua proporsi atau uji chi-square pada tabel jumlah data dua-kali-dua. Excel tidak memiliki fungsi bawaan tunggal untuk pengujian dua proporsi.

Berapa ukuran sampel yang saya butuhkan untuk sebuah A/B test?

Hal ini bergantung pada tingkat dasar (baseline rate) Anda dan kenaikan terkecil yang layak untuk dideteksi. Perkiraan kenaikan yang lebih kecil membutuhkan sampel yang jauh lebih besar. Hitung target sampel sebelum meluncurkan pengujian, lalu jalankan hingga mencapai angka tersebut alih-alih berhenti saat hasilnya terlihat bagus.

Apa sebenarnya yang ditunjukkan oleh nilai p-value kepada saya?

Nilai tersebut memberikan probabilitas untuk melihat perbedaan setidaknya sebesar ini jika kedua versi sebenarnya berkinerja sama. Nilai p-value yang rendah berarti faktor kebetulan adalah penjelasan yang tidak mungkin. Ini bukan probabilitas bahwa varian Anda lebih baik.

Mengapa A/B test saya tidak menunjukkan perbedaan?

Ada tiga alasan umum. Ukuran sampel terlalu kecil untuk mendeteksi efeknya, perubahan terlalu halus untuk mengubah perilaku pengguna, atau memang benar-benar tidak ada perbedaan. Hasil nihil (null result) adalah temuan yang nyata, dan ini melindungi Anda dari meluncurkan sesuatu yang tidak menghasilkan apa-apa.