Wie Sie A/B-Testergebnisse ohne Statistiker analysieren (Leitfaden 2026)
Um A/B-Testergebnisse zu analysieren, vergleichen Sie die beiden Gruppen anhand einer primären Metrik. Prüfen Sie, ob der Unterschied größer ist als die normale Zufallsvarianz, und geben Sie dann den Bereich an, in dem die tatsächliche Differenz liegen könnte. Excel kann die Berechnungen übernehmen. Die Ermessensentscheidungen drumherum sind das, was meistens schiefgeht.
Dieser Leitfaden zeigt Ihnen, was Sie zusammentragen müssen, bevor Sie sich die Zahlen ansehen, und wie Sie den Test manuell durchführen. Er zeigt auch, wo der manuelle Weg an seine Grenzen stößt und wie Sie die Ergebnisse ehrlich interpretieren.
Was Sie brauchen, bevor Sie den Test überhaupt auswerten können
Vier Dinge entscheiden darüber, ob ein Ergebnis überhaupt eine Aussagekraft hat. Tragen Sie diese zuerst zusammen.
Eine primäre Metrik, die vor dem Testlauf festgelegt wurde. Conversion-Rate, Umsatz pro Besucher oder Aktivierungsrate. Wählen Sie diese im Voraus aus. Die Auswahl erst nach dem Sichten der Daten ist der Grund, warum sich Teams oft einen Erfolg einreden.
Absolute Zahlen, nicht nur Prozentsätze. Eine Steigerung von 3% bedeutet bei 200 Besuchern etwas ganz anderes als bei 200.000. Sie benötigen die Nenner.
Der vollständige Testzeitraum. Unvollständige Wochen verzerren die Ergebnisse, da sich das Verhalten an Wochentagen und Wochenenden unterscheidet. Lassen Sie Tests über ganze Wochen laufen.
Eine Dokumentation der Änderungen. Eine Variable pro Test. Wenn Sie die Überschrift und die Button-Farbe gleichzeitig ändern, kann keine Statistik der Welt diese Effekte voneinander trennen.
Wenn einer dieser vier Punkte fehlt, brechen Sie ab, noch bevor Sie mit dem Rechnen beginnen. Eine fehlerfreie Berechnung bei einem fehlerhaften Test liefert am Ende nur eine fälschlicherweise überzeugende Antwort.
Die zwei Fragen, die jeder A/B-Test beantwortet
Jedes Ergebnis lässt sich auf zwei Fragen reduzieren, die man leicht verwechseln kann.
Ist der Unterschied real? Das ist die Frage nach der Signifikanz. Sie ermittelt, wie wahrscheinlich ein so großer Unterschied wäre, wenn beide Versionen in Wahrheit absolut identisch abschneiden würden. Ein p-Wert liefert die Antwort. Konventionell gilt ein Wert unter 0.05 als unwahrscheinlich genug, um darauf basierend zu handeln.
Ist der Unterschied groß genug, um eine Rolle zu spielen? Das ist die Frage nach der Effektstärke. Ein Konfidenzintervall beantwortet sie, indem es den Bereich angibt, in dem der tatsächliche Unterschied plausiblerweise liegt. Eine statistisch signifikante Steigerung von 0.2% ist den technischen Aufwand vielleicht trotzdem nicht wert.
Ein Test, der zwar signifikant, aber winzig ist, wird häufig und folgenschwer fehlinterpretiert. Beantworten Sie beide Fragen in genau dieser Reihenfolge. Weisen Sie beide Zahlen gemeinsam aus, denn ein Team, das nur den p-Wert hört, neigt dazu, jedes signifikante Ergebnis sofort live zu schalten.
Der manuelle Weg in Excel
Excel bietet hierfür integrierte Funktionen. Der Weg hängt davon ab, welche Art von Metrik Sie testen.
Stellen Sie die beiden Gruppen nebeneinander dar
Legen Sie eine Spalte pro Variante an. Bei einer kontinuierlichen Metrik wie dem Umsatz pro Besucher entspricht jede Zeile dem Wert eines Besuchers. Bei Conversions enthält jede Zeile eine 1 oder eine 0. Behalten Sie die Rohdaten-Zeilen bei, anstatt sie zusammenzufassen, da die Formeln die zugrunde liegende Streuung benötigen.
Nutzen Sie T.TEST für kontinuierliche Metriken
T.TEST(array1, array2, tails, type) liefert die Wahrscheinlichkeit, die mit einem Student-t-Test verknüpft ist. Verwenden Sie tails = 2, es sei denn, Sie haben im Vorfeld festgelegt, dass nur eine Richtung zählt. Verwenden Sie für type den Wert 1 für gepaarte Stichproben, 2 für zwei Gruppen mit gleicher Varianz und 3 für ungleiche Varianz. Die Variante für zwei Stichproben mit ungleicher Varianz ist für die meisten Web-Tests die sicherere Standardeinstellung.
Die Formel gibt direkt den p-Wert aus. Die Microsoft-Seite zur T.TEST-Funktion dokumentiert die Argumente.
Conversion-Rates müssen anders behandelt werden
Eine Conversion ist ein Anteilswert (Proportion) und kein kontinuierliches Maß. Der Standardansatz ist ein Z-Test für zwei Anteile, für den Excel jedoch keine eigene, einzelne Funktion bietet. Sie haben zwei praktikable Optionen.
Erstellen Sie den Z-Test manuell aus dem gepoolten Anteilswert und dem Standardfehler und wandeln Sie den Wert dann mit NORM.S.DIST in einen p-Wert um. Oder stellen Sie die Häufigkeiten als Vierfeldertafel (konvertiert und nicht konvertiert nach Variante) dar. Berechnen Sie die erwarteten Häufigkeiten und nutzen Sie dann CHISQ.TEST, um den p-Wert zu ermitteln.
Beide Wege funktionieren. Beide erfordern jedoch bei jeder Änderung der Teststruktur eine manuelle Anpassung.
Wo der manuelle Weg an seine Grenzen stößt
Drei Dinge bringen diesen Ansatz zuverlässig zu Fall.
Der p-Wert allein verrät Ihnen nicht die Höhe der Steigerung, sodass Sie immer noch eine separate Berechnung des Konfidenzintervalls benötigen. Mehrere Metriken vervielfachen Ihre Falsch-Positiv-Rate, und nichts in der Tabelle warnt Sie davor. Zudem bedeutet jeder neue Test, dass Sie dieselben Formeln für einen anders strukturierten Export neu aufbauen müssen.
Es gibt noch einen vierten Nachteil, den man leicht übersieht: Die Person, die die Tabelle erstellt hat, ist am Ende die einzige, die sie auch überprüfen kann.
Für einen einzelnen Test ist der manuelle Weg völlig in Ordnung. Bei einem wöchentlichen Testprogramm bauen Sie dieselbe Tabelle jedoch fünfzigmal im Jahr neu auf.
So analysieren Sie A/B-Testergebnisse mit Powerdrill Bloom
Wenn Ihre Testdaten bereits als Export vorliegen, können Sie sich das Zusammenbauen von Formeln sparen.
Schritt 1: Laden Sie Ihre Testdaten hoch
Ziehen Sie einfach den Excel-, CSV- oder TSV-Export aus Ihrem Test-Tool oder Ihrer Datenbank hinein. Sie können mehrere Dateien gleichzeitig hochladen, sodass sich beispielsweise eine Event-Datei und eine Nutzer-Datei in einem Rutsch vergleichen lassen. Die Spaltenerkennung und -bereinigung erfolgen direkt beim Upload.
Schritt 2: Beschreiben Sie den Vergleich in natürlicher Sprache
Formulieren Sie die Frage so, wie Sie es einem Kollegen gegenüber tun würden. Zum Beispiel: „Vergleiche die Conversion zwischen Variante A und B, sag mir, ob der Unterschied signifikant ist, und gib mir das Konfidenzintervall an.“ Der Agent wählt den passenden Test für den Metriktyp aus, gibt den p-Wert sowie das Intervall aus und erklärt, welcher Test verwendet wurde. Wenn Sie nach einer Segmentaufteilung fragen, führt er den Test einfach neu aus, anstatt dass Sie alles neu aufbauen müssen.
Schritt 3: Exportieren Sie das Diagramm, den Bericht oder die Präsentation
Exportieren Sie das Ergebnis als Diagramm, betten Sie es in eine schriftliche Zusammenfassung ein oder verwandeln Sie den Canvas in Folien für die Präsentation. Die Stile „Professional“, „Business“ und „Fancy“ lassen sich alle nach PowerPoint oder Notion exportieren. Für die visuelle Aufbereitung deckt das Datenvisualisierungs-Tool weitere Diagrammtypen ab, die auf Basis desselben Uploads erstellt werden können.
Wie Sie die Ergebnisse interpretieren, ohne zu viel zu versprechen
| Was Sie sehen | Was es bedeutet | Was es nicht bedeutet |
|---|---|---|
| p = 0.03 | Ein so großer Unterschied ist unwahrscheinlich, wenn es keinen realen Unterschied gibt | Keine 97%-ige Wahrscheinlichkeit, dass B besser ist |
| p = 0.20 | Nicht genügend Beweise für eine Entscheidung | Kein Beweis dafür, dass die Versionen identisch sind |
| Intervall −1% bis +6% | Die tatsächliche Steigerung könnte negativ sein | Keine Steigerung von 2.5%, selbst wenn das der Mittelpunkt ist |
| Signifikant, aber nur 0.2% Steigerung | Real, aber die Implementierung wahrscheinlich nicht wert | Für sich genommen kein geschäftlicher Erfolg |
| Signifikant bei einer von acht Metriken | Entspricht in etwa dem, was der Zufall allein hervorbringt | Keine Entdeckung |
Runden Sie außerdem ehrlich. Die Angabe einer Steigerung mit zwei Dezimalstellen suggeriert eine Genauigkeit, die die Stichprobengröße gar nicht hergibt.
Formulieren Sie das Fazit als Satz, der eine Spanne enthält. „Variante B steigerte die Conversion um einen Wert zwischen 1% und 5%“ ist ehrlich. „Variante B gewinnt“ ist es nicht – es sei denn, das gesamte Intervall liegt über Null.
Häufige Fehler
Den Test abbrechen, sobald er zum ersten Mal signifikant aussieht. Wiederholtes Prüfen und Abbrechen beim ersten positiven Signal treibt die Falsch-Positiv-Rate massiv in die Höhe. Legen Sie die Stichprobengröße und das Enddatum im Voraus fest und warten Sie dann ab.
Acht Metriken testen und den Gewinner verkünden. Wenn Sie genügend Metriken testen, wird rein zufällig eine davon die Grenze von 0.05 überschreiten. Legen Sie die primäre Metrik im Vorfeld fest und betrachten Sie den Rest lediglich als Kontext.
Den Nenner ignorieren. Kleine Stichproben führen zu dramatisch wirkenden prozentualen Schwankungen. Zeigen Sie neben den Raten immer auch die absoluten Zahlen an.
Nachträgliche Segmentierung, bis irgendetwas funktioniert. Das Aufteilen nach Gerät, Land und Kanal, bis ein Segment signifikant ist, ist dasselbe Problem in grün. Legen Sie die Segmente, die Sie interessieren, im Vorfeld fest.
Gruppen vergleichen, die nie vergleichbar waren. Wenn der Traffic ungleichmäßig aufgeteilt wurde oder die Varianten an unterschiedlichen Tagen liefen, spiegelt der gemessene Unterschied auch dieses Ungleichgewicht wider.
Ein Nullergebnis als Misserfolg werten. Ein Test, der keinen Unterschied zeigt, liefert wertvolle Erkenntnisse. Er bewahrt Sie davor, eine Änderung live zu schalten, die Aufwand verursacht, aber keinen Nutzen bringt.
Die Kurzfassung
Die Analyse von A/B-Testergebnissen läuft auf zwei Antworten hinaus: Ist der Unterschied real und ist er groß genug, um eine Rolle zu spielen. Excel liefert Ihnen Ersteres mit T.TEST und zwingt Sie dazu, Letzteres selbst zusammenzubauen. Anteilswerte erfordern einen anderen Test als kontinuierliche Metriken – ein Schritt, den die meisten Menschen überspringen.
Wenn Sie regelmäßig Tests durchführen, sollten Sie sich den wiederholten Neuaufbau sparen. Testen Sie Powerdrill Bloom kostenlos — laden Sie den Export hoch, fragen Sie nach dem Vergleich in natürlicher Sprache und exportieren Sie die Auswertung. Weitere Tool-Optionen finden Sie unter KI-Tools für die A/B-Test-Analyse und für die Grundlagen unter wie Sie deskriptive Statistiken erstellen.
Häufig gestellte Fragen
Woher weiß ich, ob meine A/B-Testergebnisse signifikant sind?
Vergleichen Sie die beiden Gruppen anhand Ihrer primären Metrik und berechnen Sie einen p-Wert. Ein Wert unter 0.05 ist die übliche Schwelle, ab der ein Unterschied als unwahrscheinlich zufällig gilt. Kombinieren Sie dies mit einem Konfidenzintervall, da die Signifikanz allein nichts darüber aussagt, wie groß der Unterschied tatsächlich ist.
Kann ich A/B-Testergebnisse in Excel analysieren?
Ja. Verwenden Sie T.TEST für kontinuierliche Metriken wie den Umsatz pro Besucher. Conversion-Rates sind Anteilswerte, weshalb sie einen Z-Test für zwei Anteile oder einen Chi-Quadrat-Test auf Basis einer Vierfeldertafel der Häufigkeiten erfordern. Excel verfügt über keine eigene integrierte Funktion für den Test zweier Anteile.
Welche Stichprobengröße benötige ich für einen A/B-Test?
Das hängt von Ihrer Ausgangsrate (Baseline) und der kleinsten Steigerung ab, die es wert ist, erkannt zu werden. Kleinere erwartete Steigerungen erfordern deutlich größere Stichproben. Berechnen Sie den Zielwert vor dem Start und lassen Sie den Test bis zu dieser Zahl laufen, anstatt ihn abzubrechen, sobald das Ergebnis gut aussieht.
Was sagt mir ein p-Wert eigentlich?
Er gibt die Wahrscheinlichkeit an, einen mindestens so großen Unterschied zu beobachten, wenn beide Versionen in Wahrheit absolut gleich abschneiden würden. Ein niedriger p-Wert bedeutet, dass der Zufall als Erklärung unwahrscheinlich ist. Er ist nicht die Wahrscheinlichkeit dafür, dass Ihre Variante besser ist.
Warum hat mein A/B-Test keinen Unterschied gezeigt?
Dafür gibt es drei typische Gründe: Die Stichprobe war zu klein, um den Effekt zu erkennen, die Änderung war zu unauffällig, um das Verhalten zu beeinflussen, oder es gibt schlichtweg keinen Unterschied. Ein Nullergebnis ist eine echte Erkenntnis und bewahrt Sie davor, etwas zu implementieren, das keinen Nutzen bringt.