Ein häufig gestellte Frage, die sich bei unseren Forschungspartnern und unserer Zielgruppe immer wieder stellt, auch nachdem viele A/B-Split-Tests durchgeführt wurden, lautet: “Was ist der Unterschied zwischen absolutem und relativem Unterschied?”
Das ist verständlich, da Vermarkter nicht dafür bekannt sind, datensichere Mathematiker zu sein. Aber mal ehrlich, die Interpretation von Analysen, um nützliche Einblicke in Ihre Kunden zu gewinnen, ist keine leichte Aufgabe.
Das Verhalten der Kunden kann leicht in der Mathematik hinter den Kampagnenergebnissen verloren gehen oder schlimmer noch, übersehen und einfach als gegeben hingenommen werden.
Das ist bedenklich, wenn man bedenkt, dass laut dem MarketingSherpa 2013 Marketing Analytics Benchmark Report (kostenloser automatischer Download) eine signifikante Anzahl von Vermarktern Analytics einsetzt, um ihre Botschaften zu verbessern (67%) und Entscheidungen zu treffen (47%).
In diesem Blogbeitrag von MarketingExperiments werfen wir einen genaueren Blick darauf, wie ein klares Verständnis des absoluten Unterschieds gegenüber dem relativen Unterschied Ihnen helfen kann, Ihre Testergebnisse zu interpretieren.
Absoluter Unterschied gibt Ihnen die tatsächliche Zahlendifferenz zwischen den Behandlungen
Um dies zu veranschaulichen, werden wir einen einfachen A/B-Split-Test (Kontrolle und eine einzelne Behandlung) für einen hypothetischen Landing-Page-Test und einige Dummy-Daten zur Interpretation verwenden.
Wir haben unseren Test durchgeführt und hier sind unsere Ergebnisse. Die Behandlung hat die Kontrolle um einen absoluten Unterschied von 0,4% und einen relativen Unterschied von 16,1% übertroffen.
Aber was bedeutet das?
Nun, der absolute Unterschied ist die Differenz zwischen zwei realen Zahlen.
Denken Sie einfach wörtlich daran als X – Y.
In diesem Fall hatte die Kontrolle eine Konversionsrate von 2,5% und die Behandlung eine Konversionsrate von 2,9%.
2,9% (Konversionsrate der Behandlung) minus 2,5% (Konversionsrate der Kontrolle) ergibt 0,4%
Daher betrug unser absoluter (reeller Zahl) Unterschied 0,4%.
Wir betrachten normalerweise den absoluten Unterschied in den Konversionsraten zwischen einer Kontrolle und den Behandlungen, um den Gesamtunterschied in der Leistung zu bestimmen.
In Bezug auf die Interpretation sagt mir dies, dass die Konversionsrate der Behandlung tatsächlich um 0,4% höher war als die der Kontrolle.
Relativer Unterschied gibt Ihnen das Ausmaß des Unterschieds zwischen den Behandlungen an
Um bei unserem Beispiel zu bleiben, wissen wir, dass die Behandlung die Kontrolle um einen absoluten Unterschied von 0,4% übertroffen hat und was das wörtlich bedeutet.
Aber wie groß ist das tatsächliche Ausmaß des beobachteten Beziehungsdifferenz zwischen unserer Kontrolle und der Behandlung, das wir in unseren Daten erfasst haben?
Hier kommt der relative Unterschied ins Spiel.
Der relative Unterschied ermöglicht es uns, das Verhältnis von zwei Zahlen zu verstehen – oft als Prozentsatz ausgedrückt -, das uns einen direkten Einblick in das wahre Ausmaß des Unterschieds zwischen unserer Kontrolle und der Behandlung gibt.
Kurz gesagt, für jedes im Konversionsprozentsatz der Kontrolle erfasste Verhalten gibt es 16,1% mehr dieses Verhaltens in der Behandlung.
Hier ist eine Veranschaulichung, wie der relative Unterschied berechnet wird, um es etwas einfacher zu verstehen. Wenn wir die Daten aus unserem Test verwenden, sieht die Formel wie folgt aus:
[(2,9 – 2,5) / 2,5] * 100 = 16,1%Indem wir den relativen Unterschied verstehen, können wir nun sagen, dass die Behandlung die Konversion um 16,1% gesteigert hat.
Wenn Sie es verstehen, beherrschen Sie es
Das Verständnis des Unterschieds zwischen diesen beiden Konzepten kann Ihnen helfen, ein tieferes Verständnis dafür zu bekommen, was Kunden tun, damit Sie sich auf das Warum konzentrieren können.
