Zurzeit sind 200 Mitglieder online.
Zurzeit sind 200 Mitglieder online.
Neu bei Google Analytics? Stelle hier deine Fragen!
Anleitung
favorite_border
Antworten

A/B Test statistische Signifikanz selber berechnen

Rang 5
# 1
Rang 5

Hallo,

 

ich würde gerne die statistische Signifikanz eines A/B Tests anhand von Klicks + Impressionen selbst ausrechnen.

 

Ich habe keinen Kampagnentest durchgeführt, sondern die Anzeigen über die Einstellung "Gleichmäßige Anzeigenrotation" über mehrere Wochen ausgespielt.

 

Müsste die Ergebnisse also zuerst über Mittelwert, Standardabweichung o.ä. vergleichbar machen und anschließend anhand von Klicks + Impressionen die statistische Signifikanz ermitteln...

 

Kann mir jemand weiterhelfen, wie ich das ausrechnen kann?

 

VG

 

1 Expertenantwort(en)verified_user

Betreff: A/B Test statistische Signifikanz selber berechnen

Rang 8
# 2
Rang 8
Hallo,

du kannst natürlich ein Statistikbuch zur Hand nehmen und anfangen zu rechnen...
Oder du nimmst sowas: http://tools.seobook.com/ppc-tools/calculators/split-test.html

Viele Grüße

Katharina

Betreff: A/B Test statistische Signifikanz selber berechnen

[ Bearbeitet ]
Rang 10
# 3
Rang 10

Hi Manuel,

händische Wege findest du online sicherlich.

Hier eine interessante Alternative, ein AdWords Script: http://www.freeadwordsscripts.com/2013/12/automated-creative-testing-with.html

Funktioniert bei mir sehr gut.

Viele Grüße,
Philip

Betreff: A/B Test statistische Signifikanz selber berechnen

Top Beitragender
# 4
Top Beitragender

Betreff: A/B Test statistische Signifikanz selber berechnen

[ Bearbeitet ]
Rang 5
# 5
Rang 5

Hallo, Danke für eure Antworten!

Aber ich habe dennoch das Problem, dass ich einen Ausreißer habe, der mir das Ergebnis der Signifikanz-Tests verzerrt. Hier habt ihr mal mein Beispiel:


Anzeige 1

Klicks: 2.740

Impressionen: 30.959

CTR: 8,85%

 

Anzeige 2

Klicks: 2.468

Impressionen: 29.079

CTR: 8,49%

 

Anzeige 3

Klicks: 3.120

Impressionen: 42.314

CTR: 7,37%

 

Anzeige 4

Klicks: 2.630

Impressionen: 29.032

CTR: 9,06%

 

Anzeige 5

Klicks: 2.251

Impressionen: 25.502

CTR: 8,83%


Anzeige 3 stellt meinen Ausreißer dar. Wenn ich jetzt beispielsweise Anzeige 3 vs. Anzeige 4 auf statistische Signifikanz überprüfe, stellt sich heraus, dass der Unterschied hoch signifikant bei 99%-igem Vertrauensintervall ist --> Anzeige 3 ist also tatsächlich besser als Anzeige 4...

Beim Vergleich der CTR wird allerdings deutlich dass Anzeige 3 die schlechteste ist. Anzeige 3 hat deswegen nur bessere Ergebnisse erzielt, weil die Einstellungen für die Anzeigenrotation auf "Gleichmäßige Anzeigenrotation" eingestellt waren. Das heißt, dass die Anzeigen weitestgehend gleichmäßig ausgespielt werden, ABER: unter Berücksichtigung der bisherigen Leistung!

Und genau da liegt mein Problem. Um die Ergebnisse jetzt wirklich vergleichen zu können, müsste ich für Anzeige 3 vergleichbare Werte zur Berechnung der statistischen Signifikanz ermitteln. Oder ich bräuchte einen Signifikanz-Test der Ergebnisse auf Basis der CTR ermittelt...

Allerdings weiß ich leider nicht, wie das geht.... Kann mir jemand von euch weiterhelfen?

VG

Betreff: A/B Test statistische Signifikanz selber berechnen

Rang 10
# 6
Rang 10

Hi Manuel, dein Ergebnis erhalte ich nicht.

 

Signi.PNG

Betreff: A/B Test statistische Signifikanz selber berechnen

Rang 5
# 7
Rang 5
Hallo Philip,

welchen Test hast du verwendet? Kannst du mir den Link mal schicken?

Ich habe bisher immer diesen verwendet: http://www.adwords-buch.info/anzeigen-checker

Die Conversion in Prozent stellt bei mir ja eigentlich die CTR dar. Aber das macht ja in Bezug auf die Ergebnisse keinerlei Unterschiede oder? Nur die Interpretation der Ergebnisse ist anders...

VG

Betreff: A/B Test statistische Signifikanz selber berechnen

Rang 10
# 8
Rang 10
Hi Manuel, hier findest du den Test: http://www.usereffect.com/split-test-calculator

Ich sehe, dass der Test, den du verwendest nicht anzeigt welche der beiden Anzeigen besser performt. Er sagt nur ob es einen signifikanten Unterschied gibt.

Viele Grüße,
Philip