A/B-Test starten und auswerten

Ein A/B-Test lässt zwei Fassungen deines Funnels gegeneinander laufen. So baust du einen und liest das Ergebnis. Starten darf nur ein Admin.

Was eine Variante ist

Variante B ist eine Kopie der Schritte und des Designs im selben Funnel, unter derselben Adresse. Es entsteht kein zweiter Funnel und keine zweite URL. Das ist wichtig für die Aussagekraft: bei zwei Adressen käme die eine Hälfte des Verkehrs aus einer anderen Quelle, und der Vergleich wäre wertlos.

Jeder Besucher bekommt per Zufall eine der beiden Fassungen und bleibt für seinen Besuch dabei.

Starten

Geh im Builder auf Einstellungen, dort steht der Abschnitt A/B-Test mit dem Knopf Test starten. Im Dialog stellst du die Aufteilung ein: der Regler geht von 10 bis 90 Prozent in Fünferschritten. Darunter steht im Klartext, wie viel Prozent A und wie viel B sehen.

Ändere möglichst nur eine Sache. Bei zwei Änderungen misst du zwei Dinge gleichzeitig und weißt hinterher nicht, welche gewirkt hat.

Nach dem Start erscheint oben in der Kopfzeile der Umschalter A | B. Damit wechselst du, an welcher Fassung du gerade baust. Zwei Dinge dazu:

• Die Aufteilung lässt sich später jederzeit nachziehen. Bereits zugeteilte Besucher bleiben bei ihrer Variante.
• Beim Umschalten wird der Rückgängig-Verlauf geleert. Sonst nähme Strg + Z eine Änderung an der anderen Fassung zurück, und das sähe man nicht.

Je Funnel läuft genau ein Test. Einen zweiten kannst du erst nach dem Ende des ersten starten.

Auswerten

Die Zahlen stehen nicht in den Einstellungen, sondern auf der Seite des Funnels. Du kommst dorthin über Funnels und einen Klick auf den Funnel. Dort findest du:

• Einen Satz als Ampel, und zwar vor den Zahlen. Er sagt entweder „Noch zu wenig Daten" oder welche Variante belastbar vorn liegt.
• Zwei Spalten mit Aufrufen, Quiz-Starts, Leads und Conversion.
• Darunter Besucher je Schritt, beide Varianten nebeneinander.

Belastbar heißt zweierlei: mindestens 100 Aufrufe je Variante und ein statistisch deutlicher Unterschied. Beides muss zutreffen. Bei kleinen Zahlen rechnet das Verfahren zwar, aber das Ergebnis bedeutet nichts. Acht gegen drei Aufrufe sagen gar nichts.

Ein Test darf beliebig lange laufen. Die Zahlen werden einmal täglich zu Tageswerten zusammengefasst, und diese Zusammenfassung bleibt erhalten, auch wenn die einzelnen Ereignisse später gelöscht werden. Ein Test verliert seinen Anfang also nicht mehr.

Gewinner übernehmen

Unter jeder Spalte steht Diese Variante übernehmen. Nach einer Rückfrage wird die gewählte Fassung zum Hauptstand, die andere wird verworfen und lässt sich nicht wiederherstellen.

Denselben Weg gibt es in den Einstellungen unter Test beenden. Dort wählst du, welche Variante bleibt.

Der Knopf wird bei roter Ampel nicht gesperrt. Es kann gute Gründe geben, einen Test abzubrechen. Der Dialog sagt dann aber deutlich, dass der Unterschied Zufall sein kann.

Die gemessenen Zahlen wandern in die Test-Historie, die unter dem A/B-Abschnitt steht. Die aufgezeichneten Ereignisse selbst bleiben unverändert stehen.

Was Claude über die Verbindung nicht darf

Ist die Claude-Anbindung eingerichtet, kann Claude den Inhalt von Variante B ändern. Einen Test starten oder beenden kann er nicht. Beides ändert, was Besucher zu sehen bekommen, und das Beenden verwirft eine Fassung unwiderruflich. Solche Schritte gehören in eine Oberfläche mit Rückfrage.