24. November 2014, 15:47, by Riv-Alain Vakili

Spass mit A/B-Tests

Motivation

Nicht selten werden bei werbegetriebenen Webseiten und Apps Updates oder Redesigns von Kernfunktionen gemacht, ohne in der Zeit nach dem Release deren Erfolg zu messen. Konkrete und begründete Erfolgserwartungen wie  z.B. +10%  Zugriffe fehlen meist ebenso.

Dies hat zur Folge, dass das Productmanagement, wenn’s drauf ankommt, nie zweifelsfrei belegen kann, dass seine Projekte ein Erfolg und die eingesetzten Ressourcen gerechtfertigt waren. Zudem werden interne wie externe Kritiker – zu Recht oder zu Unrecht – steht’s den propagierten Erfolg in Frage stellen können.
Nicht selten habe ich erlebt, dass teure Projekte nach dem Release als Erfolg gewertet wurden, obwohl die Seitenzugriffe z.B. nur saisonbedingt kurzzeitig angestiegen waren. Solche Fehlinterpretationen können fatale Folgen haben.

Obwohl man mittels Durchführung fachgerechter Usability-Tests, die Chancen auf ein erfolgreiches Produkt massiv verbessern kann, geben meist erst A/B- oder Multivarianten-Tests Aufschluss darüber, ob das neue/veränderte Produkt auch effektiv eine Verbesserung darstellt.

A/B-Tests werden meist im Zusammenhang mit Werbemittel , Landingpages und deren Konversionsrate genannt. Z.B. bei der Gestaltung einer Registrierungspage. Das Anwendungsgebiet ist aber durchaus breiter, wie das folgende Beispiel zeigt.

Beispiel: Mobile Bildstrecke

Die Bildstrecke, welche unseren Storys angehängt wird, ist unser Trafficdriver und für gut einen Drittel der Gesammtzugriffe verantwortlich. Im Rahmen einer erhofften Effizienzsteigerung haben wir diese etwas genauer analysiert. Google Analytics zeigte unter anderem, dass Mobile-User mit Safari beträchtlich mehr Zugriffe pro Besuch machen als mit Chrome.

Die Annahme:
Da auf Safari das Javascript-Sliding besser/weicher läuft, wird die Bildstrecke damit auch dementsprechend lieber benutzt. Oder wie lange würdest du in einem Bilderbuch blättern, wo jede Seite an der Nächsten klebt?

Also wurde die Bildstrecke umgebaut: Es wurden butterweiche, hardwarebeschleunigte CSS3 Transitions hinzugefügt, der Bildbeschrieb unter das Bild verschoben, die Pfeile entfernt und einen Index hinzugefügt. Idealerweise hätte man jeden Parameter einzeln getestet, um den jeweiligen Einflussfaktor ermitteln zu können.


Alte Version


Neue Version

Fertig implementiert, wurde mit Hilfe von Google Analytics ein A/B-Test aufgesetzt. Eine Sache von wenigen Augenblicken:

  • Testziel angeben ( Sitzungsdauer, Zugriffe usw. )
  • Prozentsatz des Traffics, der getestet werden soll bestimmen
  • Url’s der Varianten setzen
  • Code-Snippet in Webappliaktion einfügen

50% der User wurden dabei auf die alte und 50% auf die neue Version geleitet und das Ganze eine Woche lang laufen gelassen.

Testergebnisse

Der A/B Test zeigte deutlich mehr Zugriffe pro Besuch für die neue Version: Über eine redaktionell normale Woche hinweg im Schnitt ein Plus von über 60% Prozent. Allerdings wird dieser Wert relativ schnell übertroffen, wenn verhälnismässig viele grosse Bildstrecken den Storys angehängt werden:


Ausgehend des gemessenen Traffics der alten Bildstrecke bis Ende Oktober 2014, wäre mit den eher konservativen 60% ein Plus von deutlich über 100 Mio Zugriffen zu erwarten.

Fazit

Intern

  • Durch den A/B Test konnte einem eher kleinen Projekt eine unerwartet grosse Wirkung zugerechnet werden. Hätten wir den Test nicht gemacht, wäre dieser Erfolg ziemlich sicher untergegangen.
  • Durch die Erkenntnisse aus dem Test wurde die Projektpriorisierung angepasst und z.B. ein Update der Fotogalerie, wo ähnliche Resultate erwartet werden, in Angriff genommen.
  • Das Ergebnis wird in Zukunft auch bei der Aufbereitung der Storys berücksichtigt.

Generell

  • Oft sind es gerade die Produkte, die gut laufen, sprich, viele Zugriffe haben, wo es noch viel zu holen gibt.
  • Lange genug Testen: Abhängig von Produkt und veränderten Parameter, muss der Test-Zeitraum passend gewählt sein um Fehlschlüsse in der Analyse  zu vermeiden.
  • Für den gewonnenen vielfachen Nutzen ist der kleine Mehraufwand vernachlässigbar.
  • Es herscht Transparenz bezüglich des Projekterfolgs. “Wir glauben, dass es ein Erfolg war” wird zu “Wir wissen, dass es ein Erfolg war”
  • A/B Tests machen Spass: Das wiederholende Herumschrauben an Parametern und das anschließendene Testing haben einen nicht zu unterschätzenden Suchtfaktor.

Erweiterungen

Natürlich ließen sich im Falle der Bildstrecke noch mehr Varianten mit veränderten Parametern testen.
So könnte man ein Variante mit und eine ohne Werbebanner laufen lassen, um den Maximalwert Zugriffe/Besuch zu ermitteln. Diesem würde man sich dann mittels Optimierung der Parameter der Werbeauslieferung ( Frequenz, Typ des Werbemittels ) versuchen anzunährern um eine optimale Ad-Auslieferung zu erzielen.

No Comments

No comments yet.

RSS feed for comments on this post.

Sorry, the comment form is closed at this time.

© 2017 tilllate Schweiz AG - Powered by WordPress