Die Frage wurde kürzlich in der Webanalyse-Gruppe aufgeworfen. Wie üblich habe ich dazu Nextanalytics empfohlen weil sich damit bequem auch mehrere Dimensionen zusammenführen lassen und damit weitergehende Reporting-Bedürfnisse gedeckt werden können (wie schon in hier beschrieben). Alexander Gut hatte dann die Idee vorgebracht die Dimensionen über erweiterte Filter zusammenzuführen. Eine gute Idee zumal es praktisch sein kann, mehrere Dimensionen direkt in den Reports zusammenzuführen – beispielsweise um einen PDF-Report zu erstellen. Ein guter Anlass für eine kleine Anleitung zum Thema benutzerdefinierte Filter und Reports.

1. Neues Profil erstellen

Ganz wichtig: Erstellen Sie unbedingt ein neues Profil, weil Filter die Daten des entsprechenden Profils unwiderruflich verändern werden. Am besten erstellen Sie zusätzlich zu Ihren weiteren Profilen ein “Backup”-Profil welches gänzlich ungefilterte Daten enthält und auf das im Notfall zurückgegriffen werden kann. Beachten Sie auch das Profil-Filter die Geschwindigkeit der Reports beeinträchtigen können. Ein neues Profil zu erstellen ist mit Admin-Rechten ganz einfach:

2. Benutzerdefinierte Filter erstellen

Je nachdem wie viele Dimensionen Sie kombinieren möchten, brauchen Sie einen oder mehr Filter. Um zwei Dimensionen zu kombinieren, können Sie folgenden Filter verwenden um diese als benutzerdefinierten Wert zusammenzufassen:

Mehr als zwei Dimensionen würde ich nicht kombinieren, weil durch mehrere Filter die Google Reports sehr langsam werden können, das trifft vor allem bei grossen Accounts mit vielen Besuchern zu. Falls Sie das trotzdem möchten, können Sie zwei Filter in Google Analytics wie folgt kombinieren:

Mit dem ersten Filter fügen Sie zwei Dimensionen zu einem (provisorischen) benutzerdefiniertem Feld hinzu:

Im zweiten Schritt führen Sie die drei Dimensionen zu einem benutzerdefinierten Wert zusammen:

Und schon haben Sie die gewünschte Dimensionen zusammengeführt. Selbstverständlich lässt sich dieses Vorgehen auch für die anderen  Dimensionen verwenden welche in der Auswahl im Filter verfügbar sind.

3. Daten in einem benutzerdefinierten Bericht oder in einem Standard-Bericht als sekundäre Dimension darstellen

Nun haben wir die Daten(Dimensionen) in diesem benutzerdefinierten Wert zusammengefasst. Diesen können Sie nun in den Reports als sekundäre Dimension einblenden, zum Beispiel bei Content ->Seiten:

Oder Sie erstellen dazu einen eigenen benutzerdefnierten Bericht, beispielsweise wie folgt:

Dieser Bericht stellt dann Quelle/Medium/Keyword pro Seiten dar und sieht so aus :

Vielleicht hilft Ihnen auch einer der folgenden vorbereiteten benutzerdefinierten Berichte weiter, bei Interessen einfach herunterladen:

Was tun wenn sich ein A/B Test in der Praxis nicht reproduzieren lässt?

Wenn sich Erkenntnisse aus einem Website-Test in der Praxis nicht reproduzieren lassen kann das das an Störfaktoren oder am Zufall liegen welche die Resultate des Tests negativ beeinflussten. Das kommt zwar nicht oft vor, wenn man Störfaktoren möglichst ausschliesst und vor allem ein Auge auf Unregelmässigkeiten in der Zusammensetzung der Website-Besucher hat, doch darauf kommen wir gleich.
Wie gesagt neben den Störfaktoren kann auch der Zufall mitspielen. Wenn dann die Situation vorliegt, dass sich ein A/B-Test weshalb auch immer nicht reproduzieren lässt, befindet man sich in einer Patt-Situation. Und um die Testhypothese zu verwerfen oder zu bestätigen muss das Experiment wiederholt werden.
Wobei dann die Wiederholung über das Schicksal der Testhypothese entscheiden kann. Sie erinnern sich: Einmal messen ist kein mal messen. Das lässt sich einfach verdeutlichen indem Sie sich zwei entfernte Punkt auf einem X/Y Koordinatensystem vorstellen. Und jetzt fügen Sie in einem zweiten Koordinatensystem einen  dritter Punkt hinzu der nahe beim ersten Punkt liegt dazu. Welcher Wert ist vermutlich korrekt?

Klar wird daraus auf jeden Fall, dass es keinen Sinn macht aus zwei Datenpunkten (Tests) mit starker Abweichung Schlüsse zu ziehen. Übrigens im wissenschaftlichen Kontext geht man oftmals von mindestens drei Messungen aus um ein Resultat einigermassen präzise und genau zu bestimmen; oftmals sogar von 5 Messungen.
Aber bleiben wir beim Website-Testing. Ein Mal messen heisst im Kontext von Website-Testing solange zu messen bis das Kriterium (Signifikanzniveau) erfüllt ist. Aus praktischen Gründen wird ein A/n-Test im Regelfall nur dann wiederholt, wenn es Anzeichen für Unregelmässigkeiten gibt oder anzunehmen ist, dass dieser „nicht repräsentativ“ ist bzw. auf keiner Zufallsstichprobe basiert – darauf komme ich gleich zurück. Anders bei multivariaten Tests. Diese sind vom zugrundeliegenden mathematischen Modell und auch technisch gesehen störungsanfälliger. Daher wird ein multivariater Test eigentlich immer wiederholt oder gewisse Resultate mit einem A/B Test verifiziert.

Woran erkenne ich, dass mein Website-Test nicht „repräsentativ“ ist –  bzw. auf keiner Zufallsstichprobe basiert?

Immer wieder tauchen Fragen auf bezüglich der Repräsentativität von Website-Tests. Wie lange muss man einen A/B Test laufen lassen bis er repräsentativ ist? Oder wie viele Prozent der Website-Besucher soll ich über den Website-Test leiten damit er repräsentativ wird? Das sind gute Fragen jedoch ist die umgangssprachlich Begrifflichkeit „Repräsentativität“ in dem Kontext ein wenig  irreführend. Denn Website-Test basieren jedoch auf statistischen Methoden (induktive Statistik), welche eine Zufallsstichprobe voraussetzen.
Das heisst es geht NICHT um eine ganz bestimmte Zusammensetzung der Stichprobe wie der Begriff unterstellt sondern darum, dass diese MÖGLICHST nach dem Zufallsprinzip erhoben wurde. Wobei alle Elemente einer Grundgesamtheit (hier die Websitebesucher) die gleiche Chance haben sollten am Experiment teilnehmen zu können. „Repräsentativität“ wird bei einem Website-Test quasi erreicht, wenn eine für den gewählten Vertrauensbereich genügend grosse Zufallsstichprobe vorliegt.

Bei einem A/B- oder multivariaten Test werden den Besuchern Varianten der Website nach dem Zufallsprinzip eingeblendet um eine Zufallsauswahl sicherzustellen. Dieses Auswahlverfahren ist jedoch relativ störanfällig, weil sich die Zusammensetzung der Website Besucher bedingt durch äussere Einflüsse wie Kampagnen oder andere Aktionen kurzfristig stark ändern können. Und zwar sowohl wenn die Testdauer zu kurz aber auch zu lange gewählt wird.
Dieses Dilemma liesse sich durch eine mehrstufige Zufallsauswahl auflösen; beispielsweise in dem der gleiche Test innerhalb eines längeren Zeitraums an nach dem Zufallsprinzip ausgewählten Tagen wiederholt und dann zusammengerechnet würde. Das ist jedoch meistens nicht praktikabel. Konsequent zu Ende gedacht müsste die Stichprobenauswahl dann über ein ganzes Jahr verteilt werden und daraus würde DIE super Stichprobe resultieren – für die retrospektive Betrachtung :-( Wie Sie jedoch gleich sehen werden, ist bei Websites von einer sich ändernden Grundgesamtheit auszugehen, was so oder so regelmässiges und erneutes Testen bedingt.
Praktikabler und daher üblich ist es über einen kürzeren Zeitraum von beispielsweise 2-3 Wochen zu testen. Darüber hinaus kann eine pragmatische Beurteilung der Stichproben und deren Zusammensetzung aufgrund der Webanalyse-Daten vorgenommen werden. Das ist das grosse Glück bei der ganzen Geschichte: Wir können ohne grossen Aufwand die Stichprobe in ihre Bestandteile zerlegen und analysieren und dabei auch den Zeitraum vor und nach dem Test berücksichtigen. Denn Website-Tests lassen sich ganz einfach mit den Webanalyse-Daten koppeln und das bietet einem eine Fülle von Insights –ist doch super – oder nicht?

Jeder konventionelle Marktforscher bekäme vermutlich spontan multiple Orgasmen ob dieser und andere Möglichkeiten in der Online-Welt. Um starke Schwankungen geht es auch bei der Beurteilung der Stichprobe. Hier jedoch nicht um die Schwankung von „gewissen“ Gefühlszuständen sondern um Schwankungen von Webanalyse-Kennzahlen im Zeitverlauf.
Jede Kennzahl oszilliert natürlicherweise um einen bestimmten Mittelwert. Eine genügend grosse Datenmenge und Zeitdauer vorausgesetzt, lässt sich mit Hilfe der Standardabweichung vom Mittelwert (hier deskriptive Statistik) ermitteln, ob Abweichungen nach oben oder nach unten mehr als nur zufällig sind. Sie können sich das ruhig mal  als Darstellung in den Webanalyse-Daten vorstellen oder folgendes Bild betrachten.

Diese natürliche Schwankung erfolgt innerhalb eines bestimmten Bandes um den Mittelwert der Kennzahl. Dieses „Band“ ergibt sich aus der Schwankung nach oben und nach unten jeweils um die Standardabweichung der jeweiligen Kennzahl.
Die Frage ist nun, ob und ab welchem Schwellenwert eine Abweichung von diesem Band nach oben oder nach unten mehr als nur zufällig ist. Je nach dem wird dazu zwei bis drei Mal die Standard Abweichung nach oben und nach unten als Kontroll-Limit definiert. Ausführlich beschrieben wird das Thema Kontroll-Limits in der Webanalyse im Blogbeitrag von  Avinash Kaushik. Dort finden Sie auch das Excel Tool zur Bestimmung der Kontroll-Limits. Einfach die Daten aus dem Webanalyse Tool einfügen und analysieren. Und die Standardabweichung anpassen.

Die kurzfristigen Ausschläge (Peaks) welche über die  Kontroll- Limit aus dem „Rauschen“ herausragen sollten untersucht werden. Beziehungsweise der Zeitraum des Experiments so gesetzt werden, dass solche Überschreitungen nicht vorkommen. Wichtig ist, dass die Standardabweichung aufgrund von einem längeren Zeitraum als die Testdauer bestimmt werden; am besten einige Wochen oder Monate. Als Webanalyse-Kennzahlen eignen sich hier solche, die auf äussere Einflüsse hinweisen jedoch keine abhängigen Variablen des Test sind; geeignet sind beispielsweise Kennzahlen wie Traffic/Kanal nicht geeignet sind Conversion-Rates weil diese eben „vom Test abhängig“ sind.

Das beschrieben Vorgehen ermöglicht es auf pragmatische Art  und Weise die Qualität der Stichprobe zu verbessern, indem Extrema aufgrund von äusseren Störfaktoren ausgeschlossen werden. Der Vorteil liegt auch darin, dass die Ausschlusskriterien dabei klar definiert werden können und so eine systematische Verzerrung (Bias) ausgeschlossen wird. Somit ist das Verfahren unter den beschriebenen Voraussetzungen sicherlich ein praktikabler Weg um validere und wiederholbare Ergebnisse durch eine bessere Stichprobenauswahl zu erzeugen. Schön, doch selbst falls ein valider Website-Test vorliegt der auf einer möglichst guten Stichprobenauswahl basiert stellt sich immer noch die Frage:

Wie lange ist ein A/B- oder multivariater Test haltbar?

Grundsätzlich ist ein A/B Test so lange haltbar wie sich die Grundgesamtheit der Website Besucher nicht ändert oder die Website in Ihrem Design oder Inhalten so verändert wird, dass dies die bereits getesteten Elemente beeinflusst. Alles klar?! Es gibt natürlich kein allgemeingültiges Haltbarkeitsdatum von Website- Tests. Aber das schöne ist, dass wir wie beschrieben Webanalyse-Daten zu Hilfe nehmen können. Wobei es hier nicht nur um kurzfristigen Abweichungen (Peaks) wie oben geht, sondern um fundamentale und eher längerfristige Änderungen beispielsweise des Traffics pro Kanal.

Dabei kann im Prinzip mit Kontroll-Limits wie oben gearbeitet werden. Falls diese erreicht werden ist Zeit zu prüfen ob neu getestet werden soll. Wobei hier im Gegensatz zu oben auch weitere Kennzahlen wie Conversion-Rates oder vorgelagerte Kennzahlen wie Micro-Conversions zu Rate gezogen werden können und sollen. Der Unterscheid zu oben liegt darin, dass nicht aufgrund von Testresultaten auf die Grundgesamtheit geschlossen werden soll sondern nur Entwicklungen innerhalb der Daten analysiert werden.
Wenn sich die Veränderungen jenseits der Kontroll-Limits auf weitere Kennzahlen niederschlagen, dann ist die Zeit reif um neu zu testen oder. Bei Veränderungen an der Website müssen wie Eingangs erwähnt ältere Testresultate so oder so hinterfragt und allenfalls neu getestet werden.

Fazit:
Die Vorhersagekraft von Website-Tests lässt sich verbessern indem die Stichprobenqualität mithilfe der Webanalyse-Zahlen überprüft und allenfalls der Zeitraum des Tests angepasst wird. Das Ablaufdatum eines Website-Tests kann auch relativ einfach anhand von Kontroll-Limts und der Webanalyse-Kennzahlen bestimmt werden. Damit können die Optimierungs-Zyklen besser geplant und abgestimmt werden um die Effizienz und Effektivität der Optimierungsmassnahmen zu maximieren.

Das Thema machte kürzlich in den sozialen Medien die Runde und wurde auch in einem Artikel vom “Conversion Doktor” Gabriel Beck aufgenommen. Los getreten wurde das Ganze aufgrund eines englischsprachigen Artikels von Analytics Impact welcher folgende Beobachtungen ausführt:

• Resultate eines Website-Test lassen sich nicht immer reproduzieren, auch wenn diese statistisch signifikant sind
• Bei A/B-Tests die man über einen längere Zeitraum von Monaten laufen lässt, kann man teilweise beobachten, dass die Resultate der beiden Version konvergieren (sich angleichen)

Das wirft schon einige ganz interessante Frage auf, auf die ich noch kommen werde. Die Diskussion welche die  Artikel erzeugen können, finde ich schon ganz interessant. Nichtsdestotrotz – oder erst Recht – möchte ich nicht nur hinterfragen sondern auch zwei der Behauptungen des Artikels klar wiederlegen, weil diese definitiv auf falschen Annahmen basieren.

Die Knacknuss ist wie so oft die Interpretation der Daten.

Im zweiten Teil des zitierten Artikels von Analytics Impact werden zur Interpretation dieser Beobachtungen Behauptungen aufgestellt, die schlicht und ergreifend falsch sind und daher erstmal die Korrektur:

1. Signifikanz: Wenn in einem A/B-Test die Original-Version 4% und der Herausforderer 6% Conversion-Rate (CR)  bei einem Vertrauensbereich von 97% erreichen, heisst das sehr wohl, dass es zu 97% wahrscheinlich ist, dass es einen Uplift von 50% geben wird. Die Signifikanz wird ja bestimmt in dem die Standardabweichung der Conversion-Rates berechnet wird. Und dann je nach gewünschtem Vertrauensbereich mit der Differenz der CR’s verglichen wird. Und aus dem Vertrauensbereich von 97% lässt sich direkt die Irrtumswahrscheinlichkeit von 3% ableiten. Signifikanz liegt dann vor, wenn die Irrtumswahrscheinlichkeit kleiner oder gleich dem Signifikanzniveau ist. Mehr zu statistischen Grundlagen beispielsweise hier. Volles Verständnis wenn einem das nicht mehr ganz präsent ist, sollte aber in Erinnerung gerufen werden wenn man solche Dinge beurteilen möchte.
2. Ungenügende Stichprobengrösse: Es kommt bis zu einem gewissen Grad auf die Stichprobengrösse an, im Modell der Statistik aber nur um die  Irrtumswahrscheinlichkeit auf eine bestimmtes Mass zu senken. Darüber hinaus ist es aber viel wichtiger – wie sie gleich erkennen werden – dass eine Zufallsstichprobe vorliegt; und genau da liegt der Hund bei Website-Tests begraben.

-> Das heisst die Signifikanz ist nicht „Schuld“ und es liegt wohl zumeist auch nicht an zu kleinen Stichproben.

Woran liegt es dann, dass es eben doch passieren kann, dass sich signifikante Resultate eines A/B-Tests nicht wiederhohlen lassen?

Es gibt keine Testresultate mit 100%-iger Sicherheit: Selbst bei einem  Vertrauensbereich von sehr hohen 99% beträgt die Irrtumswahrscheinlichkeit immer noch 1%. Das heisst der Zufall spielt immer mit. Und mit dem Zufall ist es so ne Sache. Ein Konzept das manchmal schwer zu fassen ist. So kann paradoxerweise bei einem ein- oder zweimal durchgeführten Website-Test nicht automatisch von einer geringeren Irrtumswahrscheinlichkeit auf eine höhere Wiederholbarkeit geschlossen werden. Dieser Schluss geht erst auf wenn der Test sehr oft wiederholt wird. Weil eben der Zufall mitspielen kann und wie der mitspielt kann nur für eine Stichprobe bemessen werden und nicht für einzelne Elemente einer Stichprobe. Uns wurde früher immer gesagt:

“Ein Mal messen ist kein Mal messen”

Jeder Website Test unterliegt Störfaktoren und äusseren Einflüssen. Einerseits bedingt durch die Art zu Messen (technische Einflüsse wie Limitierung durch Javascript etc), aber vor allem auch durch äussere Einflüsse wie beispielsweise die Selektion der Besucher durch Marketing-Kanäle. Das heisst die Frage ist nicht nur ob eine Test signifikant ist, technisch alles korrekt ablief sondern eben auch ob eine Zufallsstichprobe vorliegt.

A/B-Tests müssen auf Zufallstichproben basieren

Eine Website selektiert Ihre Besucher ganz stark durch Inhalte und Ansprache via die Kanäle. Wenn sich nun die Zusammensetzung der Stichprobe während des Tests über einen zufälligen Bereich hinaus verändert, kann von der Stichprobe nicht mehr auf den Rest der Website geschlossen werden – und schon gar nicht auf künftige Website-Besucher.
Die Sache ist nur die, dass solche Veränderungen nicht aufs erste offensichtlich sind, weil die betrachteten Webanalyse-Kennzahlen oftmals unsegmentierte Durschnittswerte der gesamten Website sind.

Darüber hinaus sollte das Ganze auch im Zeitverlauf betrachtet werden: Aufgrund der Dynamik einer Website ist davon auszugehen, dass sich die angenommene Grundgesamtheit der Websitebesucher mit der Zeit verändert. Und daher die Zufallsstichprobe eines Website-Tests für die heute Gültigkeit angenommen werden kann, diese mit der Zeit langsam aber sicher verlieren wird. Wir werden noch sehen woran man das erkennen kann.

Das sich zwei Varianten eines A/B-Test wie eingangs beschrieben nach längere Zeit angleichen, kann bis zu einem gewissen Grad durch die mit der Zeit sinkende Irrtumswarscheinlichkeit erklärt werden. Bei sich stark angleichenden Test-Resultaten ist möglich, dass die Stichprobe nicht randomisiert (zufällig ausgewählt) wurde. Oder sich die Zusammensetzung der Website-Besucher im Laufe der Zeit so verändert hat, dass nicht mehr von einer Zufallsstichprobe gesprochen werden kann. Und das passiert mit der Zeit bei jeder Website – garantiert. Die Frage ist nur wie lange das dauert und wie man das erkennt.

Hinsichtlich Website-Tests ergeben sich daraus folgende Fragen

Und auf diese Fragen gehe ich im nächsten Artikel ein, oder im übernächsten mal schauen ; – ) Jedenfalls schon bald, versprochen!

• Was tun wenn sich ein A/B Test nicht reproduzieren lässt?
• Woran erkenne ich, dass mein Website-Test nicht auf einer Zufallsstichprobe basiert?
• Wie lange ist ein A/B-Test haltbar?

Schauen wir uns mal die Fakten an: Die Absprungrate umfasst per Definition alle Besucher mit nur einem Seitenaufruf. Das umfasst sowohl Besucher welche die Website sofort wieder verlassen wie auch alle Besucher welche die Zielseite auf der sie gelandet sind lesen.  Und das kann ja bei Content-Websites durchaus das Ziel sein.
Und “Leser” von Content kann man aber beim besten Willen nicht als “Abspringer” bezeichnen; da die nicht springen sondern lesen : – ). Der Mann auf dem Bild oben hätte jedenfalls vermutlich Mühe zu springen und gleichzeitig zu lese, oder? Jedenfalls gibt es einen qualitativen Unterschied zwischen den beiden Gruppen und weitere gute Gründe die Absprungrate zu differenzieren, wie Sie gleich sehen werden.

Hintergrund dieser Definition der Absprungrate mag auch der sein, dass normalerweise die Verweildauer beim ersten Seitenaufruf nicht berechnet werden kann, weil dazu zwei Messpunkte notwendig sind. Und genau an dem Punkt setzt auch eine einfach Lösung für die Differenzierung an.

Sobald nämlich nach der Ankunft auf der Website eine Interaktion des Besuchers erfasst wird, kann die Verweildauer berechnet werden. Das trifft auch auf Events zu. Und Events lassen sich automatisch ausführen. Je nach Hersteller mag unterschiedliche Ansätze geben um das zu realisieren. Ich gehe hier auf Google Analytics ein, weil es das mit Abstand am meisten verbreitete Webanalyse-Tool ist.

Wie kann die Absprungrate in Google Analytics “richtig” gemessen werden?

Was richtig oder falsch ist, ist natürlich Ansichtssache. Aber eine Differenzierung der Absprungrate macht aber sicherlich Sinn weil das mehr Informationen und Verlässlichkeit bringt. Und das kann ganz einfach umgesetzt werden; in Google Analytics mit folgender kleinen Anpassung am Tracking Code:

</script>
<script type="text/javascript">
var _gaq = _gaq || [];
_gaq.push(['_setAccount', 'UA-XXXXXX-Y']);
_gaq.push(['_gat._anonymizeIp']);
_gaq.push(['_trackPageview']);
setTimeout('_gaq.push([\'_trackEvent\', \'NoBounce\', \'Over 10 seconds\'])
',10000);

</script>

Wobei mit 10000 im rot gefärbten Teil des Codes die Verzögerung in Millisekunden gemeint ist. Das heisst mit der Code-Anpassung werden nur noch Besucher die weniger als 10 Sekunden auf der Website verbleiben zur Absprungrate gezählt. Je nach Kontext machen meiner Ansicht nach  Werte im Bereich von 10-30 Sekunden Sinn. Weitere Infos zur Code-Anpassung.

Es spricht einiges für diese Anpassung:

• Differenzierung der Absprungrate, “Leser” werden nicht mehr zu den “Abspringer” gezählt
• Die Absprungrate kann gezielter als Kennzahl für die Optimierung eingesetzt werden weil diese nur noch Besuche enthält, welche die Website sofort wieder verlassen haben
• Zusätzliche Informationen über die Verweildauer auf der ersten aufgerufenen Seite eines Besuches
• Falls bereits Event-Tracking auf Zielseiten eingesetzt wird: Dann ist die Anpassung ein Muss, weil aufgerufene Events auf Landingpages die Bounce-Rate und die Verweildauer beeinflussen, Stichwort Vergleichbarkeit

Doch was sind die Konsequenzen dieser Anpassung? Die in den Reports angezeigte Absprungrate wird dramatisch sinken. Auf diesem Bog von hat sich die angezeigte Absprungrate von über 70% auf unter 10% verringert. Das heisst für eine gewisse Zeit nach der Anpassung wird die Kennzahl nicht mehr mit historischen Daten vergleichbar sein. Jedoch bereits nach kurzer Zeit haben Sie bessere und verlässlichere Daten zur Verfügung.

Doch auch Kennzahlen wie Seitenaufrufe und die Verweildauer haben so ihre Schwächen wie ich bereits ausführte.
Daher gehen manche Tools wie Clicktale oder Mouseflow, die als Ergänzung zu herkömmlichen Webanalyse-Tools genutzt werden können einen entscheidenden Schritt weiter.
Dort nähert man die Kennzahlen der tatsächlichen Besucher-Interaktion mit der Website nochmals mehr an, indem auch die Mouse- und Scroll-Bewegungen mit berücksichtigt werden. Doch darauf komme ich in einem späteren Beitrag zurück ; – )

Was ist Ihre Meinung? Welche Zeitdauer zur Abgrenzung der Absprungrate scheint Ihnen sinnvoll? Was halten Sie ganz grundsätzlich von dieser Anpassung, die ja eine Abweichung von der üblichen Definition darstellt?

Kein Wunder denken Sie vielleicht, denn in der Hinsicht wurde man man ja in der alten Google Analytics Version nicht gerade verwöhnt und entsprechend positiv fällt die neue Oberfläche. Doch auch im Vergleich mit anderen Tools kann sich Analytics mittlerweile durchaus sehen lassen und auch die Logik der Navigation ist recht gut gelungen wie ich finde.

Neben den Hurrarufen gibt es aber auch handfeste Kritikpunkte an der neuen Google Analytics Version. Und zwar zu recht. Viele Benutzer arbeiten mit der neuen Version und schalten bei Bedarf auf die alte, was ja kein Zustand ist. Und schon bald kann man nicht mehr auf die alte Google Analytics Version umschalten. Höchste Zeit was zu unternehmen.

Schauen wir uns mal an was dahinter steckt und wie man da vielleicht sogar zwei oder mehr Fliegen mit einem Streich schlagen könnte. Es sind im wesentlichen folgende

Fragen zur neuen Google Analytics Version, die immer wieder aufkommen

1. Wie kann ich PDF’s exportieren aus der neuen Google Analytics Version?

Im Moment noch gar nicht, sollte demnächst und jeden Augenblick kommen – heisst es bereits seit November von Google . Doch wer bereit ist bestehende Gewohnheiten zu hinterfragen und zu verbessern, kann vielleicht zum Workaround nach unten scrollen um festzustellen, dass es besseres gibt als PDF’s zu exportieren. Ja, klar die die Möglichkeit braucht es manchmal und ich bin zuversichtlich, dass das schon noch kommt. Vor 2025 hoffentlich…

2. Wo sind die eMail-Reports hingekommen in der neuen Version V5?

Auch hier: Sollte kommen und wird schon einen Weile versprochen, vielleicht einen Blick auf den  Workaround werfen. Und beten das die Welt 2012 nicht untergeht. Denn dann werden wir die neunen eMail-Reports bestimmt noch erleben : – )

3. Wo kann ich diese Übersicht der Accounts und Profile sehen mit den Veränderungen des Traffics?

Die Übersicht ist erst mal weg. Für die welche das nicht präsent haben: Es gab in der alten Google Analytics Version gleich nach dem einloggen einen Übersicht mit allen Accounts bzw den dazugehörigen Profilen. Und die ist vielen ganz feste ans Herz gewachsen. Nicht weil die besonders toll war und auch nicht besonders flexibel, aber man hat sich daran gewöhnt und eben man kriegt den Eindruck auf einen Blick die wesentlichen Veränderung zu sehen. Keine Ahnung ehrlich gesagt ob sowas in V5 in Planung ist.
Aber was ich weis: Es gibt eine viel bessere Lösung für das und mehr. Was wäre wenn da noch ein bisschen Social Media vielleicht … oder einen bessere grafische Darstellung … aber ich will noch nicht zu viel verraten.

4. Wie kann ich die die prozentuale Veränderung einer Kennzahl sehen in der neuen Version?

Gute Frage. Und zwar gibt es im Grunde zwei Fälle wo ein solcher Vergleich und die Anzeige der Differenz in Prozenten wünschenswert ist: Wenn man zwei Segmente oder zwei Zeiträume vergleichen möchte. Wie das ausgesehen hat für zwei Zeiträume zeigt folgender Screenshot:

So ähnlich sah das auch aus wenn man zwei Segmente verglich. Und das fehlt momentan definitiv in der neuen Versions und ich denke dass Google da bestimmt was neues bringen wird.
Wobei zu bemerken gilt, dass man auch mit so einem Feature in den Standard-Reports sehr schnell an Grenzen kommt. Man konnte auch in der alten Version nur zwei Zeiträume vergleichen indem man die aktuelle Zeitperiode mit der vorherigen verglich. Und beim Vergleich von mehreren Segmenten wurde die Darstellung schnell unübersichtlich.
Daher wäre eine flexiblere Lösung  mit besseren Darstellungsmöglichkeiten und Optionen zur Bearbeitung der Daten wünschenswert. Und bei grösseren Accounts kein Sampling der Daten, das wär doch was – oder nicht? Mal schauen vielleicht …

5. Was ist mit meinen benutzerdefinierten Berichten und Dashbords, kann ich die in die neue V5 übernehmen?

Benutzerdefinierte Bericht können von der alten in die neue Version übernommen werden, kein Problem. Jedoch gibt es da ganz neue Features und daher kann es sich lohnen benutzerdefinierte Berichte zu überdenken und neu aufzusetzen. Siehe auch Artikel Custom Reports in the new Google Analytics auf dem Google Analytics Blog.
Die Dashboards sind von Grund auf neu gestaltet und daher empfiehlt es sich auch, sich mal mit den neuen Möglichkeiten auseinander zu setzen.
Benutzerdefinierte Berichte und Dashbords sind toll, aber auch hier es gibt bessere Lösungen für das Reporting.

Die Lösung: Daten extrahieren und semi-automatisiert in Excel bearbeiten

Für Nerds, Geeks und andere Code-Akrobaten gibt es die Google Analytics API. Die gute Nachricht für Nicht-Programmierer und Menschen die auf Standard Lösungen setzen und gleichzeitig von den Vorteilen der API profitieren möchten ist: Es gibt eine Reihe von Erweiterungen welche einem helfen können die Analytics-Daten bequem über die API abzufragen. Ach übrigens die API ist eine Art Schnittstelle mit der Applikationen verbunden werden können, hier und konkret um Daten von Google Analytics abzufragen und dann beispielsweise in Excel weiter zu verwenden.

Vorteile beim Verwenden der API:

• Genauere und präzisere Daten, unter anderem weil kein Sampling der Daten stattfindet
• Download von beliebigen Segmenten  und benutzerdefinierten Reports
• Bearbeitungsmöglichkeiten: Andere Darstellung oder Kombination mit anderen Daten

Ich kann http://www.nextanalytics.com wärmstens empfehlen und stelle daher das Tool daher hier vor. Mit Nextanalytics können Sie Daten über die API’s von Google Analytics, Twitter und Facebook abrufen und in Excel weiterverwenden. Im Prinzip ist es eine Erweiterung für Excel. Einmal installiert, kann es direkt aus Excel gestartet werden. Dann erscheint folgendes Fenster mit dem Editor um die Daten abzurufen via die API und  diese zu bearbeiten:

In Nextanalytics sind über 60 Vorlagen (so genannte Widgets) enthalten, mit denen die Daten einfach dargestellt werden können. Falls Sie an weiteren Anwendungen für Nextanalytics interessiert sind, können Sie auch an einem deren Webinare teilnehmen, die finden jeweils um 18Uhr zu unsere Zeit statt.

Doch was bringt mir Nextanalytics zur Lösung obiger Probleme?

1. und 2. Die bessere Alternative für eMail-Reports und PDF-Export

Sie können frei entscheiden welche Daten wie dargestellt werden sollen. Trotz der Flexibilität haben Sie unzählige Vorlagen für Excel die das bequem zu bedienen machen und viel besser ausschauen als die Standard Reports; und Automatisierungsmöglichkeiten gibts auch. Und Hand aufs Herz: Was genau bringen die automatisch verschickten Standard Reports? Nichtes wird schneller ausgeblendet als eMails mit Zahlen ohne Kontext und immer zum gleichen Zeitpunkt versandt.
Falls Sie das mal hinterfragen für Ihre eigenen Daten und Agenturen diesen Prozess auch mit Ihren Kunden durchgehen und den Daten Sinn einzuhauchen versuchen, dann kommen Sie bestimmt einen gossen Schritt weiter.

3. Um eine Übersicht der Accounts und Profile zu erstellen

Das geht ganz einfach beispielsweise mit folgendem Standard-Widget, was für ein Profil so ausschauen kann:

Je nach dem wie viele Profile dargestellt werden sollen kann obige Darstellung mehrfach in ein Dashboard kopiert werden. Für mehr als fünf Profile würde ich eine andere Darstellung wählen, indem ich diese Vorlage anpasse oder einen andere wähle.

4. Um prozentuale Veränderung einer oder mehrerer Kennzahlen darzustellen

Auch das geht ganz einfach, Nextanalytics enthält sogar Vorlagen für Scorecards:

Aus dem Editor welches beim Aufrufen von Nextanalytics in Excel erscheint (siehe Abbildung oben) kann ich beliebige bestehende Segmente aus Google Analytics abrufen aber auch ad hoc welche erstellen. Zusätzliche können die Daten über ein Pivot anderes kombiniert und dargestellt werden – was ein sehr mächtiges Tool ist.

5. Um eigenen Berichte und Dashboards zu erstellen die auch Daten von anderen Quellen enthalten

Diese 60 Excel-Vorlagen (Widgets) für Google Analytics, Facebook und Twitter Daten können dann wiederum in Excel zu Dashboards kombiniert werden. So erhalten Sie genau die Berichte und Dashboards die Sie sich wünschen. Gerade auch die Möglichkeit Social-Media Daten – übrigens auch von Youtube und LinkedIn- auszuwerten macht Nextanalytics höchst spannend.

Fazit: Es lohnt sich Nextanalytics anzuschauen und zwar für einfache Anwendungen wie auch für fortgeschrittene. Das Tool kostet gerade mal 200 USD/Jahr und das rechnet sich schnell mal durch die Zeiteinsparung. Gerade für Agenturen aber auch für einzelne Anwender ist das ein Schnäppchen im Anbetracht der Möglichkeiten. Viel Spass damit!

-> Was ist Ihre Meinung zur neuen Google Analytics Version? Welche Lösungen bevorzugen Sie um Daten via die API zu extrahieren und zu bearbeiten?

Die verwendeten Grafik stammen übrigens von der Conversion School, genauer gesagt von der Conversion Summer School 2011. Ganz am Schluss des Artikel finden Sie den Link zur Präsentation.

Was bedeuten die Kennzahlen und welche ist die Beste?

Keine Kennzahl ist gut oder schlecht, jedoch unterliegen alle einer gewissen Art von Beeinflussbarkeit die durch das zugrunde liegende Messprinzip bedingt ist. Die folgende Tabelle beschreibt einige der gängigsten Webanalyse-Kennzahlen und erklärt deren Bedeutung aber auch  die Schwächen auf und durch was diese  beeinflusst werden können.

Hilfe zur Interpretation der grundlegenden Webanalyse-Kennzahlen, Bild anklicken zum vergrössern, Sie können auch das PDF  Webanalyse-Kennzahlen und Interpretation downloaden – und den Artikel übrigens gerne verlinken ; – )

Wenn keine der Kennzahlen “die Beste” ist, welche soll man dann nehmen? Ganz allgemein lässt sich sagen, dass es meistens vorteilhaft ist, wenn mehrere Kennzahlen verwendet werden um ein Web-Projekt zu beurteilen. So kann Beispielsweise die Kombination von Seitenaufrufen mit der Verweildauer ganz hilfreich sein, um die Intensität der Interaktion der Website-Besucher mit der Website (auch Engagement genannt) abzuschätzen. Weil sich durch die Ergänzung die Schwächen der jeweiligen Kennzahl teilweise ausgleichen. Doch dazu zu einem späteren Zeitpunkt mehr.

Wie werden Besuche, Besucher und wiederkehrende Besucher unterschieden?

Wie in obiger Tabelle dargestellt werden “Besuche”, “Besucher” und “wiederkehrende Besucher” über gewisse Annahmen wie die Zeit und über Cookies definiert und unterschieden, wobei ich hier von clientseitigem Tracking ausgehe und diese Annahmen je nach Webanalyse-Anbieter unterschiedlich sein könnnen. Der hier beschrieben Ansatz ist der wohl am weitesten verbreitetste ist, zu mindestens in der deutschsprachigen Region. Die folgende Abbildung zeigt den Zusammenhang zwischen den Kennzahlen “Besuche”, “Besucher” und “wiederkehrende Besucher”. Eine “Session” entspricht einem “Besuch” und die Session wird über einen bestimmten Zeitraum definiert, bzw. nach meistens einer halben Stunde der Inaktivität des Besuchers beendet. Via Cookies wird in der Webanalyse versucht die “Besuche”/Sessions den “Besuchern” zuzuordnen, wobei in Wirklichkeit der benutzen Kombination Rechner/Browser zugeordnet wird. Doch damit erreicht man eine gewisse Annäherung an tatsächliche und echte Besucher.

Die Grafik zeigt den Zusammenhang zwischen Sessions/Besuchern und wiederkehrenden Besuchern anhand von Seitenaufrufen eines einzelnen Besuchers

Das heisst “Besuche” zeigt die Frequenz mit der die Website-User auf die Website zugreifen, wobei ganz kurze “Frequenzen” dadurch rausgefiltert werden, dass eine neuer Besuch erst nach einer bestimmten Zeit (Session-Timeout) gezählt wird.
Wenn eine Person von einem Browser aus mehrfach auf eine Website zugreift, wird sie ein mal als “Besucher” gezählt und zusätzlich werden sämtliche Session dieser Person der Kennzahl “Besuche” zugerechnet. Sofern diese untereinander einen genügenden zeitlichen Abstand hatten (siehe auch Session 3 in der Grafik oben).
Diese Person wird ab der zweiten Session der Kennzahl “wiederkehrende Besucher” zugeordnet; solange  die Person den selben Rechner/Browser verwendet und die Cookies nicht gelöscht werden. Soweit alles klar? Ich hoffe schon ; – )

Grenzen der Kennzahl Verweildauer

Aufatmen, mit der Webanalyse-Kennzahl Verweildauer hält es sich relativ einfach : – ). Diese berechnet sich aus der Zeit-Differenz zwischen zwei Seitenaufrufen. Damit wird  auch schon eine der Schwächen klar, die in folgender Abbildung dargestellt wird:

Die Verweildauer kann von vielen Systemen beim letzten Seitenaufruf vor dem verlassen der Site nicht berechnet werden; weil es zwei Messpunkte braucht, dito bei Bouncern

Gravierender für die Aussagekraft der Kennzahl “Verweildauer” ist natürlich die Tatsache, dass durch Ablenkung der User oder “paralleles” Surfen in mehreren Tabs die Durchschnittswerte für die ganze Website oder einzelne Seiten massiv verfälscht werden kann. Daher ist die Verweildauer stand-allone nicht geeignet um die Interaktion der User zuverlässig zu beurteilen.

Was genau sagt die Absprungrate aus?

Unter Absprungrate  - auch Bounce-Rate genannt – versteht man die Besuche mit nur einem einzigen Seitenaufruf. Wie vorher beschrieben kann die Verweildauer hier auch (meist) nicht bestimmt werden, weil dazu zwei Messpunkte notwendig sind wie die Grafik zeigt:

Die Verweildauer ist bei den “Bouncer” – den Besuchen die zur Absprungrate beitragen  - standardmässig unbekannt

Ein Teil dieser “Bouncer” ist vermutlich tatsächlich uninteressiert an den Inhalten und verschwindet augenblicklich wieder; ein anderen Teil jedoch mag die Inhalte der Zielseite intensiv lesen jedoch keinen weiteren Seitenaufruf tätigen und werden daher ebenso als Bouncer gezählt.  Diese Problematik zeigt sich vor allem bei Content-Seiten wo erstmal Informationen vermittelt werden und keine weiteren Klicks notwendig sind.
Daher ist die Absprungrate mit Vorsicht zu geniessen und gerade als aggregierte und unsegmentierte Kennzahl ziemlich nutzlos. Natürlich kann die Absprungrate mit einem kleinen Trick weiter differenziert werden, doch dazu später mehr.

Falls Sie möchten können Sie sich die Prezi-Slides des Vortrag zu Webanalyse Grundlagen von der Conversion Summer School anschauen – Sie finden dort finden Sie auch weitere Slides. Auf Youtube finden Sie auch weitere Conversion School Videos.

Nicht das solche Funktionalitäten nicht schon von anderen Webanalyse-Anbietern bekannt gewesen wären. Aber eben jetzt auch für die breite Masse via Google Analytics und ohne zusätzliche Kosten.

Google Analytics Echtzeit Übersicht

Doch neben dieser anfänglicher Faszination für das eher  spielerische, stellt sich die Frage was das Ding bringt ausser einem wertvolle Zeit zu rauben ; – ) Das steckt ja möglicherweise mehr dahinter als das nur ein Spielzeug für Webanalysten und Marketer, oder nicht?

Schauen wir uns drei der wohl wichtigsten Anwendungen für die Google Analytics Echtzeit-Berichte an:

1. Social Media

Die sozialen Medien laufen in Echtzeit. Da kann ich nicht 24h warten um zu schauen wie meine Posts ankommen wenn ich auf das Verhalten der User reagieren will. Das ist vermutlich das Hauptbedürfniss dem Google mit den neuen Echtzeit-Berichten nachgekommen ist. Diese Berichte können beispielsweise aufzeigen auf wie die einzelnen Netzwerke auf Postings reagieren und erlauben es einem sofort darauf zu reagieren und zu schauen wie lange Aktivitäten anhalten. Um dann vielleicht noch ein bisschen nachzulegen..

2. Schnelllebiger Content

Für Publisher auch abseits von Sozialen Netzwerken ist Google Analytics Echtzeit echt ein Traum: Gerade bei schnelllebigem Content wie auf grossen News-Seiten aber auch Blogs wird sofort klar wie ein bestimmter Artikel oder auch Headlines beim Publikum ankommen. Das ermöglicht es auf die Präferenzen der Leser schnell zu reagieren und auch zu lernen.

3. Kampagnen-Tracking

Jeder der schon mal Kampagnen getagged hat kennt das (was ist Kampagnen-Tracking): Die Links der Banner, Newsletter oder was auch immer sind getagged und dann stellt sich die Frage ob die korrekt funktionieren. Warten bis zum nächsten Tag ist nervig und dank den Echtzeit-Berichten gehört das nun auch bei Google der Vergangenheit an.
Aber auch hier bei “klassischen” Online-Kampagnen wie zum Beispiel Newsletter erhalte ich sofort Feedback wie der Newsletter ankommt oder welche Banner geklickt werden. Oder in welchen geografischen Regionen die Kampagne besonders geklickt wird etc.

Geografische Verteilung der aktuellen Website-Besucher in Echtzeit

Fazit: Gerade für Social Media Marketer und Publisher sind die neuen Google Analytics Echtzeit-Reports ein Segen und lösen da Begeisterung aus weil das live-Feedback wertvoll sein kann.

Vorsicht ist jedoch bei der Interpretation der Daten geboten: Schnell lässt sich die menschliche Wahrnehmung aufgrund einzelner Hinweise täuschen. Daher muss gerade auch hier besonders über die Representativität reflektiert werden und immer auf die statisitische Signifikanz geachtet werden wenn aus Echtzeit-Daten Schlüsse gezogen werden sollen.

Mehr Infos zu den Google Analytics Echtzeit-Berichten finden Sie auf dem Google Analytics Blog und auch in diesem Artikel der mehr Echtzeit-Anwendungsfälle diskutiert.