Seit im Frühjahr Google mit einem großen Update den US-Index und wenig später auch den britischen Index aufgeräumt hat, wurde gerätselt, wann denn das Panda-Update in Deutschland zuschlagen würde. Einem Beitrag im Google-Blog zufolge ist es nun auch hierzulande soweit: Der Panda ist in Deutschland angekommen!

Doch wie wirkt sich das Panda-Update bei uns aus? Ich habe einen kleinen Schnellvergleich von vier Preis- bzw. Produktvergleichsseiten durchgeführt. Basis waren vier Sets von jeweils 15 Keywords, zu denen die betrachteten Websites vor Panda auf Platz 1 zu finden waren. In der Tabelle habe ich nun die Situation nach Panda dargestellt:

So konnte Idealo.de von seinen fünfzehn Platz-Eins-Platzierungen dreizehn verteidigen – und die beiden “Verlierer” ranken immer noch in den Top 10. Doch auch die Sites, die von Panda Deutschland erwischt wurden, scheinen nicht so schwer getroffen zu sein wie die Verlierer beim US-Panda. Zwar verlor dooyoo.de für alle untersuchten Keywords Platz eins, rankt aber immer noch für all diese Suchbegriffe in den Top 10. Insgesamt ist von den betrachteten sechzig Rankings nur ein Ranking aus den Top 10 gerutscht.

Bestätigt sich der Trend dieser ersten Schnellmessung, scheint sich Panda in Deutschland anders auszuwirken als im englischsprachigen Raum. Dort war der Anteil der Rankings, die komplett abgestürzt sind, weitaus größer.

Und ganz frisch kommen auch schon die ersten Zahlen von Sistrix rein:
Panda-Verlierer in Deutschland

Denn das Update zielt auf die (oftmals eben nicht vorhandene) inhaltliche Qualität und diese Qualität hat wenig mit Brands zu tun. Wir müssen uns nur einmal erinnern, mit welch spammigen Seiten so manche Online-Ableger von bekannten Printmedien in den letzten Jahren angetreten waren. Das Brand-Update 2009 hatte ja eine ganz andere Zielsetzung: Damals hatte Google offenbar festgestellt, dass viele Nutzer bei der Suche nach generischen Begriffen – etwa Drucker – bekannte Brands wie Canon oder Brother vermissten. Für diese Zielsetzung ist die Auswertung des Brandtraffics sinnvoll. Im Farmer-Update geht es hingegen darum, die Seiten vorne anzuzeigen, die bessere Qualität haben. Überlegen wir deshalb einmal, wie diese Qualität algorithmisch gemessen werden könnte.

Semantische Analyse

Auf den ersten Blick naheliegend wäre es, die inhaltliche Qualität eines Textes automatisiert zu bewerten. Doch kann das wirklich funktionieren? Werfen wir dazu einen Blick auf folgenden Pseudo-Ratgeber-Text:
Gartenteich anlegen
Um im eigenen Garten einen Gartenteich anlegen zu können, benötigen wir eine Teichfolie, manchmal auch einfach Teichplane genannt. Viele Heimwerker würden nun hergehen und ein Loch graben, doch wir sparen uns diese Arbeit. Wir schichten einfach einen runden Sandwall auf und legen die Folie hinein. Nun durchlöchern wir unsere Teichfolie, denn das befördert den Sauerstoffaustausch und verhindert die Algenbildung. Wenn wir jetzt noch unseren Tümpel mit Wasser aus dem Schlauch füllen, ist unser selbstgemachter Gartenteich auch schon fertig.

Dieser Text ist sprachlich ordentlich geschrieben und setzt sogar einige Synonyme ( für die Freunde der Latent Semantischen Optimierung) ein. Trotzdem ist jedem Menschen klar, dass so nie ein Gartenteich funktionieren würde. Aber kann tatsächlich eine Maschine erkennen, dass der Sandwall dem Wasserdruck nicht standhielte und eine durchlöcherte Folie nicht für bessere Sauerstoffversorgung sorgte? Bis wir soweit sind, dürften noch einige Jahrzehnte vergehen.

Nutzerverhalten

Ich habe in einem früheren Artikel bereits die Möglichkeiten, die Google hat, das Nutzerverhalten zu bewerten, einmal dargelegt. Die dort geschilderten Möglichkeiten ließen sich auch einsetzen, um die Qualität von Artikeln auf Contentfarmen zu bewerten. Allerdings ist die Analyse dieser Daten sicherlich nicht so ganz einfach. Wer einen Gartenteich anlegen möchte, wird bei der Recherche meist mehr als nur einen Artikel lesen. Wenn also der Nutzer auf die Ergebnisse eins, zwei und drei geht und dann (von Googles Radar) verschwindet, heißt das, dass eins und zwei schlecht, Artikel drei aber gut war? Oder einfach nur, dass der Nutzer nach dem dritten Artikel bemerkt hat, dass alle wesentlichen Hinweise ähnlich sind und er somit seine Recherche abbrechen kann?

Für so weitreichende Entscheidungen wie sie offensichtlich beim Farmer-Update getroffen wurden, erscheinen mir die Daten des Nutzerverhaltens auf den Google-Suchergebnisseiten zu schwammig zu sein als dass Google diesen Daten alleine vertrauen würde.

Social Media Signale

Allerdings ist das Web heute voll von Hinweisen auf das Verhalten von Nutzern – und Google kann viele davon abgreifen. Denn Nutzer stellen heute mit guten Inhalten alles mögliche an: Sie twittern URLs, sie stellen Artikel in Bookmarking-Dienste wie Mister-Wong ein oder sie teilen sie mit ihren “Freunden” auf Facebook.

Anzahl von Backlinks auf die beispielhaft ausgewählten Content-Farms.

Um einen Eindruck davon zu bekommen, ob sich daraus Rankingsignale für unseren Zweck ableiten ließen, habe ich für jeweils drei zufällig ausgewählte Farmer-Verlierer und -Gewinner über Yahoo die Backlinks aus den drei Social-Diensten Twitter, Facebook und Mister-Wong ermittelt und aufgelistet. Mir ist bewusst, dass die Erhebung dieser Zahlen über Yahoo alles andere als zuverlässig ist. Aber ich möchte hier ja auch keinen Beweis antreten, sondern lediglich einen Denkanstoß geben. Und die Zahlen deuten an, dass das Farmer-Update womöglich in diese Richtung gehen könnte.

Ich höre schon den Einwand, dass diese Dinge ja einfach manipuliert werden könnten. Und ja, das ist richtig. Das gibt Matt Cutts im Wired-Interview explizit zu:

But for example, our most recent algorithm does contain signals that can be gamed. If that one were 100 percent transparent, the bad guys would know how to optimize their way back into the rankings.

Diese Aussage legt zudem nahe, dass es keine tiefsinnigen semantischen Analysen gibt und auch die Auswertung des Nutzerverhaltens auf den Google-SERPs nicht das zentrale Kriterium ist – beide Punkte wären nicht so einfach zu manipulieren. Getwitterte und gefacebookte URLs sind hingegen recht einfach zu beeinflussen; auch wenn Google garantiert detailliertere Analysen macht als nur die pure Anzahl an Erwähnungen zu bewerten. So wäre eine erste Verbesserung, nicht die pure Anzahl an Social-Mentions heranzuziehen, sondern diese in Relation zur Anzahl vorhandener (oder in einem bestimmten Zeitraum veröffentlichter) Artikel zu setzen. Ich kann mir jedenfalls gut vorstellen, dass solche Analysen zumindest als Teil der Spam-Signale mit eingeflossen sind. Und wer meint, solch vage Zahlen eignen sich nicht als Ranking-Parameter, der möge nochmals meinen Artikel über Spam-Signale und Ranking-Faktoren lesen.

Sobald das Farmer-Update (oder Panda-Update, wie Google es nennt) auch hierzulande angekommen ist, sollten wir uns leichter tun mit einer Analyse. Wenn auch die Geschichte der letzten großen Updates – Mayday, Brand – zeigt, dass es uns Google immer schwerer macht, die Änderungen zu durchschauen.

Weiterer Lesestoff

Zusammenstellung der Gewinner und Verlierer
Offizieller Google-Post
Algorithmus-Änderung: Google sucht nach Qualität
Zahlen zu den Gewinnern und Verlierern

Vermutlich hat Google das so genannt, weil der Webmaster damit seine Ajax-Seiten dem Googlebot zugänglich machen kann. Wie das geht, beschreibt Google selber recht gut. Grundsätzlich funktioniert Ajax-Crawling ziemlich einfach: Der Webmaster verlinkt auf eine Ajax-URL, die “#!” enthält und dahinter die für die Ajax-Darstellung nötigen Parameter. Also z.B. so etwas example.com/#!test. Das Protokoll besagt nun, dass der Googlebot nicht diese URL direkt abrufen soll, sondern erst #! durch ?_escaped_fragment_= ersetzt. Damit wird aus unserer URL nun example.com/?_escaped_fragment_=test und diese URL wird dann vom Googlebot gecrawlt – im Google-Index erscheinen aber nur die URLs mit #!, die _escaped_fragment_-URLs tauchen nirgendwo auf und auch andere Suchmaschinen greifen nicht darauf zu.

Damit nimmt uns Google die Hauptarbeit beim Cloaking ab. Die Schwierigkeit liegt beim Cloaking ja darin, den Googlebot sauber von menschlichen Besuchern zu unterscheiden. Mit Ajax-Crawling stellt Google einen Mechanismus bereit, der genau diese Unterscheidung selber vornimmt. Und da bislang nur Google das Ajax-Crawling unterstützt, sehen andere Suchmaschinen (Stichwort: Yahoo Site Explorer) unsere gecloakten Inhalte nicht. Eine Methode also, die sich wunderbar anbietet, um Links zu verstecken.

Natürlich sagt Google, dass sich die Inhalte von #! und ?_escaped_fragment_= nicht unterscheiden sollten. Den genauen Wortlaut des entsprechenden Google-Hinweises gebe ich hier mal als Warnung wider:

Es ist wichtig zu beachten, dass die Bereitstellung von AJAX-Anwendungen für Crawler keine Einladung dazu ist, Cloaking zu erleichtern. Aus diesem Grund muss der HTML-Snapshot den gleichen Content enthalten, den der Endnutzer in einem Browser sehen soll.

Aber die Zusammenarbeit von Javascript-basierter HTML-Erstellung (Ajax) mit der serverseitigen Erzeugung des HTML-Snapshots ist ja durchaus fehleranfällig; da kann es schon mal sein, dass in der Ajax-Version ein paar externe Links vergessen werden …

Ich bin jedenfalls gespannt, wie Google künftig damit umgehen wird. Google kennt die Problematik, das zeigt ja schon der oben zitierte FAQ-Eintrag. Aber eine automatische Überprüfung der Inhaltsgleichheit von Ajax- und gecrawlter URL ist nicht so ganz einfach; denn dazu bräuchte Google ja einen Ajax-fähigen Crawler und dann könnten sie sich den ganzen Aufwand mit dem Ajax-Crawling-Protokoll gleich sparen. Und wenn nun noch einige SEOs auf die Idee kommen, das ganze mit dem Canonical-Tag zu kombinieren, so dürfte es für Googles irisches Webspamteam einiges zu tun geben.

Natürlich lässt sich Ajax-Crawling auch für den offiziellen Zweck einsetzen, Ajax-Seiten für den Googlebot zugänglich zu machen. Wer sich dafür interessiert, dem möchte ich die nächste Ausgabe der Zeitschrift Website-Boosting ans Herz legen. Dort erscheint ein ausführlicher Artikel von mir über Ajax-Crawling. Die Ausgabe gibt es ab dem 4. Januar 2011 zu kaufen.

Natürlich ist das nur die halbe Wahrheit. Natürlich hatte ich ein Geschäftsmodell. Immerhin geht’s ums Frühjahr 2000, da hatte jede Website ein Geschäftsmodell; dummerweise war das Geschäftsmodell für jede Website das gleiche: Bannerwerbung. Auf dem Höhepunkt der ersten Internetblase wurden ja die IPO-Millionen auf direktem Weg vom Kapital- in den Werbemarkt gepumpt. Das Ergebnis waren TKP-Preise für Standardbanner, die sogar dreistellige DM-Preise erreichten. Entsprechend lautete mein Geschäftsmodell: 100.000 PageViews im Monat mal 50,- DM TKP gleich 5.000,- DM Monatsverdienst. Leider sanken im Jahr 2000 die TKP-Preise schneller als meine Besucherzahlen steigen konnten – und das, obwohl meine Besucherzahlen rapide stiegen.

Marktanteile 2000

Allerdings bewahrheitete sich auch für Suchmaschinentricks.de das alte Web-Motto: If you build it, they will come. Nur wenige Tage nach dem Launch der Website kürte Yahoo Suchmaschinentricks.de zur “Website der Woche” in Deutschland. Das hatte zwei Konsequenzen. Erstens war innerhalb eines Tages mein gesamtes monatliches Trafficpaket von immerhin einem Gigabyte verbraucht und zweitens erhielt ich wiederum wenige Tage später meinen ersten Auftrag als Suchmaschinenoptimierer.

Damals konnte man ja wirklich noch von Suchmaschinenoptimierer sprechen; heute müssten wir uns eigentlich Googleoptimierer nennen. Im Frühjahr 2000 hatte Yahoo einen Marktanteil von 26 Prozent, Altavista 10 Prozent. Google kam auf gerade mal 5 Prozent und konnte noch nicht einmal eine deutsche Oberfläche vorweisen. So war denn auch am 18. April die erste News-Meldung auf Suchmaschinentricks.de, dass Google nun auch auf deutsch verfügbar sei.

Überraschender als die Tatsache, dass Google im April 2000 noch unbedeutend war, sind aber beim Blick auf die alten Meldungen die vielen längst verschwundenen und vollkommen zurecht vergessenen “Next Big Things”. RealNames etwa war ein Zwitter aus manueller Suchmaschine und alternativem Domain-Registrar. Kunden konnten dort Suchbegriffe kaufen und so ihre Website diesem Begriff zuordnen. Zunächst sollten Kooperationen mit anderen Suchmaschinen, u.a. mit MSN, entsprechenden Traffic für die Suchwörter bringen, später wollte RealNames gar das Domain Name System ablösen. Das eigentlich Verrückte dabei war aber nicht das Konzept von RealNames; der echte Wahnsinn waren die Investoren, die über 130 Millionen Dollar in das Unternehmen investiert hatten.

Manche Konzepte haben überlebt

Eine zumindest indirekte Renaissance erlebt derzeit das Konzept von DirectHit. DirectHit bediente sich als Suchmaschine des Index von Inktomi und versuchte über das Nutzerverhalten (Stichwort: Bounce Rate) auf der Suchergebnisliste zu erkennen, welche Treffer gut und welche schlecht für die entsprechende Suchanfrage sein könnten. Leider hatte DirectHit zum einen das Pech, ausgerechnet zu einem Zeitpunkt durchstarten zu wollen, als Google seinen Aufstieg begann und viel, viel bessere Treffer als alle anderen Suchmaschinen zeigen konnte. Und andererseits gab es 2000 bereits genügend SEOs, die mit Perl-Scripten bewaffnet DirectHit zu ihren Gunsten zu beeinflussen wussten. So kläglich das Konzept damals scheiterte, heute sind viele Suchmaschinenoptimierer überzeugt, dass Google solche Verhaltensmuster (wenngleich auch viel intelligenter) auf den Suchergebnislisten sehr wohl auswertet und ins Ranking einfließen lässt.

Doch gab es im Jahr 2000 noch einige weitere Namen, die damals Bedeutung hatten und heute verschwunden sind. Mit Fireball und Infoseek existierten zwei eigenständige deutsche Suchmaschinen mit ordentlicher Technologie. Ein Eintrag im Yahoo Webkatalog wurde 2000 für kommerzielle Websites kostenpflichtig. Apropos Yahoo: Die heutige Yahoo-Vermarktungsabteilung hieß damals noch nicht mal Overture, sondern Goto.com und war eine erfolgreiche eigenständige Firma. Und das, was wir heute als Google Groups kennen, war unter Deja News bekannt.

Geburtstagsparty

Wo wir gerade beim Thema “Diskussionen” sind: Den größten Schub brachte Suchmaschinentricks.de der Start des Forums. Tatsächlich wurde das Forum bald so sehr mit der Website identifiziert, dass schon viele Optimierer nur noch das Forum wahrnahmen und alle anderen Artikel wie auch meine News ignorierten. Aber auf das Forum gehe ich sicherlich in einem anderen Artikel intensiver ein.

Natürlich soll dieser Artikel nicht alles zum zehnjährigen Jubiläum gewesen sein. Für den Sommer plane ich eine Geburtstagsparty in München. Weitere Details gibt’s hier in Kürze. Und wer den Drang verspürt, als Sponsor für diese Veranstaltung aufzutreten, darf sich gerne bei mir melden.

Ich war auf der diesjährigen SMX München mir drei Vorträgen vertreten. So habe ich in der Grundlagen-Reihe zunächst mit Kai Spriestersbach von Blue Summit über Keyword-Recherche gesprochen. Gemeinsam mit dem SEO-Strategen Hanns Kronenberg durfte ich dann über die “Ranking-Faktoren, Chancen und Herausforderungen” der Lokalen Suche – also über die Optimierung für Google Maps – referieren. Überraschend an dieser Session war, dass wir uns mit dem Thema “Lokale Suche” gegen die zeitgleich auf der SMX stattfindende letzte Show der legendären Webmasters on the Roof durchsetzen konnten. Unser Raum war so gut gefüllt, dass sogar etliche Zuhörer stehen mussten. Am zweiten Tag schließlich stand das für mich derzeit spannendste Thema “Realtime Search” auf der Agenda. Während ich hier anhand einiger Beispiele wie dem Erdbeben auf Haiti oder dem Rauswurf eines DSDS-Teilnehmers (Dank an Martin für seine Unterstützung!) auf die Bedeutung der verschiedenen Realtime-Ansätze einging, stellte Michael Kausch von der Agentur vibrio vor, wie sie ein “Haiti for Enterprise” erzeugten, als sie die Macht des Webs nutzten, um ihren ungeliebten Kaffeedienstleister loszuwerden.

Beeindruckt hat mich die Linkbuilding-Session mit Christoph Cemper, der einige spannende Details zum Linkbuilding zu erzählen wusste. So haben zum Beispiel sechs der Top-10 für den Suchbegriff seo einen Backlink von einer google.com-Website. Und für den Suchbegriff zuckerkrankheit sind sogar alle zehn Top-10 von Google aus verlinkt! Hinzu kommt, dass sieben der Top-10 einen Backlink vom IT-Portal heise.de haben – für den Begriff zuckerkrankheit wohlgemerkt.

Die SMX war von Matthew Finlay (und seinen vielen Helfern) wieder hervorragend organisiert, und auch die Party im Münchner “Vice” war – anders als im Vorjahr – dieser größten deutschen Suchkonferenz würdig. Lediglich das Hotel der SMX München 2010 konnte den Anspruch nicht wirklich erfüllen. Kaffee gab’s nur in den Pausen, Softgetränke waren hingegen ausschließlich in den Vortragssälen zu finden. Das WLAN hatte viele Aussetzer, war ansonsten lahm, dafür sauteuer. Und es soll Veranstaltungshotels geben, in denen das Personal zumindest die Referententische mit Getränken und Flaschenöffnern bestückt; das Westin Grand in München gehört wohl nicht dazu.

Hier finden Sie die Folien zu meinen oben erwähnten Vorträgen:
Keyword-Recherche-SMX-2010 (PDF, 542KB)
Lokale-Suche-SMX-2010 (PDF, 608KB)
Realtime-News-SMX-2010 (PDF, 452KB)

PageRank (..) is just one of over 200 signals that can affect how your site is crawled, indexed and ranked

Was aber ist mit Signal gemeint? Google wendet sich damit gegen das verbreitete Schwarz-Weiß-Denken: Eine Seite hat viele Footer-Links, also ist sie Spam. Eine Seite hat sehr hohen Trust, also kann sie kein Spam sein. Vielmehr geht es darum, eine Vielzahl von Hinweisen oder Merkmalen – Signale eben – auszuwerten und fürs Ranking zu benutzen. In gewisser Weise sind Signale nichts anderes als “weiche” Rankingfaktoren: Sie können einen Einfluss haben, müssen aber nicht. Erst wenn mehrere Signale zusammenwirken, hat das Einfluss auf die Position der bewerteten Seite. Insbesondere wenn’s um die Spamerkennung geht, sind Signale für Google wichtig. Ein böser Link alleine führt kaum zu einer Abwertung. Erst wenn Google sieht, dass viele böse Links vorhanden sind, aber wenige gute, kann das Auswirkungen haben.

Dabei ist der Umgang mit Signalen nichts, was Google erfunden hätte. Das grundlegende Vorgehen wird seit Jahren in E-Mail-Spamfiltern angewendet. In einer ansonsten tadellosen E-Mail wird das einmalige Vorkommen von “viagra” nicht zur Bewertung als Spam führen. Kommen aber zum Signal “viagra” noch weitere Signale (eine zweifelhafte Absender-IP, weitere böse Wörter usw.) hinzu, wird der Spamfilter die E-Mail irgendwann als Spam deklarieren.

Übertragen wir doch dieses Vorgehen einmal auf die Spamerkennung von Suchmaschinen. Wo E-Mail-Filter mit bösen Wörtern hantieren, muss sich der Google-Algorithmus mit Spamsignalen herumschlagen. Dazu könnten Signale gehören wie “Zu viele böse Backlinks”, “Zu hohe Keyword-Dichte” oder “Zu viele externe Footer-Links”. Wir nennen diese drei Kriterien k₁, k₂ und k₃. Alle Kriterien gemeinsam bezeichnen wir als K. (In Wirklichkeit gibt es natürlich viel mehr als nur drei solcher Signale, ich möchte das ganze hier aber relativ einfach halten.)

Nun haben die Google-Anti-Spam-Mitarbeiter fleißig hunderttausende von bösen und guten Seiten untersucht, entsprechend eingeteilt und dabei folgende Wahrscheinlichkeiten festgestellt:

Die Tabelle sagt aus, dass lediglich auf 10 Prozent der guten Seiten (“Ham”) zu viele böse Backlinks gefunden wurden, aber auf 80 Prozent der bösen Seiten (“Spam”). Entsprechendes gilt für die anderen beiden Kriterien. So sehen wir auf einen Blick, dass das Kriterium “Böse Backlinks” ein gutes Signal für eine Spamseite ist. Würde Google nun aber eine Regel aufstellen, die sagt: “Wer zu viele böse Backlinks hat, ist Spam!”, dann würden zehn Prozent aller guten Seiten fälschlicherweise als Spam deklariert. Eine derart hohe Fehlerrate dürfte Google sicherlich zu hoch sein. Würde Google aber umgekehrt verlangen, dass alle drei Kriterien erfüllt sein müssen, kämen zu viele böse Seiten in den Index.

Falsche Wahrscheinlichkeiten

Unser Problem liegt nun darin, dass wir die “falschen” Wahrscheinlichkeiten haben. Die obige Tabelle zeigt uns, dass 80% der Spamseiten zu viele böse Backlinks haben. Etwas mathematischer ausgedrückt heißt das:

Das liest sich in etwa so: Die Wahrscheinlichkeit, dass das Kriterium k₁ unter der Voraussetzung “Spam” erfüllt ist, liegt bei 0.8.

Uns interessiert aber genau die “umgekehrte” Wahrscheinlichkeit! Also die Wahrscheinlichkeit, dass eine Seite unter der Voraussetzung K “Spam” ist:

Für diese Umkehrung gibt es (unter bestimmten Voraussetzungen) eine bereits seit dem 18. Jahrhundert bekannte Formel, der berühmte Satz von Bayes, der dem Bayes-Filter seinen Namen verlieh.

Was sind nun aber die beiden Wahrscheinlichkeiten P(Spam) und P(K)? P(Spam) gibt an, wie wahrscheinlich es ist, dass eine Seite “Spam” ist – das entspricht also einfach dem Anteil der Spamseiten an allen Seiten im Google-Index. Wir nehmen an, ähnlich wie im klassischen E-Mail-Spamfilter, dass sich gute und böse Seiten die Waage halten, die Spamwahrscheinlichkeit also bei 50 Prozent liegt:

P(K) hingegen ergibt sich aus der Signal-Tabelle. Da entsprechend unserer Annahme “Ham”- und “Spam”-Seiten gleichverteilt sind, erhalten wir:

Setzen wir nun die Daten ein, ergibt sich diese kleine Rechnung:

Das Ergebnis überrascht uns noch nicht wirklich. Eine Seite, die zu viele böse Backlinks hat, ist mit einer Wahrscheinlichkeit von 89 Prozent eine Spamseite. Da die obige Tabelle sagt, dass zehn Prozent der guten Seiten böse Backlinks haben, sollten wir eine Spamwahrscheinlichkeit von etwa 90 Prozent erwartet haben. Spannender wird die Rechnerei aber, wenn wir diese Formel auf mehrere Kriterien verallgemeinern. Dazu müssen wir annehmen, dass die einzelnen Kriterien voneinander unabhängig sind. Ist dies der Fall, dürfen wir die Einzelwahrscheinlichkeiten einfach multiplizieren:

(Diese “naive” Annahme, dass die einzelnen Kriterien unabhängig sind, verleiht dem hier vorgestellten Bayes-Filter seinen korrekten Namen “Naiver Bayes-Filter”. Naiv ist die Annahme deshalb, weil ein Spammer, der zu viele böse Backlinks setzt, wohl auch eine zu hohe Keyword-Dichte einsetzt und schon sind beide Kriterien nicht mehr statistisch voneinander unabhängig.)

Nach einiger Rechnerei, die z.B. hier genauer aufgeführt ist, erhalten wir diese Formel, in die wir einfach unsere Daten aus der Signaltabelle einsetzen können:

Als erstes rechnen wir mit dieser Formel nochmals zur Kontrolle unsere Spamwahrscheinlichkeit für eine Seite aus, auf der lediglich das Kriterium k₁ (“Zu viele böse Backlinks”) erfüllt ist:

Nun betrachten wir die Wahrscheinlichkeit, wenn die ersten beide Kriterien (“Backlinks”, “Keyword-Dichte”) erfüllt sind:

Die Spamwahrscheinlichkeit steigt deutlich an; sicher sind wir nun in einem Bereich, in dem Google auf das Spamming reagieren wird.

Was aber passiert, wenn unsere Seite auch noch Kriterium 3 (“Footer-Links”) erfüllt?

Hier ändert sich nicht mehr viel. Das hat natürlich damit zu tun, dass das dritte Kriterium zwar auf 90% der Spamseiten zu finden ist, aber auch auf sehr vielen (60%) der guten Seiten – und damit ist dieses Kriterium wenig unterscheidungskräftig.

Deutlicher wird das Ganze, wenn wir uns ansehen, was bei den beiden Kriterien zwei und drei passiert:

Hier erhalten wir eine Spamwahrscheinlichkeit von lediglich 82 Prozent.

Fazit

Aber sollten 82 Prozent nicht gut genug sein, eine Seite abzustrafen? Im Einzelfall mag das womöglich plausibel erscheinen. Aber stellen wir uns mal eine Million Seiten vor, auf denen die beiden Kriterien zwei und drei erfüllt sind. Ein Spamwahrscheinlichkeit von 82 Prozent sagt hier aus, dass 820.000 Seiten tatsächlich Spam sind. Allerdings würden wir 180.000 gute Seiten zu unrecht abwerten – und das hätte negative Auswirkungen auf unseren Index. Denn Nutzer würden nun gute Seiten nicht mehr finden können.

Umgekehrt heißt das aber auch, dass Seiten, die viele gute Signale haben, locker einige Spam-Signale vertragen, ohne gleich abgewertet zu werden. Wer nun unbekümmert auf seinem neuen, kleinen SEO-Projekt alles nachmacht, was eine Topseite so anstellt, sollte sich nicht wundern, wenn er dafür abgestraft wird. Denn die Topseite retten ihre vielen positiven Signale, während das kleine SEO-Projekt lediglich die negativen Spam-Signale vorweisen kann.

Wichtig an diesem kleinen mathematischen Ausflug sind nicht die Details der Rechnung oder die genauen Ergebnisse. Mir ging es vielmehr darum, an einigen konkreten Beispielen die Wirkungsweise von Spam-Signalen aufzuzeigen. Besonders schön sieht man dies am geringen Einfluss des Signals “Zu viele Footer-Links”; dieses Signal kommt zwar auf 90% aller Spamseiten vor, trotzdem hat es kaum Auswirkungen auf die Spameinschätzung unseres Algorithmus.

Hinweis: Die aufgeführten Spam-Kriterien und ihre Wahrscheinlichkeiten sind pure Fantasie! Ebenso funktioniert der Google-Algorithmus sicherlich anders als hier anhand des Bayes-Filters erklärt. Die Rechnungen dienen lediglich dazu, den mathematischen Sachverhalt anhand einiger konkreter Zahlen zu verdeutlichen.

Jetzt ist es zwar schon mal interessant zu sehen, was Google da so auswirft, die für SEO spannende Frage aber ist, wie das zustande kommt. Offensichtlich gibt Google bekannten Marken einen deutlichen Schub nach oben. Das scheint eine willkürliche Entscheidung zu sein – wobei “willkürlich” hier bedeuten soll, dass der eigentliche Google-Algorithmus das nicht hergibt. Vermutlich hat Google in Tests festgestellt, dass die Nutzer für generische Anfragen die Brands erwarten, bisher aber häufig nicht gefunden haben. Aber woher weiß Google, dass beispielsweise nokia.de für handy einen Boost verdient hat, für drucker aber nicht?

Ich habe kürzlich im Artikel “Wie Google das Nutzerverhalten vielleicht fürs Ranking nutzt” ein paar Methoden vorgestellt, wie Google aus dem Such- und Klickverhalten der Nutzer lernen kann. Zwei dieser Methode möchte ich nochmals herausgreifen, denn sie eignen sich gut, um den Mechanismus hinter dem aktuellen Brand-Boost zu erklären.

Frühere Suchsessions

Google kennt ja den Ablauf ganzer Suchsessions. Da fängt ein Nutzer etwa mit einer Suche nach handy an und klickt auf das eine oder andere Ergebnis. Da er noch nicht zufrieden ist oder auf den angeklickten Seiten Informationen erhalten hat, die ihm eine genauere Suche ermöglichen, sucht er weiter. Nehmen wir an, dass er dabei auf einem Forum landet, in dem ein Beitrag vom Online-Shop auf t-mobile.de schwärmt. Nun sucht er gezielt nach t-mobile und landet auf t-mobile.de.

Die ganze Session sieht also in etwa so aus:

• Suche: handy
• Suche: vertragshandy
• Suche: t-mobile
• Abschließender Klick: t-mobile.de

Was lernt Google daraus, wenn eine derartige Session häufig auftritt? t-mobile.de muss für handy ein guter Treffer sein. Da zudem t-mobile.de ein Brand ist, bekommt t-mobile.de für handy eine entsprechende Aufwertung.

Kookkurrenzen

Besonders einfach lässt sich die Zuordnung einer Marke zu einem generischen Begriff über Kookkurrenzen (mehrere Wörter kommen häufig gemeinsam in einer Query vor) ermitteln. Sucht man im Google Keyword Tool nach handy, so zeigt sicht, dass handy häufig zusammen mit einer Marke gesucht wird:

Google muss sich also nur ansehen, zusammen mit welchen Marken ein Suchbegriff häufig kombiniert wird, um so zu lernen, für welche Suchbegriffe eine vorhandene Marke einen Boost verdienen könnte. Dieser Mechanismus würde auch erklären, warum für girokonto die Postbank und die Sparkasse plötzlich ganz vorne stehen – eine Frage, die Pip in seinem interessanten Post aufgeworfen hat.

Natürlich ist das alles nur Theorie, allerdings finde ich die Zahlen recht überzeugend. Vielleicht kann ja mit diesen Thesen der eine oder andere SEO seinen Kunden ein wenig beruhigen. Jedenfalls ist auch mit dieser gravierenden Ranking-Änderung SEO beileibe nicht tot, aber der Ansatz muss erst recht weiter gefasst werden. SEO ist mehr als Linkaufbau.

Google hat die Nutzerdaten

Erst kürzlich hat Google erklärt, dass personalisierte Suche nun Standard ist und nur per Opt-out abgeschaltet werden kann. Das bedeutet, dass Google von (fast) jedem Nutzer die Suchanfragen und die dazu gehörigen Ergebnisklicks kennt. Und über die diversen anderen Google-Angebote von Google Analytics bis hin zu Doubleclick kann Google sogar noch nachvollziehen, was der Nutzer auf den angeklickten Seiten treibt. An den Daten soll’s also nicht scheitern.

Google hat ein Patent auf die Auswertung von Nutzerverhalten

Am 27. Oktober 2009 bekam Google das Patent “Rank-adjusted content items” zugesprochen. Dieses Patent beschreibt ein Verfahren, wie komplette Suchsessions ausgewertet und fürs künftige Ranking benutzt werden.

Google hat die Nutzung bestätigt

Zumindest für die Auswahl und das Ranking der Google News-Ergebnisse hat Google bereits bestätigt, dass das Nutzerverhalten eine Rolle spielt.

The ranking of these articles will be subject to the same criteria as all sites in Google, whether paid or free. (..) It’s simply based on the popularity of the content with users and other sites that link to it.

Quelle: Google News Blog: “Google and paid content”

I would say another really important signal for us in recent quarters has been the user behavior. Their behavior has become a really helpful signal for us in trying to determine that same trusted quality of a given source.

Quelle: Josh Cohen Interviewed by Eric Enge

Warum sollte Google ein derart sinnvolles Rankingkriterium lediglich für Google News nutzen, für die Websuche aber außen vor lassen?

Das Nutzerverhalten und SEO

Nachdem nun alle überzeugt sind, dass Google das Nutzerverhalten ins Ranking einfließen lässt, stellt sich die Frage, welche Mechanismen dabei eine Rolle spielen und wie das für die Suchmaschinenoptimierung auszunutzen ist.

Beliebtheit von Websites

Für Google am einfachsten umzusetzen ist die Beliebtheit von Websites als Signal fürs Ranking zu verwenden. Sobald auf einer Website Google Analytics oder AdSense eingebunden ist, weiß Google genau, wie viele Besucher und wie viele PageImpressions die Site hat. Für alle anderen Sites kann Google über die Toolbar und alle anderen Extensions, die automatisiert den PageRank abfragen, ebenfalls eine ordentliche Schätzung abgeben. Das ermöglicht Google, die Besuchshäufigkeit einer Website als ein Rankingkriterium zu nutzen.

Click-Thru-Rate auf ein Ergebnis

Ebenfalls einfach auszuwerten sind die Klickraten auf ein bestimmtes Suchergebnis. Google kennt ja die durchschnittlichen Klickraten auf ein Ergebnis, abhängig von dessen Position (Platz 1, Platz, 2, etc.) , den umgebenden Suchergebnissen (Steht vor dem Online-Shop die Konkurrenz oder Wikipedia?), dem Suchanfragetyp (Navigational oder Transactional Query?) und der Einblendung von Universal Search Ergebnissen. Wird nun beispielsweise für die Suchanfrage fernseher das Ergebnis auf Position fünf häufiger angeklickt als dies aufgrund der oben genannten Faktoren zu erwarten wäre, so ist das für Google ein Signal, diese Seite künftig besser zu platzieren. Für Ergebnisse, die recht weit hinten stehen und deshalb selten angezeigt werden, ist es möglich, sie vereinzelt weiter vorne anzuzeigen und dann das oben beschriebene Klickverhalten auszuwerten.

Wer nun aber glaubt, er brauche nur ein Klickscript zu schreiben und das auf Google loszulassen, der sollte sich unbedingt Julians Artikel zu den Mythen übers Userverhalten durchlesen.

Einfluss früherer ähnlicher Suchsessions

Das bereits erwähnte Patent “Rank-adjusted content items” funktioniert in etwa so: Google stellt fest, dass Nutzer, die in einer Session nach fernseher, breitbild und lcd-tv gesucht haben, anschließend häufig samsung.de besuchten. Wenn nun Google während einer aktuellen Suchsession sieht, dass ein Nutzer nach tv-gerät, breitbild und lcd-tv sucht, dann geht Google davon aus, dass samsung.de ein sinnvoller Treffer ist – auch wenn die Suchsessions nicht identisch sind. Letztlich ist das nur eine Erweiterung des zuvor beschriebenen Verfahrens, da hier nun mehr als nur eine Suchanfrage benutzt wird.

Die Bounce-Rate (Absprungrate)

Auch die Absprungrate kann als Rankingkriterium benutzt werden. Diese Größe gibt an, wie viele Besucher nur eine einzige Seite dieser Website betrachtet haben. Eine geringe Absprungrate kann als Indiz für eine interessante Website gewertet werden – aber auch als Hinweis für eine schlechte Usability. Deshalb greift der Ansatz “hohe Bounce-Rate gleich schlechteres Ranking” viel zu kurz. Um das Verhalten sinnvoll einfließen zu lassen, muss Google berücksichtigen, was der Nutzer nach der Rückkehr von der angeklickten Seite macht. Geht er auf den nächstplatzierten Treffer und kommt erst nach längerer Zeit wieder auf die Google-Startseite, ist das ein Hinweis darauf, dass dieser nächste Treffer seine Suchanfrage besser bedient hat. Bricht er aber unmittelbar nach der Rückkehr seine Suchsession ab, könnte das heißen, dass der angeklickte Treffer gleich auf der ersten Seite das geliefert hat, was der Nutzer finden wollte.

Kookkurrenz in Suchanfragen

Das gleichzeitige Auftreten (Kookkurrenz) von Wörtern in Suchanfragen ist ein deutliches Indiz dafür, dass diese Begriffe etwas miteinander zu tun haben. Typische Beispiele dafür sind etwa nokia handy oder bmw gebrauchtwagen. Stellt Google fest, dass Suchanfragen der Art Marke + Generischer Begriff häufig vorkommen, so kann Google daraus schlussfolgern, dass die Marke zu diesem generischen Begriff gehört und somit eine erhebliche Bedeutung dafür haben kann. Spekulationen sagen, dass auf diese Weise das Nutzerverhalten ausgenutzt wird, um den bekannten Brand-Boost zu ermitteln.

Wie groß ist der Einfluss des Nutzerverhaltens?

Mit Sicherheit nutzt Google alle möglichen Nutzerdaten aus, um damit die Suchergebnisse zu verbessern. Da Google ja auch im internationalen Vergleich viel häufiger genutzt wird als konkurrierende Suchmaschinen, hat Google hier ein Alleinstellungsmerkmal, das keine andere Suchmaschine aufzuweisen vermag. Allerdings bleibt die Frage, wie groß der Einfluss dieser Daten aufs Ranking tatsächlich ist.

Auf der diesjährigen SES gab’s einen schönen Vortrag über die Klickwahrscheinlichkeit in Abhängigkeit von der Platzierung. Dort wurde am Beispiel der Suchanfrage auto gezeigt, dass mobile.de auf Platz 3 eine höhere Klickwahrscheinlichkeit aufweist als auto.de auf Platz 1 – während im Normalfall Platz 1 etwa fünfmal so viele Klicks abbekommt wie Platz 3. Trotzdem reicht dieses deutliche Nutzervotum nicht aus, mobile.de auf Platz 1 zu hieven. Ein anderes Beispiel zeigt mir eines meiner Testblogs, das mit einem Keyword weit vorne platziert ist. Der einzige ersichtliche Grund dafür sind einige Kommentare, die ich in anderen Blogs hinterlassen habe, wovon die meisten aber sogar auf Nofollow gesetzt sind.

Als Fazit lässt sich festhalten, dass das Nutzerverhalten einen Einfluss aufs Ranking hat. Allerdings sollte dieser Einfluss nicht überbewertet werden. Denn um allzu simple Manipulationen auszuschließen, kann Google nur grobe Trends erfassen. Deshalb ist auch hier der wohl beste Tipp: Bau’ sinnvolle Websites für die Nutzer und optimiere sie mit Sinn und Verstand.

• die Suchanfragen von 90 Prozent der deutschen Internetnutzer, zusammen mit den angeklickten Ergebnissen.
• dank Google Analytics, AdSense, DoubleClick, Blogger.com und der Toolbar das weitgehende Surfverhalten nahezu aller deutschen Internet-Nutzer auf mindestens einem Drittel der deutschen Websites – denn allein Analytics ist ja bereits auf 13 Prozent aller Websites im Einsatz.
• die E-Mails von Millionen GMail-Nutzern.
• demnächst das komplette Surfprofil aller Nutzer, die den neuen Google-DNS-Service nutzen.
• vermutlich das komplette Nutzerverhalten aller ChromeOS-Nutzer.

Nun lautet bekanntlich Googles Mantra “Don’t be evil!” und in der Tat gibt es noch keinen Vorfall, der daran ernsthaft zweifeln ließe. Ich nutze ja selbst seit Jahren GMail, manchmal auch Google Analytics und auf meinem Netbook Chrome als primären Browser. Zu behaupten, ich wäre besonders paranoid was Google angeht, ist definitiv übertrieben.

Trotzdem finde ich die Datenmenge und -qualität, die Google inzwischen angehäuft hat, beängstigend. Zumal Google das Thema Datenschutz meiner Empfindung nach zuletzt immer stiefmütterlicher behandelt. Dass die personalisierte Suche von Google nun per Opt-Out-Verfahren funktioniert, stellt eine neue Dimension dar. Bisher musste sich der Nutzer dazu extra anmelden und so waren die typischen DAUs nicht betroffen. Nun aber wird ein höchst interessantes Nutzerprofil erstellt und sechs Monate gespeichert, ohne dass der normale Durchschnittsnutzer das irgendwo mitbekäme.

Wenn es einen Grundsatz über Datensammlungen gibt, dann wohl diesen:

Sind Daten erst einmal erhoben, werden sie früher oder später auch zu Zwecken ausgewertet, die anfangs vehement bestritten wurden.

Bei den Providern gibt’s Verbindungsdaten? Die müssen wir speichern! Bei der LKW-Maut fallen Daten an, mit denen man vielleicht Verbrecher fangen kann? Also müssen wir darauf zugreifen können!

Was hat das nun mit Google zu tun?

Ich bin heute über dieses Interview mit Google-Chef Eric Schmidt gestolpert. Dort sagt er, ich übersetze mal kurz, folgendes:

Wenn du etwas tust, von dem du nicht möchtest, dass jemand anders es weiß, solltest du es vielleicht gleich gar nicht tun.

Mich beunruhigt diese Einstellung ganz ernorm. Der Chef der Firma, die wohl mehr über mich weiß als sonst jemand auf der Welt, sagt mir: Wenn du unschuldig bist, hast du nichts zu verbergen! Was heißt das für Googles künftiges Verhalten zum Datenschutz? Will ich dieser Firma wirklich weiterhin mein Vertrauen für meine Mails (und die meiner Mailpartner) entgegenbringen?

Ich habe den Eindruck, Google macht derzeit einen großen Wandel durch. Lange haben sie es geschafft, trotz ihrer Größe einen sympatischen Anschein zu bewahren. Diese – im besten Fall – unbedachte Äußerung ihres Chefs zum Datenschutz oder die Einführung einer Suchfunktion ohne ersichtlichen Vorteil für die Nutzer sind aber Hinweise, dass Google auf dem langen Weg zum normalen Großkonzern etliche Schritte vorangekommen ist.

Wird dieses Feature, wie angekündigt, Anfang nächsten Jahres weltweit eingeführt, bedeutet das, dass in den Suchergebnisseiten wieder Platz für die normalen Webtreffer verloren geht. Schon heute gibt es Queries, bei denen man zwischen Videosuche, Fotosuche, Produktsuche, Blogsuche und Newssuche die gewöhnlichen Webtreffer mit der Lupe suchen muss.

Besonders aber stört mich an der Google Real-Time Suche, dass mir dieser Ergebnisticker ziemlich sinnlos erscheint. Alle zu einem Stichwort erscheinenden Tweets und Blogposts angezeigt zu bekommen, ist ungefähr ähnlich hilfreich wie während eines Fußballspiels sämtliche Unterhaltungen aller Stadionbesucher hören zu können. Klar, wer eine Sozialkunde-Hausarbeit über die Gesprächskultur in Fußballstadien schreibt, würde sowas lieben, aber der typische Nutzer dürfte mit etwas mehr Auswahl besser fahren.

So habe ich jedenfalls den Eindruck, Google macht das nur aus Marketinggründen. Sie müssen halt jetzt Real-Time Seach anbieten, weil Bing das auch angekündigt hat und außerdem drei Analysten irgendwann einmal Twitter als den neuen Google-Konkurrenten bezeichnet haben. Die Relevanz dieser durchscrollenden Ergebnisse für den Nutzer halte ich für recht beschränkt. Das soll nun nicht heißen, dass ich die Idee der Real-Time Suche für unsinnig halten würde. Im Gegenteil, das ist eine sehr spannende Funktion – allerdings kann mich keiner der bisherigen Ansätze auch nur annähernd begeistern. Von Google hätte ich dazu jedenfalls etwas besseres erwartet.

[Update]
Official Google Blog: Relevance meets the real-time web