Cloaking

Ein Problem bei der Optimierung von Seiten für Suchmaschinen ist, dass optimierte Seiten optisch oft nicht sehr anspruchsvoll sind. Ein guter Text sollte Wiederholungen möglichst vermeiden, für ein gutes Ranking kann aber die mehrfache Wiederholung der Stichwörter hilfreich sein. Oder es müssen aus Marketinggründen auf den Webseiten viele zusätzliche Informationen untergebracht werden, die eine Seite inhaltlich überladen und so Suchmaschinenplatzierungen kosten.

Daher setzen Suchmaschinen-Optimierer schon lange eine technische Möglichkeit ein, dem menschlichen Besucher die optisch schön gestaltete Seite zu präsentieren, während der Robot der Suchmaschinen die Seite “zu sehen” bekommt, die für ein gutes Ranking sorgt. Diese als Cloaking bezeichnete Vorgehensweise ist einfach, und auch die Umsetzung fällt nicht allzu schwer. Der Teufel aber steckt im Detail – und in der Gefahr, dass die so optimierte Website aus dem Index der Suchmaschinen gebannt wird.

Wie kann ich aber nun einer Suchmaschine andere Inhalte präsentieren als einem menschlichen Besucher? Der einfachste Weg ist die CGI-Umgebungsvariable HTTP_USER_AGENT abzufragen – darin ist der User-Agent des Clients (Browser oder Robot) gespeichert, der die Seite aufgerufen hat.
Beispiele:
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95; DigExt)
Mozilla/4.6 [de]C-CCK-MCD QXW03200 (Win98; I)
Scooter/1.0
Slurp/2.0e (slurp@inktomi.com; http://www.inktomisearch.com/)
Die ersten beiden Beispiele zeigen User Agents eines Internet Explorers bzw. eines Netscape Navigators. Die Beispiele drei und vier sind User-Agents von Robots. So kann also eine angeforderte Seite erkennen, welcher Client die Anforderung abgesetzt hat. Für normale Browser liefert der Webserver die “schöne” Seite, für Robots die optimierte.

Dieser Weg ist nicht ganz perfekt – niemand garantiert Ihnen, daß die Suchmaschinen Robots ihren eigenen User-Agent bei der Abfrage der Seiten angeben. Und tatsächlich tarnen sich inzwischen Robots mit Kennungen, wie sie auch von Browsern benutzt werden. Sicherer wird es, wenn Sie zudem noch die IP-Adresse abfragen und vergleichen – allerdings müssen Sie hier immer eine aktuelle Liste von Suchmaschinen-IP-Adressen pflegen. Und auch dann ist noch nicht ganz sicher, dass Sie Suchmaschinen-Robots auch als solche erkennen können, denn um Cloaking aufzuspüren, nutzen Suchmaschinen inzwischen auch IP-Adressen von normalen Einwahlprovidern.

Sollten Sie beim Cloaking erwischt werden, wird Ihre Site komplett von der Suchmaschine, die Sie beim Tricksen erwischt hat, gelöscht werden; als Ausweg bleibt dann oft nur die Nutzung einer neuen Domain. Diese Gefahr steht in keinem Verhältnis zu den geringen Vorteilen, die Cloaking bieten kann; deshalb sollten Sie auf diese Art der “Optimierung” verzichten.