Gestatten: Die Google Cloaking-API 09.12.2010
Seit mehr als einem Jahr bietet Google eine offizielle Cloaking-API an. Überraschenderweise hat das bisher kaum jemand bemerkt. ...
Update bei Crawler für Live Search 13.02.2008
MSN hat bekannt gegeben, dass sie mit dem Update ihres Crawlers für die Live Search einige Verbesserungen implementieren. Die beiden neuen Features sollten zukünftig die Server von Seitenbetreibern weniger belasten. Es sind HTTP Compression: ...
Flash-Dateien online auf Crawler-Tauglichkeit testen 11.01.2008
Sistrix-Betreiber Johannes Beus bietet ein Tool an, mit dem man online überprüfen kann, wie viel verwertbare Information ein Suchmaschinen-Crawler aus einer Flash-Datei extrahieren kann. ...
Alternative zu robots.txt? 04.12.2007
Robots.txt-Dateien sind - vereinfacht gesagt - eine Art Türwächter für Crawler, die den Suchrobotern mitteilen, was sie auf einer Website suchen dürfen und was nicht. ...
