Update bei Crawler für Live Search

MSN hat bekannt gegeben, dass sie mit dem Update ihres Crawlers für die Live Search einige Verbesserungen implementieren. Die beiden neuen Features sollten zukünftig die Server von Seitenbetreibern weniger belasten. Es sind

• HTTP Compression: Damit können Webseiten komprimiert an den Crawler übertragen werden, was den Traffic und damit die Auslastung des Servers deutlich senkt.

und

• Conditional Get: Dabei wird eine Seite vom Crawler nur noch neu erfasst, wenn sich seit dem letzten Besuch tatsächlich etwas an ihr verändert hat. Der Server sollte dazu mit einer 304-Meldung auf den Crawler antworten.

Ansonsten seien noch weitere Verbesserungen eingebaut, um die Performance zu erhöhen. Der neue User Agent ist zukünftig mit den Namen “msnbot/1.1″ unterwegs.