Alternative zu robots.txt?

Robots.txt-Dateien sind – vereinfacht gesagt – eine Art Türwächter für Crawler, die den Suchrobotern mitteilen, was sie auf einer Website suchen dürfen und was nicht. Suchmaschinenbetreiber verpflichten sich gemeinhin freiwillig, diese Hinweise beim Crawl eines Seitenangebots zu beachten.

Gerade Nachrichtenagenturen haben sich in den letzten Jahren darüber beklagt, dass vor allem Google bei seiner Suche nach neuen Nachrichten mehr abgreift als vom Anbieter eigentlich vorgesehen.
Um nun Newsaggregatoren wie Google News deutlicher zu machen, was sie dürfen und was nicht, haben verschiedene Nachrichtenanbieter und Medienunternehmen beschlossen, mit ACAP einen neuen Standard einzuführen, der Seitenbetreibern eine bessere Kontrolle über den Zugriff von Crawlern ermöglichen soll.

ACAP steht dabei für “Automated Content Access Protocol”, also ein automatisiertes Protokoll zum Zugriff auf Inhalte. Entwickelt wurde dieses Protokoll durch die Initiative der World Association of Newspapers, der International Publishers Association und dem European Publishers Council in “enger Zusammenarbeit mit Suchmaschinen”, um die Rechte geistigen Eigentums zu wahren.

Offen bleibt, wo nun eigentlich tatsächlich der Vorteil des ACA-Protokolls liegt. Auf der ACAP-Homepage findet sich ein Online-Tool, mit dem sich bestehende robots.txt in ACAP-kompatible robots-Dateien umwandeln lassen. Ein erster Selbsttest zeigt, dass die Befehle nur anders lauten, aber ansonsten keine wirkliche Erweiterung der Beschränkungen erfolgt, die bereits durch die bekannten robots.txt-Befehle möglich ist.

Es ist zu begrüßen, wenn sich Inhalteanbieter und Suchmaschinen auf einen gemeinsamen Standard einigen und sich beide Seiten den Vorgaben verpflichtet fühlen. Aber die Beachtung der ACAP-Befehle bleibt ebenso freiwillig wie bisher die der robots-Befehle. Und für die Zukunft muss sich hier noch ein deutlicher Mehrwert für die Anbieter digitaler Inhalte zeigen. Bisher ist das noch ausbaufähig.