Robots.txt Tricks für WordPress-Blogs
Mittlerweile existieren für WordPress zahlreiche Plugins, die sich des Problems “Duplicate Content” annehmen. Google mag’s nämlich ganz und gar nicht, wenn ein- und dieselben Inhalte unter der gleichen Adresse abzurufen sind und reagiert mit Abwertung.
Dass der duplicate content in den letzten Monaten gesteigerte Bedeutung erlangte, hat nicht zuletzt mit der steigenden Verbreitung von Splogs, also Spam-Blogs, zu tun*. Man muss jedenfalls eine Menge Vorkehrungen treffen, damit unter der eigenen Domain jeder Artikel nur einmal aufscheint. Duplicate Content Cure oder Meta Robots lösen die gröbsten Troubles (ich verwende beide Erweiterungen), effektivere Resultate erreicht man mit der direkten Aussperren von Bots in der robots.txt: diese Datei liegt gemeinhin im Rootverzeichnis und enthält Anweisungen für Crawler - und die Big Three (Google, MS, Yahoo) halten sich auch dran.
Word of Warning: Mit Manipulationen an der robots.txt-Datei kann man sich eine gut funktionierende SERP-Struktur im Nu abfucken. Außerdem spielt die Frage, ob man z.B. in der Tag- und Category-Ansicht Exzerpte verwendet eine beträchtliche Rolle - ebenso wie die Entscheidung, welche Einzelpages gut indiziert werden sollen. An Impressum und Kontaktformular möchte ich z.B. lieber keinen Linkjuice verschwenden. In solchen Fällen machen interne nofollow-Links hochgradig Sinn, aber das ist eine andere SEO-Geschichte und soll ein andermal erzählt werden…
Word of even more Warning: Die nachfolgende angegebenen Tipps beziehen sich auf *meine* Permalinkstruktur. Wer keine sprechenden Permalinks verwendet oder stark abweichende Einstellungen, kann mit den folgenden php-Wildcards Crawlern den Zugriff auf Beiträge komplett verunmöglichen. Also in jedem Fall ein Backup der robots-Datei anlegen und testen, testen, testen! Sehr hilfreich dabei: das kürzlich erwähnte Crawler-Tracker Plugin.
Exclusions im robots.txt
Einige reguläre Ausdrücke sind im robots.txt erlaubt, $ steht in Regex-Terminologie dabei für das Ende des Dateinamens. Die Syntax “.php$” erfasst also alle Dateien, die auf *.php enden. Man kann damit zum Beispiel den Crawler-Zugriff auf alle pdfs, exe-Dateien und Bilder sperren:
Disallow: /*.pdf$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.exe$
Daraus ergeben sich zahlreiche weitere Möglichkeiten, die man ja nach eigener Präferenz frei kombinieren kann:
Disallow: /*? - alle URLs mit Fragezeichen drin werden geblockt. Kann natürlich nur dann verwendet werden, wenn in den Standard-URLs kein Fragezeichen vorkommt.
Disallow: /*.php$ - blockiert alle php-Files
Disallow: /*.inc$ - verhindert den Zugriff auf include-Dateien.
Disallow: /*.css$ - verbirgt Stylesheet-Dateien (falls mehr als eine in Verwendung ist.)
Disallow: */feed/ - verhindert das Einlesen des Feeds.
Disallow: */trackback/ - verhindert das Indizieren der Trackback-URLs.
Disallow: /tag/ - Tag-Pages ausschließen
Disallow: /category/ - Kategorie-Seiten ausschließen.
Disallow: /2006/ - Disallow: /2007/ - Disallow: /2008/ - Zugriff auf Jahresarchive verbieten
Möchte man nun aus irgendwelchen Gründen den Zugriff auf eine der oben ausgeschlossenen Seite explizit erlauben, kommt dazu folgende Syntax zum Einsatz:
Allow: /category/meineseite.php - erlaubt den Zugriff auf die angegebene Adresse, auch wenn /category/ als Pfad gesperrt ist.
Sollte man nun besser die oben angegebenen Plugins oder die robots.txt-Methode verwenden? Um die Unterschiede zu verstehen, muss man ein weniger tiefer in SEO-Welten abtauchen: während die beschriebenen Plugins die von Google vorgesehene Syntax noindex bzw. nofollow in den Header der betreffenden Dateien einfügen, sorgt die robots.txt-Variante dafür, dass überhaupt nie auf die betreffenden Seiten zugegriffen wird. Ob die beiden Varianten in der Praxis einen Unterschied machen, darüber streiten derzeit die SEO-Experten - siehe auch die Diskussion zum betreffenden Eintrag bei Shoemoney.
Außerdem ist davon auszugehen, dass Google mittlerweile WP-Installationen erkennt und selbst Vorkehrungen gegen Duplicate Content trifft - aber diese Gleichung enthält eine Menge Variablen, und nachteilig ist’s ganz gewiss nicht, wenn man sich als Seitenbetreiber selbst drum kümmert, dass der Crawler ausschließlich unique content serviert bekommt.
* Viele Scraper stehlen einfach automatisiert Inhalte von anderen Blogs und schicken dann auch noch Trackbacks. Die Beiträge beginnen immer mit “xy wrote an interesting article today:” Dürfte wohl irgendeine Scraper-Software from Hell sein. Beruhigend zu wissen ist nur, dass solche “Strategien” langfristig niemals aufgehen.
Loading ...
Trackback-URL
Kommentarfeed
Druckansicht
Hi,
mal ne Frage zum Double-Content-Plugin: Wenn ich dadurch meine Kategorie-Seiten ausschließe, werden diese also nicht mehr indiziert. Ok, habe verstanden.
Doch wenn ich meine Stats anschaue, kommen doch immer wieder Leute zu mir, die über Google auf eine Kategorie-Seite gestoßen sind, weil genau die Kategorie so heißt wie das Suchwort.
Ist das also dann nicht kontraproduktiv oder denke ich da gerade total falsch?
Grüße aus Kärnten
Achim
[direkt antworten]
Hi Achim,
nein, du denkst da überhaupt nicht falsch - das hängt ganz stark davon ab, was du mit deinen Kategorien-Seiten so machst; wenn die gut funktionierten mit den betreffenden keywords, würd ich sie keinesfalls ausschließen… wenn sie wenig Traffic haben, dagegen schon - ich hab hier auf ds die Kat-Seiten auch nur teilweise ausgeschlossen.
[direkt antworten]
ok, danke!
[direkt antworten]
Du schreibst: “Einige reguläre Ausdrücke sind im robots.txt erlaubt”
Das ist korrekt, wenn du dich nur auf Google beziehst. In der eigentlichen, inzwischen zwölf Jahren alten “Definition” der robots.txt gibt es aber keine regulären Ausdrücke, und in der Tat interpretieren andere Suchmaschinen das nicht als regulären Ausdruck, sondern als normalen Text.
[direkt antworten]
Ja, da hast du recht - wobei der Yahoo-Crawler mittlerweile auch die regex-es interpretiert, aber bei msn bin ich mir nicht sicher. Aber der Rest ist ja kaum von praktischer Bedeutung.
[direkt antworten]
Kann man den sicher sein, dass die Splogs sich überhaupt an die robots.txt halten? Soweit ich weiß hält sich doch eh nur Google mehr oder weniger dran.
[direkt antworten]
Splogs halten sich ganz sicher nicht dran! Dagegen ist die beschriebene Methode recht sinnlos. Man bräuchte analog wie beim Spam-Mails eine Datenbank von untrusted IPs, um Splogs wirklich gut filtern zu können… in der Praxis aber sehr schwer umsetzbar, denk ich.
[direkt antworten]
Super tipp, vielen dank… hoffe es bringt was
[direkt antworten]
Das ist ein echt Klasse Beitrag, der mir sehr geholfen hat. Weiter so.
[direkt antworten]
Wie sieht es eigentlich mit der Verwendung von mehreren domains aus? Ich meine: Ich mache eine 301-Umleitung von einer weiteren Domain auf meine Startseite. Wirkt sich das negativ auf mein Ranking bei Google aus?
Danke und LG
David
[direkt antworten]
Nein, mit 301er gar nicht. Nur bekommt die Domain, von der du weiterleitest, dann auch keinen PR ab - aber negativ sollte sich das bei 1 Domain eigentlich nicht auswirken.
[direkt antworten]
Danke für die prompte Antwort! Eine letzte Frage hätt ich noch: Wie siehts aus, wenn ich im A-Record der weiteren Domain, auf die Hauptdomain verweise? Wird das von Google als Täuschung gewertet?
Danke und LG
David
[direkt antworten]
Würd ich nicht machen… schon allein aus reverse-lookup gründen, wenn du die zweite mal für einen smtp verwenden willst… Weiterleitung per htacess ist genauso flexibel und schneller änderbar (ohne DNS Update).
werde es auch mal ausprobieren meine Blogs nach den angebenen Tips zu optimieren. Duplicate Content ist mittlerweile zu einem sehr wichtigen Thema geworden.
Danke!
[direkt antworten]