Kommentare zu: Robots.txt Tricks für WordPress-Blogs http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/ Ritchie Blogfried Pettauers Weblog Tue, 24 Jan 2012 12:20:09 +0000 hourly 1 http://wordpress.org/?v=3.2.1 Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-19150 ritchie Tue, 28 Oct 2008 13:34:23 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-19150 Es kommt drauf an, was du erreichen willst - ich würd grad die Tag-Pages und Archive niemals ausschließen, auch die Comments nicht. Sinnvoller ist's, die Seiten mit "noindex,follow" im Header zu kennzeichnen; da gibt's eh schon einige Duplicate-Content Plugins, die genau das machen. Es kommt drauf an, was du erreichen willst — ich würd grad die Tag-Pages und Archive niemals ausschließen, auch die Comments nicht. Sinnvoller ist’s, die Seiten mit “noindex,follow” im Header zu kennzeichnen; da gibt’s eh schon einige Duplicate-Content Plugins, die genau das machen.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: Bichareh http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-19149 Bichareh Tue, 28 Oct 2008 12:44:31 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-19149 Hallo, netter Artikel...eine Frage...ich habe meine Robots.txt jetzt angepasst, so das ich nur Artikel indiziert haben will. Ist die Robots so korrekt, oder fehlt noch was, oder hab ich jetzt damit erreicht das mich google kickt? xD User-agent: * Disallow: */trackback/ Disallow: /wp-admin/ Disallow: /feed/ Disallow: /archives/ Disallow: /page/ Disallow: /tag/ Disallow: /category/ Disallow: /2008/ Disallow: /2007/ Disallow: /author/ Disallow: /comments/ Disallow: /comments/feed/ Disallow: /feed/atom/ Disallow: /feed/rss/ Danke! Hallo, netter Artikel…eine Frage…ich habe meine Robots.txt jetzt angepasst, so das ich nur Artikel indiziert haben will. Ist die Robots so korrekt, oder fehlt noch was, oder hab ich jetzt damit erreicht das mich google kickt? xD

User-agent: *
Disallow: */trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: /2008/
Disallow: /2007/
Disallow: /author/
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /feed/atom/
Disallow: /feed/rss/

Danke!

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: diqa http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14431 diqa Mon, 10 Mar 2008 08:57:14 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14431 werde es auch mal ausprobieren meine Blogs nach den angebenen Tips zu optimieren. Duplicate Content ist mittlerweile zu einem sehr wichtigen Thema geworden. Danke! werde es auch mal ausprobieren meine Blogs nach den angebenen Tips zu optimieren. Duplicate Content ist mittlerweile zu einem sehr wichtigen Thema geworden.

Danke!

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14420 ritchie Sun, 09 Mar 2008 18:41:04 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14420 Würd ich nicht machen... schon allein aus reverse-lookup gründen, wenn du die zweite mal für einen smtp verwenden willst... Weiterleitung per htacess ist genauso flexibel und schneller änderbar (ohne DNS Update). Würd ich nicht machen… schon allein aus reverse-lookup gründen, wenn du die zweite mal für einen smtp verwenden willst… Weiterleitung per htacess ist genauso flexibel und schneller änderbar (ohne DNS Update).

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: david http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14285 david Sat, 08 Mar 2008 17:51:03 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14285 Danke für die prompte Antwort! Eine letzte Frage hätt ich noch: Wie siehts aus, wenn ich im A-Record der weiteren Domain, auf die Hauptdomain verweise? Wird das von Google als Täuschung gewertet? Danke und LG David Danke für die prompte Antwort! Eine letzte Frage hätt ich noch: Wie siehts aus, wenn ich im A-Record der weiteren Domain, auf die Hauptdomain verweise? Wird das von Google als Täuschung gewertet?

Danke und LG
David

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14276 ritchie Sat, 08 Mar 2008 13:37:33 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14276 Nein, mit 301er gar nicht. Nur bekommt die Domain, von der du weiterleitest, dann auch keinen PR ab - aber negativ sollte sich das bei 1 Domain eigentlich nicht auswirken. Nein, mit 301er gar nicht. Nur bekommt die Domain, von der du weiterleitest, dann auch keinen PR ab — aber negativ sollte sich das bei 1 Domain eigentlich nicht auswirken.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: david http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14272 david Sat, 08 Mar 2008 12:27:12 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14272 Wie sieht es eigentlich mit der Verwendung von mehreren domains aus? Ich meine: Ich mache eine 301-Umleitung von einer weiteren Domain auf meine Startseite. Wirkt sich das negativ auf mein Ranking bei Google aus? Danke und LG David Wie sieht es eigentlich mit der Verwendung von mehreren domains aus? Ich meine: Ich mache eine 301-Umleitung von einer weiteren Domain auf meine Startseite. Wirkt sich das negativ auf mein Ranking bei Google aus?

Danke und LG
David

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: Gewinnspieler http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14241 Gewinnspieler Sat, 08 Mar 2008 00:19:42 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14241 Das ist ein echt Klasse Beitrag, der mir sehr geholfen hat. Weiter so. :wink: Das ist ein echt Klasse Beitrag, der mir sehr geholfen hat. Weiter so. :wink:

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: houserocker http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14160 houserocker Fri, 07 Mar 2008 15:25:09 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14160 Super tipp, vielen dank... hoffe es bringt was Super tipp, vielen dank… hoffe es bringt was

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14120 ritchie Fri, 07 Mar 2008 10:46:40 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14120 Splogs halten sich ganz sicher nicht dran! Dagegen ist die beschriebene Methode recht sinnlos. Man bräuchte analog wie beim Spam-Mails eine Datenbank von untrusted IPs, um Splogs wirklich gut filtern zu können... in der Praxis aber sehr schwer umsetzbar, denk ich. Splogs halten sich ganz sicher nicht dran! Dagegen ist die beschriebene Methode recht sinnlos. Man bräuchte analog wie beim Spam-Mails eine Datenbank von untrusted IPs, um Splogs wirklich gut filtern zu können… in der Praxis aber sehr schwer umsetzbar, denk ich.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: Matthias http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14119 Matthias Fri, 07 Mar 2008 10:42:18 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14119 Kann man den sicher sein, dass die Splogs sich überhaupt an die robots.txt halten? Soweit ich weiß hält sich doch eh nur Google mehr oder weniger dran. Kann man den sicher sein, dass die Splogs sich überhaupt an die robots.txt halten? Soweit ich weiß hält sich doch eh nur Google mehr oder weniger dran.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14113 ritchie Thu, 06 Mar 2008 13:35:07 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14113 Ja, da hast du recht - wobei der Yahoo-Crawler mittlerweile auch die regex-es interpretiert, aber bei msn bin ich mir nicht sicher. Aber der Rest ist ja kaum von praktischer Bedeutung. Ja, da hast du recht — wobei der Yahoo-Crawler mittlerweile auch die regex-es interpretiert, aber bei msn bin ich mir nicht sicher. Aber der Rest ist ja kaum von praktischer Bedeutung.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: Stefan http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14112 Stefan Thu, 06 Mar 2008 13:25:14 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14112 Du schreibst: "Einige reguläre Ausdrücke sind im robots.txt erlaubt" Das ist korrekt, wenn du dich nur auf Google beziehst. In der eigentlichen, inzwischen zwölf Jahren alten "Definition" der robots.txt gibt es aber keine regulären Ausdrücke, und in der Tat interpretieren andere Suchmaschinen das nicht als regulären Ausdruck, sondern als normalen Text. Du schreibst: “Einige reguläre Ausdrücke sind im robots.txt erlaubt“
Das ist korrekt, wenn du dich nur auf Google beziehst. In der eigentlichen, inzwischen zwölf Jahren alten “Definition” der robots.txt gibt es aber keine regulären Ausdrücke, und in der Tat interpretieren andere Suchmaschinen das nicht als regulären Ausdruck, sondern als normalen Text.

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: Achim Meurer http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14103 Achim Meurer Thu, 06 Mar 2008 08:29:25 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14103 ok, danke! ok, danke!

Like or Dislike: Thumb up 0 Thumb down 0
]]> Von: ritchie http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14102 ritchie Thu, 06 Mar 2008 08:26:16 +0000 http://blog.datenschmutz.net/2008-03/robotstxt-tricks-fuer-wordpress-blogs/#comment-14102 Hi Achim, nein, du denkst da überhaupt nicht falsch - das hängt ganz stark davon ab, was du mit deinen Kategorien-Seiten so machst; wenn die gut funktionierten mit den betreffenden keywords, würd ich sie keinesfalls ausschließen... wenn sie wenig Traffic haben, dagegen schon - ich hab hier auf ds die Kat-Seiten auch nur teilweise ausgeschlossen. Hi Achim,

nein, du denkst da überhaupt nicht falsch — das hängt ganz stark davon ab, was du mit deinen Kategorien-Seiten so machst; wenn die gut funktionierten mit den betreffenden keywords, würd ich sie keinesfalls ausschließen… wenn sie wenig Traffic haben, dagegen schon — ich hab hier auf ds die Kat-Seiten auch nur teilweise ausgeschlossen.

Like or Dislike: Thumb up 0 Thumb down 0
]]>