Един въпрос за robot.txt

[lipa]

Здравейте, може ли малко помощ за моят робот файл на сайт на wordpress с boddypres, които сложих на сайта и рязко посешенията паднаха и стаите не се индексират:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow:/activity/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /wp-includes
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /wp-includes
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /activity/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=

Host: site.com

Sitemap: http://site.com/sitemap.xml

Опитал съм се както се вижда максимално да да избегна дублирането на съдържанието. Защо според вас не се индексират статиите, кой е грешният ред?

 

[Juve]

Re: Един въпрос за robot.txt

Разкарай всичко от robots.txt и остави само
User-Agent: *
Allow: /

инсталирай един WordPress SEO by Yoast
от него сложи noindex на :
тагове
категории
архиви


С Robots.txt няма да избегнеш дублирано съдържание, а единствено обхождането му от ботовете.

 

[cloxy]

Re: Един въпрос за robot.txt

И аз съм на мнение, че robots.txt е отживелица и noindex метатага и хедъра го заместват, като в същото време имат предимството, че връзките от деиндексираните страници се проследяват.

 

[w1ck3dgam3]

За: Един въпрос за robot.txt

За: Един въпрос за robot.txt

robot.txt или robots.txt си кръстил файла?

 

[lipa]

За: Един въпрос за robot.txt

За: Един въпрос за robot.txt

robot.txt или robots.txt си кръстил файла?

Се казва файла robots.txt

 

[borislav123]

Re: Един въпрос за robot.txt

robocop.txt 🙂

малко хумор за събуждане :wink:

 

[TZahariev]

За: Един въпрос за robot.txt

За: Един въпрос за robot.txt

Хахаха да и аз съм на тва мнение 🙂 сложи един нормален роботс файл и другото го забрани с плъгин 😉 Имах скоро подобрен проблем и колегите ми помогнаха 🙂

 

[bgkulinar]

За: Re: Един въпрос за robot.txt

За: Re: Един въпрос за robot.txt

...като в същото време имат предимството, че връзките от деиндексираните страници се проследяват.

Че то и връзките от ноиндекс, фолоу също се проследяват или имаш нещо друго предвид?

 

[cloxy]

Re: За: Re: Един въпрос за robot.txt

Re: За: Re: Един въпрос за robot.txt

Че то и връзките от ноиндекс, фолоу също се проследяват или имаш нещо друго предвид?

Именно, проследяват се. А при robots.txt не се проследяват, затова според мен е отживелица.

 

[lipa]

За: Един въпрос за robot.txt

За: Един въпрос за robot.txt

Ясно дискусията стана, но аз питах за нещо конкретно от робот.тхт, който съм пердожил отгоре кой ред да махна, че да се индексират единствено и само публикуваните материали, защото сега е малко предобеден и не се индексират някой от статиите, site.com/ime-na statia - това не се индексира?