URL Parameters в robots.txt

[mattcuts]

Здравейте,

Сайта е онлайн магазин - въпроса ми е относно "казване" на Гугъл да не crawl-ва и индексира URL parameters, които сортират страницирано съдържание. Направен е опит за това в robots.txt с директиви от рода на: "Disallow: /?dir="

1. Директивите не трябва ли да са Disallow: /*? и Disallow /*& със имената на всички параметри, които искаме да се забранят
2. Този начин изобщо работи ли? тъй като от Г въведоха задаване на URL параметри в Webmaster Tools

и 3. Какво е според вас най-доброто решение за това?

Според мене, логичното е да се направи URL parameter handling в Webmaster Tools и тези за които не сме сигурни дали променят съдържанието, да се сложат на Let GoogleBot Decide + да се премахнат директивите от robots.txt

 

[gvv]

За: URL Parameters в robots.txt

За: URL Parameters в robots.txt

1.
disallow: *sort_variable1*
disallow: *sort_variable2*
...

2. rel canonical

3. crawl-url-parameters в google webmaster

По принцип ще върши работа и само едното. Лично аз обичам да не оставям повод на гугъл да индексира каквото не ми харесва

 

[mattcuts]

За: URL Parameters в robots.txt

За: URL Parameters в robots.txt

Благодаря, т.е. по всички начини възможни