robots.txt wildcards или как?

[evilsatan]

Въпрос относно robots.txt
Симулирам директорийна структура в сайта и искам роботите да не я обхождат в голяма дълбочина. Нека например имам следните url-ли:

http://domain/products/ime_na_produkta1/
http://domain/products/ime_na_produkta2/
http://domain/products/ime_na_produkta3/

и т.н. Въпросът е че снимките и външните връзки за даден продукт са симулирани по следния начин:
http://domain/products/ime_na_produkta1/picture/
http://domain/products/ime_na_produkta1/link/
http://domain/products/ime_na_produkta1/movie/

Искам така да настроя robots.txt че да обхожда само до име на продукта (вкл), без да продължава в дълбочина...

 

[bgkulinar]

Re: robots.txt wildcards или как?

User-agent: * 
Disallow: /picture/
Disallow: /link/
Disallow: /movie/

Разбира се при условие че нямаш такива директории, които искаш да се обхождат.

 

[evilsatan]

Re: robots.txt wildcards или как?

10x, но това:

Disallow: /picture/

Няма ли да изключи само: http://domain/picture/ ? или е за всеки URL, съдържащ /picture/

 

[bgkulinar]

Re: robots.txt wildcards или как?

Disallow: /picture/ изключва
http://domain/products/ime_na_produkta1/picture/ и
http://domain/picture/

Може да ползваш роботс.тхт чекъра в уебмастър тула на Гугъл.