Забрана и разрешаване с robots.txt

[wood]

Как е най удачно да забраня с robots.txt админ папката да се обхожда / индексира и някой ботове и в същото време да разреша останалата част от сайта да се обхожда.
Пробвах единият вариянт така:
User-agent: admin
Disallow: /

User-agent: Mediapartners-Google
Disallow:


и вторият така:
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /editor/
Disallow: /include/
Disallow: /js/
Disallow: /log/
Disallow: /styles/

User-agent: *
Allow:/

 

[diabolic.bg]

За: Забрана и разрешаване с robots.txt

За: Забрана и разрешаване с robots.txt

Как е най удачно да забраня с robots.txt админ папката да се обхожда / индексира и някой ботове и в същото време да разреша останалата част от сайта да се обхожда.
Пробвах единият вариянт така:
User-agent: admin
Disallow: /

User-agent: Mediapartners-Google
Disallow:


и вторият така:
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /editor/
Disallow: /include/
Disallow: /js/
Disallow: /log/
Disallow: /styles/

User-agent: *
Allow:/

Първо нека да уточним някои неща - admin не е юзер агент, а потребител и това първото е чиста глупост.

User-agent: Mediapartners-Google
Disallow:

Второ. Този код не забранява нищо, ако след двоеточието няма нещо изброено.

Трето. Роботс текста не е за разрешаване, а за забраняване. По подразбиране всичко, което не е забранено, значи е разрешено и роботите го обхождат.

И накрая стигаме до смисления вариант:

User-agent: * 
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /editor/
Disallow: /include/
Disallow: /js/
Disallow: /log/
Disallow: /styles/
Disallow:

 

[scoobydoo]

За: Забрана и разрешаване с robots.txt

За: Забрана и разрешаване с robots.txt

Ще добавя, че Гугъл масово си индексира URL-и блокирани с robots.txt. Тоест това не е забрана за индексиране, а за обхождане. За това ги добавя в индекса си ако реши, но няма описание. За да не се индексират трябва или с meta noindex таг или по един друг начин описан по-надолу в тази статия, където пише Example uses of the X-Robots-Tag.
Също имай предвид, че ако блокираш папка с robots.txt и сложиш и meta noindex например, то второто НЯМА да работи, защото бота не може да го види заради първото. Предполагам е същото и с X-Robots метода (не съм тествал там).