wood
Senior Member
Как е най удачно да забраня с robots.txt админ папката да се обхожда / индексира и някой ботове и в същото време да разреша останалата част от сайта да се обхожда.
Пробвах единият вариянт така:
User-agent: admin
Disallow: /
User-agent: Mediapartners-Google
Disallow:
и вторият така:
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /editor/
Disallow: /include/
Disallow: /js/
Disallow: /log/
Disallow: /styles/
User-agent: *
Allow:/
Пробвах единият вариянт така:
User-agent: admin
Disallow: /
User-agent: Mediapartners-Google
Disallow:
и вторият така:
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /editor/
Disallow: /include/
Disallow: /js/
Disallow: /log/
Disallow: /styles/
User-agent: *
Allow:/