Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
Започни с това кои ботове искаш да ограничиш.
Номера става точно с robots.txt, само че в него IP-та не се описват...
miraco, така си забранил достъп на всички ботовете (които изобщо взимат под внимание robots.txt) до тези директории:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/wp-theme
Disallow: /MJ12bot
Disallow: /Sosospider
Disallow: /spbot
Те така или иначе не виждам какво ще правят из тези дирове.
"Allow: /" - това го махни.
Полезна информация относно използването на robots.txt можеш да прочетеш тук
Не вярвам някой да си кръсти директориите с имената на китайски ботове, но така или иначе не съм казал нищо лошо за теб.Какво точно съм погледнал трудно можеш да кажеш при положение, че не ме гледаш в очите
Факт е, че ясно съм написал отгоре същото, което и ти в момемнта.
Не си правя прибързани заключение, защото не изключвам възможността miraco наистина да има директории с имена /MJ12bot и т.н.
htaccess има едно важно изискване - сървър Апачи, а по този въпрос още нищо не знаем. Все пак, ако е на Апачи, ето и готовите правилаако имат user-agent чрез който да ги идентифицираш можеш да ги забраниш с htaccess. така няма да разчиташ на това те да ти вярват а директно сървъра ги реже.
ако нямат можеш с htaccess да сложиш достъп с парола но само на папките на които не им е нужен достъп от потребителите
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Sosospider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^spbot [NC]
RewriteRule .* - [F,L]