Забрана на ботове в wordpress

[miraco]

Дайте съвет как мога да забраня някой ботове в wordpress. Има няколко паяка който по цял ден влизат в сайта и го товарят. Опитах забрана с robot.txt по IP и име но ефекта е нулев, бота често влиза с различно IP ...

 

[mlazarov]

Re: Забрана на ботове в wordpress

Започни с това кои ботове искаш да ограничиш.
Номера става точно с robots.txt, само че в него IP-та не се описват...

 

[miraco]

Re: Забрана на ботове в wordpress

Започни с това кои ботове искаш да ограничиш.
Номера става точно с robots.txt, само че в него IP-та не се описват...

Ето така съм ги забранил....но гледам че пак си влизат в сайта:

User-Agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/wp-theme
Disallow: /MJ12bot
Disallow: /Sosospider
Disallow: /spbot

Allow: /

 

[diabolic.bg]

Re: Забрана на ботове в wordpress

Погледни това. Тествано е и работи без проблеми на wordpress.
После, ако ти е нужно, ще ти помогна да си направиш лични дефиниции за тези ботове.

П.С. Роботс текста ти е неправилен. За да забраниш достъпа на бот се пише така:

User-Agent: MJ12bot
Disallow: /

User-Agent: Sosospider
Disallow: /

и т.н. Но ти гарантирам, че точно тези хич не ги интересува забраната. Специално за тях съм си написал дефиниции. MJ12bot например е руски бот, който се маскира зад английски сайт. Сосо е досадно китайско чудовище и дърпа като не видял...

 

[mlazarov]

Re: Забрана на ботове в wordpress

miraco, така си забранил достъп на всички ботовете (които изобщо взимат под внимание robots.txt) до тези директории:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/wp-theme
Disallow: /MJ12bot
Disallow: /Sosospider
Disallow: /spbot

Те така или иначе не виждам какво ще правят из тези дирове.


"Allow: /" - това го махни.

Полезна информация относно използването на robots.txt можеш да прочетеш тук

 

[miraco]

Re: Забрана на ботове в wordpress

miraco, така си забранил достъп на всички ботовете (които изобщо взимат под внимание robots.txt) до тези директории:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/wp-theme
Disallow: /MJ12bot
Disallow: /Sosospider
Disallow: /spbot

Те така или иначе не виждам какво ще правят из тези дирове.


"Allow: /" - това го махни.

Полезна информация относно използването на robots.txt можеш да прочетеш тук

Да, аз исках да забраня всички ботове до тези директории. Те няма какво да търсят в тези директории. Защо трябва да махна "Allow: /"

 

[mlazarov]

Re: Забрана на ботове в wordpress

Защо трябва да махна "Allow: /"

Защото robots.txt е мястото, където се оказва какво им забранено, а всичко останало им е разрешено.
Тоест излишно е да оказваш нещо два пъти. Хубаво е да RTFM

 

[diabolic.bg]

Re: Забрана на ботове в wordpress

miraco, обърни внимание какво съм ти написал в предния си пост. Тоя роботс текст е тотално объркан, но Лазаров дори не е погледнал като е цитирал.
Това е все едно забраняваш директории с тези имена:

Disallow: /MJ12bot
Disallow: /Sosospider
Disallow: /spbot

Пълна глупост.

 

[mlazarov]

Re: Забрана на ботове в wordpress

Какво точно съм погледнал трудно можеш да кажеш при положение, че не ме гледаш в очите
Факт е, че ясно съм написал отгоре същото, което и ти в момемнта.

Не си правя прибързани заключение, защото не изключвам възможността miraco наистина да има директории с имена /MJ12bot и т.н.

 

[diabolic.bg]

Re: Забрана на ботове в wordpress

Какво точно съм погледнал трудно можеш да кажеш при положение, че не ме гледаш в очите
Факт е, че ясно съм написал отгоре същото, което и ти в момемнта.

Не си правя прибързани заключение, защото не изключвам възможността miraco наистина да има директории с имена /MJ12bot и т.н.

Не вярвам някой да си кръсти директориите с имената на китайски ботове, но така или иначе не съм казал нищо лошо за теб.
Просто исках да му обърна внимание как се забранява бот, но той явно е прескочил предния ми пост или е чел по диагонала. И акцентира върху това, че му казваш да премахне разрешаващата команда, а другото му е минало покрай ушите.

 

[flasher]

Re: Забрана на ботове в wordpress

ако имат user-agent чрез който да ги идентифицираш можеш да ги забраниш с htaccess. така няма да разчиташ на това те да ти вярват а директно сървъра ги реже.

ако нямат можеш с htaccess да сложиш достъп с парола но само на папките на които не им е нужен достъп от потребителите

 

[diabolic.bg]

Re: Забрана на ботове в wordpress

ако имат user-agent чрез който да ги идентифицираш можеш да ги забраниш с htaccess. така няма да разчиташ на това те да ти вярват а директно сървъра ги реже.

ако нямат можеш с htaccess да сложиш достъп с парола но само на папките на които не им е нужен достъп от потребителите

htaccess има едно важно изискване - сървър Апачи, а по този въпрос още нищо не знаем. Все пак, ако е на Апачи, ето и готовите правила

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Sosospider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^spbot [NC] 

RewriteRule .* - [F,L]

въпреки че оставам с мнението, че защитата, която предложих преди това е по-удобна в случая.

 

[flasher]

Re: Забрана на ботове в wordpress

замени htaccess с какъвто и да е друг начин на управление на достъпа по user-agent и получаваш решение на задачата. ако беше до постване на апачи код аз си имам едни 20-30 реда лоши ботове вкарани в черния списък ама няма смисъл да пълним темата