Въпрос за AhrefsBot и MJ12bot

[ValeriEftimov]

Здравейте,

Когато пусках сайта си и качих robots.txt, установих след време, че на него има някакви корекции, които така и не знам от къде бяха направени.
Бяха блокирани ботовете AhrefsBot и MJ12bot за целия сайт. Отделно имаше грешка във въведения код, която всъщност блокираше всички ботове. Тази грешка я отсраних, но реших, че двата опоменати бот-а са блокирани по някаква политика на администраторите на хост-а ... или .. не знам, оставих ги.
Почетох малко из нета и там има мнения, че трябва да са блокирани. По-късно се запознах, че това са ботове на сайтове за анализ на backlinks.

И сега не съм сигурен има ли някаква оспаност или не и трябва ли да ги държа блокирани. Друг е въпроса, че през robots.txt е ала бала, но поне да разбера как стоят нещата и ако трябва ще ги блокирам ... както си трябва.

 

[Guest]

Опасност няма, но са пословично "агресивни" и товарят сайтовете, освен ако не ги пообуздаеш леко със Crawl-delay клаузи.

 

[cloxy]

Най-вероятно от хостинга са ги спрели, за да намалят натоварването. Много са агресивни, особено Majestic-a.

 

[diabolic.bg]

Най-вероятно от хостинга са ги спрели, за да намалят натоварването. Много са агресивни, особено Majestic-a.

Да не говорим, че Majestic-aсе явява с непрекъснато различни ІР-та от най-разнообразни хостове по целия свят. Много мирише на спамбот и аз лично съм го блокирал още преди години. AhrefsBot - също и не съм забелязал да губя нещо от това.

 

[ValeriEftimov]

Благодаря

 

[evgenim]

Здравейте,
темата е добра...
как ви се струва следния robots.txt:

/////////////////////////////////////////////////
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: *
Crawl-delay: 10
/////////////////////////////////////////////////

Нали последното мяна да отмени горните две и 10 секунди за Crawler-а добре ли са според вас?

Благодаря предварително!

 

[diabolic.bg]

Добре ми се струва, но не върши работа за тези роботи - подминават го като пътен знак. Или го четат, за да се набутат точно, където ти не искаш.

 

[evgenim]

Благодаря за отговора!
Дай съвет за решение на проблема?

 

[diabolic.bg]

Добави този код в htaccess файла си:

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC]
RewriteRule .* - [F]

 

[evgenim]

Благодаря, ще пробвам!