SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Как да блокирам обхождането на baiduspider?

Прегледах една стара тема оттук , но не ми стана много ясно кое работи наистина и какво точно да сложа в .htaccess файла. Нещо актуално и работещо ще предложите ли? Влиза с повече от 10 IP-та, но поне всичките започват с 180.76.*.*
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

Deny From 111.13.8.0/24
Deny From 220.181.108.0/24
Deny From 72.5.29.5
Deny From 94.32.111.20
Deny From 58.60.0.0/16


Deny From 220.181.94.0/24
Deny From 220.181.108.0/24
Deny From 180.76.5.0/24
Deny From 180.76.6.0/24
Deny From 123.125.71.0/24
Deny From 124.115.0.0/24
Deny From 124.115.6.0/24

Deny From 119.63.196.0/24
Deny From 60.169.0.0/16
Deny From 61.160.0.0/16

тук освен Baidu има и купчина Индийски глупости..... актуално към 1.12.2011
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

Вместо да изредиш камара ІР адреси, по-добре е да блокираш по юзер агент:

Код:
RewriteCond %{HTTP_USER_AGENT} ANY_USER_AGENT [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
RewriteRule .* - [F,L]
При мен кодът работи без грешка. На същия принцип после може да си добавиш и други. [NC] се слага само на последния, преди това трябва да има и OR.
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

А ако случайно бота не се идентифицира като baidu spider? Не знам до каква степен си чел логове но baiduspider има ip-range и в Япония и в Корея.... при това не се идентифицира като такъв, а само по собственика на AS-а можеш да разбереш, че е обвързан с Baidu. Общо взето всички, които са регистрирани в spambotsecurity.com са фанатизирани на тема user-agent, но е факт че с конзолен браузър или един обикновен perl/python скрипт user-agent лесно може да се манипулира, докато IP-то от което идва заявката е доста по-сложно.
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

По "име" на бота не става. s1yf0x, поставих и твоите за проба, но добавих "Deny From 180.76.5.0/255" вместо "Deny From 180.76.5.0/24", защото не са само до 24 накрая и сървъра върна грешка 500, затова ги оставих в последствие, както ми ги даде.
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

А ако случайно бота не се идентифицира като baidu spider? Не знам до каква степен си чел логове но baiduspider има ip-range и в Япония и в Корея.... при това не се идентифицира като такъв, а само по собственика на AS-а можеш да разбереш, че е обвързан с Baidu. Общо взето всички, които са регистрирани в spambotsecurity.com са фанатизирани на тема user-agent, но е факт че с конзолен браузър или един обикновен perl/python скрипт user-agent лесно може да се манипулира, докато IP-то от което идва заявката е доста по-сложно.
Вярно е, че има и японски Baidu, за корейски не зная, не съм срещал. Японският се идентифицира по същия начин, многократно съм го засичал. Има разлика само ІР-то, но ако иска да блокира и трите е достатъчно в кода да остави само Baidu.
От друга страна, не виждам общо с регистрацията в spambotsecurity.com. Аз съм един от първите, не само от България, защото тръгнах да помагам още преди създаването на сайта. Смело мога да твърдя, че няма такова нещо като фанатизация към юзер агент. Ако разгледаш дефинициите на защитата, ще се убедиш, че има и милиони ІР адреси или обхвати въведени там, а отделно има блокиране по други параметри, така че никой не придава особена тежест точно на юзер агента. :)
 
За: Как да блокирам обхождането на baiduspider?

За: Как да блокирам обхождането на baiduspider?

По "име" на бота не става. s1yf0x, поставих и твоите за проба, но добавих "Deny From 180.76.5.0/255" вместо "Deny From 180.76.5.0/24", защото не са само до 24 накрая и сървъра върна грешка 500, затова ги оставих в последствие, както ми ги даде.

Deny From 180.76.5.0/24 = 180.76.5.1-180.76.5.254 няма таквоа нещо като /255 при задаване на IP range в CIDR формат. в .htaccess преди можеше да се задавт и по следния начин: 180.76.5.1-254 но, аз лично мисля че CIDR формата е по-добрия вариант.
 
Re: За: Как да блокирам обхождането на baiduspider?

Re: За: Как да блокирам обхождането на baiduspider?

Вчера оправях сайт с проблеми с въпросните две мрежи, не съм проверил всичките, но повечето изредени от s1yf0x са актуални и вършат работа със сигурност, за който не може да си ги добави от .htaccess-a да ползва ИП Блок функцията на цпанела. ;)
 

Горе