MSNbot последни наблюдения?
- Автор s1yf0x
- Начална дата
BornToDrink
Active member
Re: MSNbot последни наблюдения?
Лек ъп на темата.
Забелязах кофти лоуд на впс-а и видях, че мсн-бота яко е налазил (прави двойно повече импресии от Г-бот).
И най-нагло краулваше с 4-5 айпита. Дропнах ги и се появиха други 3! от мрежа 207... и тая 65.52 (а не 55 както е при теб).
Накрая му дропнах целия рейнж и лоуда се оправи (въпреки, че Г-бота си пере, но той е умен..).
Та, първо пробвах да му лимитирам импресиите до някви малки, но за първите 15 минути не го зачете (роботс.тхт имам предвид).
Някой има ли идея как да не го дропвам изцяло, все пак да си рови там, но накрая ше ме изнерви и ше му бия бана...
Лек ъп на темата.
Забелязах кофти лоуд на впс-а и видях, че мсн-бота яко е налазил (прави двойно повече импресии от Г-бот).
И най-нагло краулваше с 4-5 айпита. Дропнах ги и се появиха други 3! от мрежа 207... и тая 65.52 (а не 55 както е при теб).
Накрая му дропнах целия рейнж и лоуда се оправи (въпреки, че Г-бота си пере, но той е умен..).
Та, първо пробвах да му лимитирам импресиите до някви малки, но за първите 15 минути не го зачете (роботс.тхт имам предвид).
Някой има ли идея как да не го дропвам изцяло, все пак да си рови там, но накрая ше ме изнерви и ше му бия бана...
Re: MSNbot последни наблюдения?
При нас се забелязва зацикляне на този бот при определени символи в URL - най-вече на сайтове с IDN и кирилски URL-та. Все още не мога да разбера защо другите ботове нямат този проблем, а само MSN дефектира. Уточни дали и твоя сайт е с кирлица в URL за да изолираме дали е само съвпадение или твоа действително му е проблема.
При нас се забелязва зацикляне на този бот при определени символи в URL - най-вече на сайтове с IDN и кирилски URL-та. Все още не мога да разбера защо другите ботове нямат този проблем, а само MSN дефектира. Уточни дали и твоя сайт е с кирлица в URL за да изолираме дали е само съвпадение или твоа действително му е проблема.
BornToDrink
Active member
Re: MSNbot последни наблюдения?
Имам кирилица, да.
При нормална работа (без мсн да е налазил), лоуда на сървъра върви межу 1 и 1.5, с него вчера достигна 5.3... И определено се забелязва, че Г-бота свали малко импресиите, което не ме кефи и ако днес пак налази (понеже му сложих crawl-delay) ще го дропна окончателно... 🙁
Имам кирилица, да.
При нормална работа (без мсн да е налазил), лоуда на сървъра върви межу 1 и 1.5, с него вчера достигна 5.3... И определено се забелязва, че Г-бота свали малко импресиите, което не ме кефи и ако днес пак налази (понеже му сложих crawl-delay) ще го дропна окончателно... 🙁
Re: MSNbot последни наблюдения?
Crawl-delay няма да те спаси. Приемаме, че проблема му е в кирилишките URL-а според твоята информация и моите наблюдения. Ако има хора, които могат да дадт някакво обяснение или идеи всичко полезно е добре дошло. На мен идея ми беше дал vha777 но той обеща да не пише повече във форума 🙁 най-ясно проблема се изразява при неговите инсталации с чуждоезични url-и.
Crawl-delay няма да те спаси. Приемаме, че проблема му е в кирилишките URL-а според твоята информация и моите наблюдения. Ако има хора, които могат да дадт някакво обяснение или идеи всичко полезно е добре дошло. На мен идея ми беше дал vha777 но той обеща да не пише повече във форума 🙁 най-ясно проблема се изразява при неговите инсталации с чуждоезични url-и.
BornToDrink
Active member
Re: MSNbot последни наблюдения?
За мен е странно, че краулва със 4-5 айпита и като си направих един лог, прави 2 пъти повече импресии от Г-бот.
Т.е. според мен, в моя случай бъг по-скоро няма, а краулва прекалено много, но не съм 100% сигурен.
В момента му виждам 2 айпита да "бродят", но съвсем слабо, надявам се да е взел предвид роботс.тхт-то.
За мен е странно, че краулва със 4-5 айпита и като си направих един лог, прави 2 пъти повече импресии от Г-бот.
Т.е. според мен, в моя случай бъг по-скоро няма, а краулва прекалено много, но не съм 100% сигурен.
В момента му виждам 2 айпита да "бродят", но съвсем слабо, надявам се да е взел предвид роботс.тхт-то.