Как да огранича бота на Yahoo Slurp

[uni-web]

Re: Как да огранича бота на Yahoo Slurp

При мен са на кирилица, но няма как да направя сравнение 🙂

 

[go6o78]

Re: Как да огранича бота на Yahoo Slurp

А някой да е забелязал дали тези проблеми не се появяват само с URL на кирилица? Защото аз съм имал подобен проблем с msn bot, който като захапе едно URL на кирилица и побърква apache, а в същото време същия сайт, постоянно го чопли googlebot - няма разлика в Craw-delay и за двата.

как да го изолирам с роботс.тхт да пробвам, има и заявки от него но не са кой знае колко, но всеб пак

при мен се получи, че сложих една стара база на каталог на един поддомейн с 15 000 линка
в същото време на основния домейн пуснах тагове и се получи изведнъж доста голямо количество нови линкове
но вече 1 седмица нещата не се нормализират (cpu se вдигна доста), та искам да намаля вротостепенните ботове, да видя дали ще падне натоварването дали въобще е от тях