SearchEngines.bg
Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
Как да огранича бота на Yahoo Slurp
- Автор go6o78
- Начална дата
nbsp
New member
nbsp
New member
Re: Как да огранича бота на Yahoo Slurp
User-agent: Slurp
Crawl-delay: 10
На теория, трябва да сработи. (На теория, защото не съм го тествал напрактика.)
User-agent: Slurp
Crawl-delay: 10
На теория, трябва да сработи. (На теория, защото не съм го тествал напрактика.)
BornToDrink
Active member
Re: Как да огранича бота на Yahoo Slurp
Тва не е ли кофти да се бара при Г?
Освен да олекоти сървъра, другото всичко е минус според мен.
8640 страници макс ще прави на ден с 10 секунди...
Тва не е ли кофти да се бара при Г?
Освен да олекоти сървъра, другото всичко е минус според мен.
8640 страници макс ще прави на ден с 10 секунди...
uni-web
Banned
Re: Как да огранича бота на Yahoo Slurp
Приятелю да ти кажа че с 20 мин някаде ми спадна cpu time а си продължава да си индексира както преди та дори смея да твардя и по-добре
Приятелю
да ти кажа че с 20 мин някаде ми спадна cpu time а си продължава да си индексира както преди та дори смея да твардя и по-добре Тва не е ли кофти да се бара при Г?
Освен да олекоти сървъра, другото всичко е минус според мен.
8640 страници макс ще прави на ден с 10 секунди...
BornToDrink
Active member
Re: Как да огранича бота на Yahoo Slurp
Е аз не съм му сетвал нищо, но чисто математически няма как да е по-добре (поне при мен).
8к импресии дневно (ако си спазва 10-те секунди) са много под среднодневните обхождания според GWT.
С което му "спестяваме" някои страници.
Вярно, че бота еб@ва по-голямата част от хостинга, но все пак от него идват кинтите.
Вече за Yahoo е друг въпроса.
Е аз не съм му сетвал нищо, но чисто математически няма как да е по-добре (поне при мен).
8к импресии дневно (ако си спазва 10-те секунди) са много под среднодневните обхождания според GWT.
С което му "спестяваме" някои страници.
Вярно, че бота еб@ва по-голямата част от хостинга, но все пак от него идват кинтите.
Вече за Yahoo е друг въпроса.
uni-web
Banned
Re: Как да огранича бота на Yahoo Slurp
Ако сайта ви е с много страници, може да укажете на търсачките да индексират всяка страница през 10 секунди, а не да пускат зявка към всичките ви страници наведнъж и да претоварват сайта.
При мен се получи олекутяване на сървара без промяна в индексирането, и както даже по-горе споменеах мисля че е по-бързо от преди
Примерна статистика: преди максимум: 3000 до 5000 индексирани страници на ден, сега : 15 000 до 25 000 на ден
Ако сайта ви е с много страници, може да укажете на търсачките да индексират всяка страница през 10 секунди, а не да пускат зявка към всичките ви страници наведнъж и да претоварват сайта.
Е аз не съм му сетвал нищо, но чисто математически няма как да е по-добре (поне при мен).
8к импресии дневно (ако си спазва 10-те секунди) са много под среднодневните обхождания според GWT.
С което му "спестяваме" някои страници.
Вярно, че бота еб@ва по-голямата част от хостинга, но все пак от него идват кинтите.
Вече за Yahoo е друг въпроса.
При мен се получи олекутяване на сървара без промяна в индексирането, и както даже по-горе споменеах мисля че е по-бързо от преди
Примерна статистика: преди максимум: 3000 до 5000 индексирани страници на ден, сега : 15 000 до 25 000 на ден
Последно редактирано:
BornToDrink
Active member
Re: Как да огранича бота на Yahoo Slurp
За индексирани страници ли говорим или за crawl rate?
Аз говоря за второто.
Ако си задал 10 секунди и имаш 15-25к обходени дневно, то бота не взема предвид тва в htaccess-а просто.
Това исках да кажа преди.
За индексирани страници ли говорим или за crawl rate?
Аз говоря за второто.
Ако си задал 10 секунди и имаш 15-25к обходени дневно, то бота не взема предвид тва в htaccess-а просто.
Това исках да кажа преди.
uni-web
Banned
Re: Как да огранича бота на Yahoo Slurp
А кое е по-важно?
А кое е по-важно?
За индексирани страници ли говорим или за crawl rate?
Аз говоря за второто.
Ако си задал 10 секунди и имаш 15-25к обходени дневно, то бота не взема предвид тва в htaccess-а просто.
Това исках да кажа преди.
BornToDrink
Active member
Re: Как да огранича бота на Yahoo Slurp
Нали не искаш да кажеш, че имаш повече индексирани страници откакто бота е намалил импресиите?
Естествено, дори да е така, вероятно нямат общо двете неща.
Продължавам да твърдя, че ако бота обхожда по-малко страници заради указанието в htaccess, то това е по-лошо за сайта и единствено по-добре за сървъра.
А ако говорим за site:domain.com... то там нещата са доста хаотични и не мисля, че влизат като фактор.
A кое е по-важно... би следвало двете да вървят ръка за ръка. Щом обхожда, значи и индексира (или поне някои), но щом не обхожда, просто няма как да индексира.
Нали не искаш да кажеш, че имаш повече индексирани страници откакто бота е намалил импресиите?
Естествено, дори да е така, вероятно нямат общо двете неща.
Продължавам да твърдя, че ако бота обхожда по-малко страници заради указанието в htaccess, то това е по-лошо за сайта и единствено по-добре за сървъра.
А ако говорим за site:domain.com... то там нещата са доста хаотични и не мисля, че влизат като фактор.
A кое е по-важно... би следвало двете да вървят ръка за ръка. Щом обхожда, значи и индексира (или поне някои), но щом не обхожда, просто няма как да индексира.
Re: Как да огранича бота на Yahoo Slurp
А някой да е забелязал дали тези проблеми не се появяват само с URL на кирилица? Защото аз съм имал подобен проблем с msn bot, който като захапе едно URL на кирилица и побърква apache, а в същото време същия сайт, постоянно го чопли googlebot - няма разлика в Craw-delay и за двата.
А някой да е забелязал дали тези проблеми не се появяват само с URL на кирилица? Защото аз съм имал подобен проблем с msn bot, който като захапе едно URL на кирилица и побърква apache, а в същото време същия сайт, постоянно го чопли googlebot - няма разлика в Craw-delay и за двата.