Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
много се е активизирал напоследък
точно това гледах
User-agent: *
Crawl-delay: 10
но на user-agent
как е точно бота
в аваст ми е така Yahoo Slurp
Тва не е ли кофти да се бара при Г?
Освен да олекоти сървъра, другото всичко е минус според мен.
8640 страници макс ще прави на ден с 10 секунди...
Е аз не съм му сетвал нищо, но чисто математически няма как да е по-добре (поне при мен).
8к импресии дневно (ако си спазва 10-те секунди) са много под среднодневните обхождания според GWT.
С което му "спестяваме" някои страници.
Вярно, че бота еб@ва по-голямата част от хостинга, но все пак от него идват кинтите.
Вече за Yahoo е друг въпроса.
За индексирани страници ли говорим или за crawl rate?
Аз говоря за второто.
Ако си задал 10 секунди и имаш 15-25к обходени дневно, то бота не взема предвид тва в htaccess-а просто.
Това исках да кажа преди.