Процесорно време и Гугълбот

BornToDrink

BornToDrink

Active member
Това нормално ли е пичове?
http://borntodrink.org/?p=264
Гугльо ми изземва всичкото процесорно време.. а вчера ми е гепал близо 170 минути, което вече ми надвишава лимита...
От една страна е добре да индексира сайта, ама той май прекалява.
Скрипта в никакъв случай не е прекалено тежък, понеже се вижда, че при липса на бот, минутите падат до под 20.
По-скоро въпроса е - ако продължава системно да ми надвишава лимита, от СУперхостинг ще питат - "Кво правим..", а да си вземам ВПС заради временно (предполагам) индексиране ми звучи тъпо...
 
Последно редактирано:
Re: Процесорно време и Гугълбот

Сигурен ли си, че е бота на Гугъл. От тези статистики не разбрах как си познал. Преди няколко месеца имах подобни проблеми. И тогава моя програмист направи статистика която следи процесорното време на заявките и се оказа, че Яндекса яде времето, а Гугъла харчи няколко пъти по-малко от него. Не зная тези статистики които си показал до колкото са показателни, по точно тази от Аналитикса.
 
Re: Процесорно време и Гугълбот

а колко страници е сайта? има ли още много за индексиране?

при мен гугълския бот ми е убивал споделен хостинг доста успешно със заявки през 1-2 секунди
 
Re: Процесорно време и Гугълбот

Втората графика не е от аналитикс, а от webmasters->diagnostics->crawl stats.
Ясно се вижда, че когато има пик на краулера, има пик и на процесорното време.
Графиките (особено в края) са толкова идентични, че няма начин да греша за това. 🙂
Иначе посещенията са почти константни за този период.

Иначе от webalizer статистиката ясно се вижда, че Googlebot вършее най-много, а не други такива.

ps - сайта е първите обяви от подписа, не са малко страниците...
 
Последно редактирано:
Re: Процесорно време и Гугълбот

Това е хубаво, по възможност не го ограничавай. Растеж в трафика имаш ли?
 
Re: Процесорно време и Гугълбот

johnny каза:
Това е хубаво, по възможност не го ограничавай. Растеж в трафика имаш ли?
Увеличете...

За момента нямам, но растат индексираните страници.
Скоро пуснах нов дизайн и доста променени линкове с 301.. вероятно за това, но редиректите още преди седмица ги беше индексирал с новите УРЛ-и.
 
Re: Процесорно време и Гугълбот

Да, нормално е.

Сайта ти има над 100к индексирани страници - за да може G да ги опреснява постоянно е необходимо да не спира процеса на индексиране. Съответно постоянно ти чегърка из сайта, което неимуверно довежда до твоя проблем


Сайта ти ми изглежда като да е custom решение. Ако това е вярно помисли за оптимизиране на кода и mysql заявките!
 
Re: Процесорно време и Гугълбот

mlazarov каза:
Да, нормално е.

Сайта ти има над 100к индексирани страници - за да може G да ги опреснява постоянно е необходимо да не спира процеса на индексиране. Съответно постоянно ти чегърка из сайта, което неимуверно довежда до твоя проблем

Сайта ти ми изглежда като да е custom решение. Ако това е вярно помисли за оптимизиране на кода и mysql заявките!
Увеличете...

Преди пак си бяха толкова, но го нямаше проблема с индексирането...
За това се надявам да е заради новия хтмл и в известен смисъл структура на сайта, да я обходи така достатъчно и после да има по-равномерно индексиране.

Иначе сайта е писан с Yii framework, като предната версия пак беше къстъм, но "ред за ред".
И двете версии оня ден ги тествах а Apache Bench (с еднаква база) и разликите бяха минимални в полза на старата версия (очаквано). Заявките са от прости по-прости и не мисля, че имат нужда от оптимизация.
По-скоро ще наблегна на кеш функционалностите, но страниците, които ще имат тази възможност са по-малко от 1/3-та, че другите просто са си динамични. И все пак ще помогне де...

ps - с APC нещата изглеждат далеч по-добре, но уви, от Суперхостинг не го включват на споделените планове...
 
Последно редактирано:
Re: Процесорно време и Гугълбот

Щом се вдига Crawl Stats-а значи сайта се развива в очите на гугъл, така че може само да се радваш : )). Опитай да оптимизираш.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе