BornToDrink
Active member
От 2-3 седмици забелязвам аномалия в работата на бота.
Първо, краулва ме с адски много айпита, което не е лошо, но:
- претоварва ми сървъра
- на моменти ми пада апачето заради него (май)
Странното е, че имам един скрипт, който взема REMOTE_ADDR и го логва заедно с импресиите за уникално IP.
Като го пусна - гугъл рязко намалява краула и лоуда на сървъра се нормализира.
Тва за мен беше адската изненада, щото очаквах лоуда да се качи, все пак ползвам бази данни за логването.
Последния пик на импресии му беше оня ден, като ми изрина 630,000 за 1 ден според GWT. Това, съвкупно с други ботове и посетителите никак не е малко, особено като не са разпределени равномерно през периода.
Случилите се неща нямат никва логика за мен и се чудя кво да правя.
Преди месец ме краулваше главно с 1 айпи, което правеше многото импресии, а още 4-5 негови пак обхождаха, но сега са към 30-40, всичките 66.249.72.***
Идеи?
Първо, краулва ме с адски много айпита, което не е лошо, но:
- претоварва ми сървъра
- на моменти ми пада апачето заради него (май)
Странното е, че имам един скрипт, който взема REMOTE_ADDR и го логва заедно с импресиите за уникално IP.
Като го пусна - гугъл рязко намалява краула и лоуда на сървъра се нормализира.
Тва за мен беше адската изненада, щото очаквах лоуда да се качи, все пак ползвам бази данни за логването.
Последния пик на импресии му беше оня ден, като ми изрина 630,000 за 1 ден според GWT. Това, съвкупно с други ботове и посетителите никак не е малко, особено като не са разпределени равномерно през периода.
Случилите се неща нямат никва логика за мен и се чудя кво да правя.
Преди месец ме краулваше главно с 1 айпи, което правеше многото импресии, а още 4-5 негови пак обхождаха, но сега са към 30-40, всичките 66.249.72.***
Идеи?
