scoobydoo
Know you can!
На скоро изтрих няколко файла от един сайт, които от много месеци бяха пренасочени с 301 редирект и вече не са ми нужни.
След това видях че от средно 25 минути процесорно време съм направил на този сайт над 90 😱 Естествено колегите от ICN, които са винаги коректни и чакат да видят дали това не е само временно, не ми направиха никакъв проблем, за което им благодаря.
Та оказа се че тъпия msnbot е влязъл в някакъв цикъл или нещо такова и си блъска заявки към липсващата страница, независимо че се връща 404 грешка. 😕 Той продължава и продължава и си цикли, а процесора на сървъра го псува 😀. Блокирах го с robots.txt и по IP и се реши проблема.
Общо взето да споделя и да предупредя, ако някой случайно има същия проблем и не се е сетил да дръпне суровите логове (и да види безбройните влизания на msnbot), да знае че това може да е проблема.
Поздрави.
След това видях че от средно 25 минути процесорно време съм направил на този сайт над 90 😱 Естествено колегите от ICN, които са винаги коректни и чакат да видят дали това не е само временно, не ми направиха никакъв проблем, за което им благодаря.
Та оказа се че тъпия msnbot е влязъл в някакъв цикъл или нещо такова и си блъска заявки към липсващата страница, независимо че се връща 404 грешка. 😕 Той продължава и продължава и си цикли, а процесора на сървъра го псува 😀. Блокирах го с robots.txt и по IP и се реши проблема.
Общо взето да споделя и да предупредя, ако някой случайно има същия проблем и не се е сетил да дръпне суровите логове (и да види безбройните влизания на msnbot), да знае че това може да е проблема.
Поздрави.
