ValeriEftimov
New member
Здравейте,
Когато пусках сайта си и качих robots.txt, установих след време, че на него има някакви корекции, които така и не знам от къде бяха направени.
Бяха блокирани ботовете AhrefsBot и MJ12bot за целия сайт. Отделно имаше грешка във въведения код, която всъщност блокираше всички ботове. Тази грешка я отсраних, но реших, че двата опоменати бот-а са блокирани по някаква политика на администраторите на хост-а ... или .. не знам, оставих ги.
Почетох малко из нета и там има мнения, че трябва да са блокирани. По-късно се запознах, че това са ботове на сайтове за анализ на backlinks.
И сега не съм сигурен има ли някаква оспаност или не и трябва ли да ги държа блокирани. Друг е въпроса, че през robots.txt е ала бала, но поне да разбера как стоят нещата и ако трябва ще ги блокирам ... както си трябва.
Когато пусках сайта си и качих robots.txt, установих след време, че на него има някакви корекции, които така и не знам от къде бяха направени.
Бяха блокирани ботовете AhrefsBot и MJ12bot за целия сайт. Отделно имаше грешка във въведения код, която всъщност блокираше всички ботове. Тази грешка я отсраних, но реших, че двата опоменати бот-а са блокирани по някаква политика на администраторите на хост-а ... или .. не знам, оставих ги.
Почетох малко из нета и там има мнения, че трябва да са блокирани. По-късно се запознах, че това са ботове на сайтове за анализ на backlinks.
И сега не съм сигурен има ли някаква оспаност или не и трябва ли да ги държа блокирани. Друг е въпроса, че през robots.txt е ала бала, но поне да разбера как стоят нещата и ако трябва ще ги блокирам ... както си трябва.