robots.txt timeout

Здравейте колеги,
Днес Google ме изненада с 614 Crawl errors И всичките са robots.txt timeout. Погледнах в центъра им за помощ https://support.google.com/webmasters/bin/answer.py?hl=en&answer=35164 но не виждам решение на проблема. Робот файла ми си е там и си работи някакви идеи защо се получава така?

Мерси предварително.

За: robots.txt timeout

За: robots.txt timeout

Можеш да направиш следните тествое: да се опиташ да си прочетеш файла през браузър, след това да смениш user-agent-а на браузъра си, за да имитираш Google (става с плъгини, или с команда curl ако ползваш linux). Ако файла не е достъпен само за Google значи има нещо криво по хостинг акаунта ти. Виж дали Google е индексирал други файлове от акаунта, ако е timeout-вал за един, би следвало да е timeout-вал за всички.

Re: robots.txt timeout

През браузара си го отварям, и с curl също... всички грешки са ми от една дата (да се насяваме, че е било нещо с хоста временно). На графиката от google web masters сe вижда че на тази дата crowl-натите страници падат от 3000 дневно до 0 и после пак на горе до 3000. Ако пак имам подобен проблем ще пиша, но за сега съм спокоен...

Мерси все пак

За: robots.txt timeout

За: robots.txt timeout

При ICN ли е хостнат сайта?

Re: robots.txt timeout

Не имам си собствено сървърно с мои машини, просто обичам да администрирам сървъри и реших да не се занимавам с разни хост компании.