Еми аз май се спрях на <meta name="robots" content="index, follow, all" />
ама питам, защото в google's webmasters' central си има отделено меню под
Tools и на мен ми пише - error 404, файла(robots.txt) не е намерен и се чудя кофти ли е това
или не?
Използвай map website builder 1.5 free потърси в гуугъл в момента сайта им не бачка но иначе програмата е добра за роботс.тхт и за карта на сайта ти която олеснява гуугълчето поздрави
Освен ако не искаш да забраниш достъпът на ботовете до някои части на сайта, robots.txt не ти трябва. Но ако те дразнят рапортите за 404 грешки можеш да сложеш празен файл. Търсачките го търсят с единствената цел, да проверят, дали нещо не е забранено за тях.