Здравейте,
Използвам още robots.txt файл само заради връзката, която може да се сложи от него към sitemap.xml . Реално не го използвам по предназначение да забранява части от сайта, защото robots мета таговете и хедърите вършат много по-добра работа без да се губят връзки.
Въпросът ми е заслужава ли си да държим robots.txt файла при това положение? Аз лично при повечето сайтове го виртуализирам, така че отнема ресурс, не е просто един файл, както изглежда. А и гугъл съветват ако нямаме какво да забраняваме за индексация, да не слагаме изобщо robots.txt
Имам добавена връзка към sitemap.xml в GWT, отделно пингвам при всяка промяна. Някои предлагат следния код, като алтернатива на връзката от robots.txt, но не знам изобщо дали работи:
Ще ми е интересно да прочета още мнения по въпроса.
Използвам още robots.txt файл само заради връзката, която може да се сложи от него към sitemap.xml . Реално не го използвам по предназначение да забранява части от сайта, защото robots мета таговете и хедърите вършат много по-добра работа без да се губят връзки.
Въпросът ми е заслужава ли си да държим robots.txt файла при това положение? Аз лично при повечето сайтове го виртуализирам, така че отнема ресурс, не е просто един файл, както изглежда. А и гугъл съветват ако нямаме какво да забраняваме за индексация, да не слагаме изобщо robots.txt
Имам добавена връзка към sitemap.xml в GWT, отделно пингвам при всяка промяна. Някои предлагат следния код, като алтернатива на връзката от robots.txt, но не знам изобщо дали работи:
Код:
<head>
<title>...</title>
<link href="/sitemap.xml" type="application/xml" rel="sitemap" />
</head>Ще ми е интересно да прочета още мнения по въпроса.
