Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
User-agent: *
Disallow: /
Докато е в работната
<meta name="robots" content="noindex, nofollow" />
без robots.txt
После като си го преместиш на главния
<meta name="robots" content="index, follow" />
с robots.txt
Видеото е доста старо мисля миналата година го бях гледал от канала на Кътс в тубата, но все още е актуално.С роботса не е достатъчно. Ето защо. Вариантът с мета ноиндекс или рел каноникал е по-добър.
С апачи също лесно се "вижда" юзър агента, но ако не знаеш как да го направиш, най-много да си докараш банани.не знам на какъв език пишеш на сайта си, но на PHP лесно можеш да видиш, когато USER AGENT-а е Гугъл бот, Яху бот и т.н. и да го exit-неш