Забранена индексация и сайтмап

[ivo.apostolov]

Имам следното питане, ако някой е правил подобно нещо. Та знае ли как реагира гугъл, ако в robots.txt се забрани изцяло на краулера да обхожда сайта, но въпреки това в webmasters tools се прати sitemap?

 

[muslim]

Re: Забранена индексация и сайтмап

ПРЕДПОЛАГАМ, че с приоритет ще е това, което е описано в robots.txt, иначе нямам лични наблюдения по този въпрос.

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Е то и сега сайта е забранен за индексация (и винаги е бил, нов е), но е в SERP-а.
Питам от гледна точка на следното:
1. Сайтът се прави и не искам Г да гледа какво съдържание има или да ми генерира излишни 404 грешки в последствие.
2. Основната навигация обаче е готова и се чудя дали ако му я пусна като сайтмап ще я захапе?

 

[Viktor Shapilov]

Re: Забранена индексация и сайтмап

Забранил ли си напълно сайта през роботс-а, гугъл не ползва съдържанието му дори сайтмапа да субмитнеш.

Прости разсъждения:
1. Пращаме на гуглъо сайтмап със съдържанието.
2. Той праща краулерите в атака, но те нямат право да не уважат роботс-а.

За това специално едно време се вдигаше много шум, че гугъл си позволяват много и колкото и да не им се иска пипат внимателно...

Относно това което искаш да направиш...
Позволи индексацията на основните страници които са готови и я забрани на останалите. 😉

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Аз точно това искам, да не гледа съдържанието, но да индексира връзките (той и сега е индексирал заглавната страница въпреки robots.txt)

 

[nbsp]

Re: Забранена индексация и сайтмап

(той и сега е индексирал заглавната страница въпреки robots.txt)

Бре! Я да го видиме това?

 

[muslim]

Re: Забранена индексация и сайтмап

Освен да го е индексирал преди да му сложите robots.txt файла и след това да е останал в кеша!

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Не се изразих точно. Не е индексиран, просто е в SERP.
Има разлика.

http://www.google.bg/search?q=блог+за+почивки
site: pochivki.biz

 

[Lilacor]

Re: Забранена индексация и сайтмап

Не се изразих точно. Не е индексиран, просто е в SERP.
Има разлика.

Чакай малко, как да попадне в SERP, ако поне веднъж не е индексиран? Каква е разликата? Без да мине бот поне 1 път няма как да е в индекса...

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

robots.txt със забраната е първият качен файл. Не е индексиран, защото практически няма как това да е станало.

 

[nbsp]

Re: Забранена индексация и сайтмап

Без да мине бот поне 1 път няма как да е в индекса...

Има, има. 😉

 

[Lilacor]

Re: Забранена индексация и сайтмап

Има, има. 😉

Обяснете, моля 🙂

 

[bgkulinar]

Re: Забранена индексация и сайтмап

Зачети това.

 

[muslim]

Re: Забранена индексация и сайтмап

http://search.yahoo.com/search?p=linkdomain:pochivki.biz -site:pochivki.biz

Имаш обратни връзки, от там го е прихванал 🙂

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Аз знам как е прихванал, но това леко се отклонява от първоначалният ми въпрос.
А той е, ако прихваща от връзки, въпреки забранената индексация, то дали няма да прихване и от сайтмап, въпреки забраната?

 

[bgkulinar]

Re: Забранена индексация и сайтмап

Иво, разгледай линка, който постнах и ще си отговориш на всички въпроси.

 

[nbsp]

Re: Забранена индексация и сайтмап

Някои хора май не са гледали първите три месеца на SEO състезанието.
Дайте си бележниците! Двойки на всички. 😀

 

[muslim]

Re: Забранена индексация и сайтмап

Няма да ги индексира със сигурност, но дали ще ги покаже като линкове, мисля че не!

Ми пробвай, че да видим какво ще стане 🙂

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Иво, разгледай линка, който постнах и ще си отговориш на всички въпроси.

Нямам звук в момента. Ще го прегледам по-късно. Мерси Пламене.

 

[ivo.apostolov]

Re: Забранена индексация и сайтмап

Няма да ги индексира със сигурност, но дали ще ги покаже като линкове, мисля че не!

Ми пробвай, че да видим какво ще стане 🙂

Да, то в крайна сметка, наистина остана да експериментирам, за да видя дали ще се получи.