SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Колко време след забрана през robots.txt ще бъдат свалени страници от Google индекс

Sdimo

New member
Става въпрос за дублирано съдържание, генерирани линкове от различно сортиране на продуктите на съответните страници по 4 различни критерия + 4 различни опции за показване на продукти на страница, получили са се доста комбинации и докато се усетя 500-500 хил. индексирани страници и ... Пингвин.

Една част от страниците успях да ги махна с URL removal tool - тези които си имат поддиректории, чрез забрана на цялата директория, но другите се намират в главната директория и няма как да ги сваля, ако започна да ги пиша 1 по 1 ще минат години.

Стигнах до там да пусна за премахване целия сайт с идеята после да го пусна за индексиране на ново, но се оказа, че не е решение тъй като трябва да минат 90 дни, затова отмених заявката.

В момента съм забранил през robots.txt индексирането на ненужните страници (след дъжд качулка), но колко време ще се чака, някои от тях се катерят през месеци.

Някакви идеи или поне морална подкрепа. ;)
 
Re: Колко време след забрана през robots.txt ще бъдат свалени страници от Google инде

Идеята да се ползва роботс.тхт за премахване на дублирано съдържание при наличие на ноиндекс тагове и хедър респонс, както и каноникъл таг, е морално остаряла. Да не говорим, че забранена с роботс.тхт НЕ СЕ премахва от индекса, ако има линкове към нея.
 
Re: Колко време след забрана през robots.txt ще бъдат свалени страници от Google инде

"Google does not recommend blocking crawler access to duplicate content on your website, whether with a robots.txt file or other methods. If search engines can't crawl pages with duplicate content, they can't automatically detect that these URLs point to the same content and will therefore effectively have to treat them as separate, unique pages. A better solution is to allow search engines to crawl these URLs, but mark them as duplicates by using the rel="canonical" link element, the URL parameter handling tool, or 301 redirects. In cases where duplicate content leads to us crawling too much of your website, you can also adjust the crawl rate setting in Webmaster Tools."

Добре, да ползвам rel="canonical" или ... ?
 
Re: Колко време след забрана през robots.txt ще бъдат свалени страници от Google инде

Не знам какъв точно ти е случаят, но като за начало може би е добре.
 
Re: Колко време след забрана през robots.txt ще бъдат свалени страници от Google инде

Има обаче са десетки хиляди URL-та, няма как да стане.

Това, което успях го remove-нах от там.
 

Горе