Robots.txt и индексиране

[nf1]

Здравейте,

Имам следната ситуация. Сайт в който голяма част от съдържанието се вижда чрез страниране (по категории). Когато потребител избере типа съдържание и категория той вижда страница с десетте най-нови елемента от категорията. Новите елементи изместват по-старите назад в странирането. В robots.txt съм забранил да се индексира странирането (т.е. индексира се само страницата с десетте най-нови елемента и самите елементи но не и страници 2,3,4...). Crawlera на Google посещава сайта минава по-често отколкото се добавят елементите и съответно ги индексира преди да отидат на 2ра страница. След това обаче, реално той губи достъп до тях. В началото бях направил това с цел да елиминирам страници с duplicate titles (всяка страница от "странирането" е с един и същ title). След това обаче започнах да чета, че Google всъщност се "усещал" кога едно нещо е страниране и не го наказва като дублиращо се съдържание а дори ще си избере една страница и другите страници ще допринесат към нейното класиране. Въпроса ми е какво ще стане ако разреша индексирането на странираните страници? Ще бъде ли това в полза, или напротив ще срине класирането на категориите за техните ключови думи?

 

[bgkulinar]

Re: Robots.txt и индексиране

Какво им се коркате на дублираните заглавия? Не съм чувал за наказания по повода. Освен това как може странирано съдържание да бъде дублирано? Нали 99% от форум системите работят на същия принцип.

 

[nf1]

Re: Robots.txt и индексиране

Знам ли и аз. Да не би да си помисли, че има линкове към 140 страници които обаче са "еднакви". А и всъщност мен май не ме е страх толкова от наказания (имах сайт с хиляди дублиращи се страници (и съответно съдържание) поради CMS системата и си беше ОК). По-скоро да не би като види няколко десетки или стотици страници с един и същ title да вземе да им разпредели тежестта и така да имам 100тина страници в SERP обаче всички да са по на след 10та страница в резултатите вместо 1 но на първата страница?

 

[vizantiec]

Re: Robots.txt и индексиране

Кулинаре, ми че то това е едната причина да не се класират като хората. Има един тон SEO плуг-ин-и 90% от които едва замазват положението, за която и марка да се сетиш (phpBB, vBulletin, invision и другите там помии за форуми). А и човека го притеснява дублирано съдържание, а не заглавия.

Относно страницирането, нямаш грижи, и да има трусове просто ще е временно докато ти се ускори crawl-rate-а до ниво в което обхождане от Googlebot и останалите гадини ще е на ниво достатъчно за да го няма тоя проблем.

 

[nf1]

Re: Robots.txt и индексиране

Относно страницирането, нямаш грижи, и да има трусове просто ще е временно докато ти се ускори crawl-rate-а до ниво в което обхождане от Googlebot и останалите гадини ще е на ниво достатъчно за да го няма тоя проблем.

Т.е. това, че имам стотина страници със страниране с един и същ title няма да навреди на Google? И ако да, ще има ли пък полза (все пак именно чрез тях се стига повторно да съдържанието, иначе си мисля, че google може да си помисли, че това съдържание е вече изтрито, макар, че пък го има в sitemap-a)?

 

[gvv]

Re: Robots.txt и индексиране

Аз ще покажа на графика.

Преди 22.11 съм сайта имаше доста дублирани титули.

Рисунка с рефералите от гугл.

 

[nf1]

Re: Robots.txt и индексиране

(все пак именно чрез тях се стига повторно да съдържанието, иначе си мисля, че google може да си помисли, че това съдържание е вече изтрито, макар, че пък го има в sitemap-a)?

Глупости съм писал тук. Разбира се, че не си мисли, че е изтрито след като го има в sitemap-a и достига до него. Въпроса си остава за странирането.

 

[nf1]

Re: Robots.txt и индексиране

Аз ще покажа на графика.

Преди 22.11 съм сайта имаше доста дублирани титули.

Рисунка с рефералите от гугл.

От графиката разбирам, че си е по-добре да остане както е сега, имало ли е все пак и други фактори за увеличението на посещаемостта или е именно от премахването на дублираните titles?

 

[gvv]

Re: Robots.txt и индексиране

До 10.12 не съм пипал нищо, нови линкове не съм придобивал.

 

[bgkulinar]

Re: Robots.txt и индексиране

Кулинаре, ми че то това е едната причина да не се класират като хората. Има един тон SEO плуг-ин-и 90% от които едва замазват положението, за която и марка да се сетиш (phpBB, vBulletin, invision и другите там помии за форуми). А и човека го притеснява дублирано съдържание, а не заглавия.

Византиецо, дублираното съдържание на форум системите се създава не от странирането, а от Предишна/следваща тема, viewtopic/showtopic?p=, highlight, сешън ид-та и куп други екстри, които не са забранени в роботс.тхт. Имам няколко пхпбб-та с отлично класиране, така че недей да виниш софта.

nf1, нали знаеш, че освен титле има куп факториу влияещи на СЕРП-а. Ако все пак те притеснява еднакви титле, сложи след него ...страница Х.

 

[gvv]

Re: Robots.txt и индексиране

... че и аз не чета.
Лично не харесвам странирането. И думата ми е странна някаква: странна дума "страниране". От страници идва, предполагам.

Освен по блоговете -> по-стари коментари/предишни 20 etc.

nf1, направи вместо страниране един onclick на джаваскрипт: и гугл ще го вижда, но пък на потребители ще им необходим един клик да видят други материали.

Яка дума страниране.

 

[nf1]

Re: Robots.txt и индексиране

страниране, странициране, на английски pagination , да си призная не съм проверявал за думата в речника но май се разбрахме.

@bgkulinar май ще се пробвам с добавянето на страницата в title. Проблема е, че в конкретния случай технически не знам как да го направя и за това исках да знам дали щеше да навреди ако го пусна както е сега и дали ще има смисъл да се индексират тези страници изобщо. Ще се поразроваря да видя тези titles как да ги оправя в системата.

@gvv - не съм особено по пограмирането и да преправя цялата система за "страниране" би ми било в повечко.

10х за помощта и на двама ви.

 

[vizantiec]

Re: Robots.txt и индексиране

Извинете ме но не знам как да вирея във форум и не ми се търси как мога да quote-na. Но две неща -

бгкулинаре - естествено че е възможно да се ранкнеш, това не значи че пхпбб-тата нямат нужда от доста стабилен корекшън на урл-тата и тайтъл-ите. А и има всякакви ниши така че няма да говорим за тях сега.

А относно страницирането на човека дето попита - дублирането на тайтъл-и не е болка за умиране но не ти пречи да си греп-неш първото изречение от текста или симилър и да го залепиш като допълнение към заглавието аутоматик (ако на страница има по 1 новина). Ако са по повече съветвам те да слагаш по страниците само снипет-и еле откъси от новината/статията/поста и всяка от тях да си има линк към отделна страница генерирана със нейн си тайтъл и останалите там шукарии.

 

[bgkulinar]

Re: Robots.txt и индексиране

Оф, явно четеш само това, което ти си написал.

 

[coolice]

Re: Robots.txt и индексиране

и аз го наблюдавам да няма проблеми при дублиране на таитълите