Jabse free data

[plamensl]

За: Jabse free data

За: Jabse free data

Честно казано върви зле.
Експортът на данните отнема твърде много ресурси, а няма голям интерес.
Особено експортът на таблица с линкове се оказа някакъв ужас.
Затова мисля, че е по-добре API да направя,както предложи mlazarov

 

[cloxy]

Re: Jabse free data

Според мен най-полезната услуга, ще е да се направи нещо подобно на opensiteexplorer.org, но само за български сайтове. Примерно въвеждаш URL адрес и ти излизат за него какви връзки има и от къде, PageRating, уникални C-block домейни и всякаква подобна информация.

Според мен ще е полезно за всички да се направи една такава услуга, а и не ми изглежда сложна задачата.

 

[mlazarov]

За: Jabse free data

За: Jabse free data

Сложна не е, но изисква много ресурси, а никой не иска да си плаща за подобно нещо. От друга страна ресурсите струват пари.

 

[Kompota]

Re: Jabse free data

В момента работя върху собствен web-crawler (за сега всичко е на локалхост) и съм я мислил тази работа с ресурсите. Излиза, че един собствен колокиран сървър на месец излиза горе-долу колкото Фишкин и компания ми искат абонамент.

 

[mlazarov]

За: Re: Jabse free data

За: Re: Jabse free data

Колко време ще ти е нужно за да изградиш индекс с българските сайтове с тази машина? Тоест на колко време ще опресняваш?

 

[Kompota]

Re: Jabse free data

В момента общо взето експериментирам и работя по самия crawler. Ограничил съм cURL потоците на 50 едновременно и търмъча само около 30000-40000 url-a на денонощие. Не е само за български сайтове - търмъча всичко наред. Иначе не индексирам цялото съдържание, а само линкове с анчор.

Засега всичко ми е за лична употреба на локалхост и идеята ми е когато базата с индекса придобие някаква удовлетворителна големина, евентуално да я изсипя на пъблик сървър и да направя беклинк туул. Ясно ми е, че crawler и индекс едновременно на една машина няма да стане.