Писане на паяци

[gstoychev]

Здравейте приятели,
Някой от вас има ли опит с писане на паяци. Най-общо търсене на определено съдържание по страници? Ако имате опит бихте ли споделили какви технологии използвате? Предварително ви благодаря!

 

[kuzmanin]

Re: Писане на паяци

Аз ползвам пхп и съм си направил фреймуорк, но ми отне около година да го направя добре. Сега само си го ползвам и си събирам данни за сайтовете. Мога да ти предложа някакъв абонамент ако имаш желание да не се занимаваш а искаш само данни

 

[muslim]

Re: Писане на паяци

Един пич тука предлагаше подобна услуга http://www.webmasterbg.org/showthread.php?t=5736

 

[gstoychev]

Re: Писане на паяци

Благодаря и на двамата. На мен ми е интересно да си направя сам паяче. Намерих доста решения, които ще ми свършат работа, но с учебна цел искам да си направя сам. Насочил съм се към perl заедно с WWW::Mechanize и LWP. Та идеята на темата е да се споделят чисто технологични мнения.

 

[Sammy]

Re: Писане на паяци

PHP с filegentcontenst и pregmatch е доста добра комбинация за паяци

 

[against]

Re: Писане на паяци

Аз лично ползвам пхп за такива неща, но само защото най-добре го знам. Но съм писал и и на perl паяци, за парсване и обработка на текст май по-лесно става с него - има бая функции за тая цел. А и perl regexp-овете сe славят надалече.

Незнам дали е най-доброто ама със сигурност няма да се прецакаш. Че и на php, ruby, python, ... да го пишеш, все тая, въпроса е как ти е по-удобно.

 

[nikoladd]

Re: Писане на паяци

Вижте и project narval: http://www.logilab.org/908/
Може да събира данни, както и доста други неща да върши.

 

[gstoychev]

Re: Писане на паяци

Изглежда доста добре, но ми идва в повече