CPU Time

bulram

Senior Member
Може ли някой да ми каже, как с няколко умряли сайта с общо дневни посещения 200-300 на WP мога да направя 120 минути SQL и 40 минути PHP?
Имам 3 акаунта в хостинга който бурно се рекламира на банерите в този форум, на 3-те акаунта имам по 10 сайта. Средно дневно 20-100 макс, като само един сайт прави 200-400 посещения.
Нямам нищо по особенно от персонален блог - статии и снимки, по няколко SEO плъгина и статистика на посещеният. Спирах, пусках плъгини, сменях теми, спирах домейни - няма разгадаване.
Предполагам, че все някой е имал подобни проблеми, аз вече се изчерпах на варианти. От подръжката на хостинга казаха, че няма вариянт да се определи какво товари CPU-то....
 
За: CPU Time

За: CPU Time

Ами виж ботовете може те да те товарят. Просто предложение.
 
Re: CPU Time

Слагай кеширащи плъгини, ако говориш за Wordpress - препоръчвам ти на mlazarov плъгина - Hyper Cache Extended. Имах подобен проблем - 20 wordpress-а, повечето са под 10 посещения, 3-4 по 100-200 и много се задъхваше сървъра, ама след като го инсталирах плъгина не сме имали проблеми, вървят си гладко.

Аз така и не разбрах откъде идва натоварването.
 
Re: CPU Time

bulram - това е много натоварване, което правиш при малко трафик. Ще изброя проблемите накратко според мен от къде могат да дойдат. И така - всеизвестно е, че Уордпрес е една бавна и тромава система и тя по начало си товари много. След това, както вече се спомена - анонимните ботове. Директно ot htaccess ги забрани да посещават сайта ти. Ако ти не знаеш как да го правиш, то свържи се с хостинга където ти са сайтовете да го направят. Те товарят много. Също така ако нямаш интереси на руския пазар може да направиш малко опит да игнорираш яндекс: роботите са много активни и товарят много, а от там идват и много спам коментари. При мен на моя сайт не се отрази това и продължават да влизат и от Русия. Тук не се колебай - директно забранявай всички анонимни ботове. "Хубавите" ботове са именовани и с тях няма проблеми.
Друго нещо което товари е темата на сайта - провери си я за някой ненужни работи, които използва, зависи как визуализира и обработва информацията.
След това нещо друго - дали други сайтове или ти самият за твои сайтове не вземаш rss емисии от проблемните сайтове? Това товари страшно много.
Нещо друго което товари много, но тук би трябвало да разбираш малко от кодиране - ако си правил проблеми, качвал си твои снимки, css, js файлове посочи им краткия път, посочиш ли им дългия път - отново ще товариш хостинга.
Спомена, че ползваш снимки - вероятно имаш галерия. Провери какво прави галерията ти, какви ефекти има. Възможно е някой галерии за Уордпрес да правят собствени, умалени копия на снимки - това отново товари.
После какви плъгини ползваш - прегледай ги и виж дали може да се подобри тяхната работа. Ако е възможно намали плъгините които ползваш - плъгина също така обработва информация и се свързва с базата данни (отново натоварване).
Бих продължил да изброявам още в този ред, как да си оптимизираш сайта, но мисля е ненужно. Само това да направиш и ще успееш. При проблеми или ако нещо не ти е ясно, пиши ми.
 
Последно редактирано:
Re: CPU Time

Нещо друго което товари много, но тук би трябвало да разбираш малко от кодиране - ако си правил проблеми, качвал си твои снимки, css, js файлове посочи им краткия път, посочиш ли им дългия път - отново ще товариш хостинга.

може ли да обясниш каква е разликата между 2-те :
<img src="./image.jpg" />
<img src="http://site.com/image.jpg" />

отностно натоварването на машината на която е сайта.
 
Re: CPU Time

Изписано по краткия път - файла се взема директно от папката, без да товари системата. Изписано по втория начин - файла се взема през убепространството, все едно се отваря сайт - така по този начин товари системата допълнително и това се отразява.
Всъщност това е елементарно и точно с това се почва да се учи html и css - начина на изписване на файловете и пътя до тях.
 
Re: CPU Time

"Изписано по краткия път - файла се взема директно от папката, без да товари системата. Изписано по втория начин - файла се взема през убепространството, все едно се отваря сайт - така по този начин товари системата допълнително и това се отразява.
Всъщност това е елементарно и точно с това се почва да се учи html и css - начина на изписване на файловете и пътя до тях. " ->Странникът

LOL Такова нещо не бях чувал 🙂

Когато в root папката на съответния хост , примерно site.bg има прост html файл със съдържание: <img src='/image.jpg'> и <img src='http://site.bg/image.jpg' > то обекта image.jpg които в случая е снимка винаги се зарежда от root папката с други думи горния пост е напълно грешен.

"точно с това се почва да се учи html и css" -> това което си прочел, но не особено добре разбрал е следното:
в HTML има два вида пътя:
1. Абсолютен: /images/image.jpg
2. Точен: /var/www/images/image.jpg
Какво съветват в ръководствата ? Да се ползват абсолютни пътища 🙂

По принцип не пиша и не се меся в чужди спорове, но малко се подразних що за неща се пишат.

Хубава вечер и Успех на всички.
 
Re: CPU Time

dhstudio - може и така да е както казваш:
Когато в root папката на съответния хост , примерно site.bg има прост html файл със съдържание: <img src='/image.jpg'> и <img src='http://site.bg/image.jpg' > то обекта image.jpg които в случая е снимка винаги се зарежда от root папката с други думи горния пост е напълно грешен.

Но тук говорим за друго, не става въпрос за обработка на снимка от системата. Не говоря как се зарежда снимката, а как съответния хостинг обработва заявките. Имах абсолютно същия проблем и това което описвам като съвет ми го казаха от поддръжката на съответния хостинг. Примерно - те не отчитат като натоварване ако се изпише краткия път на снимката, но ако се изпише дългия път на снимката - те го смятат за натоварване на системата и съответно обработват визуализирането на снимката в сайта по различен начин. След като ги послушах се оказа, че са прави и спестих много процесорно време - само от тази малка промяна.

Така, че смятам, че поста ми е правилен, просто или не си разбрал какво имах предвид, или аз не съм се изразил правилно - за което извинения от мен
 
Последно редактирано:
Re: CPU Time

Аз пък исках да ти кажа, че както и да зададеш пътя до снимката, се създава http request към apache респективно (хоста) и се обработва по абсолютно еднакъв начин, съответно харчи едно и също количество процесорно време. Ако трябва да се улекоти системата от тази гледна точка се ползва CDN или други схеми.

поздрави
 
Re: CPU Time

bobbydigital => мерси за поздравите, приеми и моите.
А сега конкретно по темата: когато искаш да кажеш нещо го казвай като хората, недей да говориш с недомлъвки. Не разбирам от кодиране, и не те разбрах какво имаш предвид. Но от обяснението ти разбирам, че си се заяждал.
Специално за теб и за Мартин Петров, че се правите на разбирачи, ще ви го обясня отново, за да го разберете.

Тук не става въпрос за кодиране и извикване на снимките. Става въпрос за друго. А именно - как съответния хостинг обработва информацията. Има значение за визуализирането на един файл дали е посочен урл-пътя да се отваря, или съответно е зададено файла да се отваря от неговата си папка. Понеже ти даде пример със снимка - ако на снимка е посочено в кода да се отваря по дългия път, през урл адреса, то тогава първо се зарежда снимката през урл адреса и едва тогава се визуализира в сайта. Вече обясних, че това означава по-бавно зареждане на сайта. Конкретно от това, хостинга обработва самата заявка по начин, все едно снимката се отваря от друг, външен сайт, а не от собствения. Което означава от своя страна, че се отразява в натоварването на процесорното време (тук няма значение дали е снимка, дали сте добавили css или js файл, или сте написали някакъв код - примерно ротиращ код на новини, анонси, снимки, банери).

Мисля, че този път бях ясен, дано bobbydigital и Мартин Петров правят разликата, че говорим за две различни неща, за да не стигаме до ненужни спорове.

А и допълнително - преди да напиша това се свързах с хостинга ми за да се консултирам с тях и те ми обясниха абсолютно същото и ми казаха, че съм прав.
 
За: CPU Time

За: CPU Time

Пълен или кратък път това по никакъв начин не касае какво става на уеб сървъра. HTML-а е за браузера.

Всички тези адреси:
./image.jpg
/image.jpg
image.jpg
http://host.com/image.jpg

намиращи се в html файл разположен на адрес http://host.com/index.html се приемат от браузера за едно и също нещо, а именно:
http://host.com/image.jpg

Краткият или съкратен адрес е създаден с цел улеснява на уеб мастерите и нищо повече. За уеб сървъра няма абсолютно никакво значение, тъй като при него пристига една и съща заявка.

Разлика има, ако на уеб сървъра му се окаже например да прегенерира картинката при всяко зареждане (това е много чест проблем при wordpess).

Странникът, най-вероятно грешно си разбрал казаното ти от хостинга или твоя хостинг нещо те лъже.
 
Re: За: CPU Time

Re: За: CPU Time

Странникът, най-вероятно грешно си разбрал казаното ти от хостинга или твоя хостинг нещо те лъже.

Не знам дали е така, ти самият кажи. Ще покажа част от писмото, което получих от моя хостинг:

За да Ви бъдем максимално полезни, направихме проверка относно причините за повишеното потребление на сървърни ресурси.

Забелязваме, че в системата на сайта за показване на информацията се използва неоптимален начин. Например за показване на менюто се използва:

<?php readfile("http://www.sait.com/papka/faile.php"); ?>

Това означава, че за да се визулизира съдържанието на faile.php се прави още една връзка към сайта. По подобен начин се показва и голяма част от съдържанието в сайта Ви. По този начин ако един потребител отвори сайта, вместо да направи 1 връзка, то се правят 8 връзки, като това е само на началната страница.

Препоръчваме Ви да преработите системата при извикване на файл, да не се използва името на домейна, а да се използва пътя до него в хостинг акаунта. Както например е направено:

<?php readfile("fail-2.php"); ?>

По този начин смятаме, че използването на ресурси ще спадне до допустимите стойности и сайтът ще може да ползва услугата Споделен хостинг.

Допълнително от това им се обадих няколко пъти, включително и преди няколко минутки да ми обяснят дали това се отнася и за снимките. Те го потвърдиха това - няма значение дали е снимка или добавен в последствие файл. Ако си прав mlazarov и моя хостинг ме лъже - значи и аз ви лъжа и моля да бъда извинен за този си съвет.
Всичко, което обяснявам е заради това. Но пък ако хостинга ме заблуждава - имах преди време същия проблем, послушах хостинга си и процесорното ми време намаля значително. Така, че не смятам, че греша и настоявам на своето си.
 
Re: CPU Time

@Странникът
1. Наистина имам мнооогоо анонимни ботоже, които според мен са или скрапбокс или подобни, ще помоля някой да обясни как се елиминират тези ботове през htaccessа.
2. Темата и на 10-те сайта е една и съща, създава много различни варианти на снимките а така също и тъмбнайлс. Как може да се зададе абсолютен път към снимката? Когато качвам снимка във пост имам няколко полета:
File name: блябля.jpg

File type: image/jpeg

Upload date: December 28, 2011

Dimensions: 300 × 210

Link URL: http://domain.com/wp-content/uploads/2011/12/блябля.jpg
3. Ползвам само 2 плъгина SEO Ultimate и ShareThis. Пробвах и Google Images Redirect но той наистина взе да товари CPU-то... незнайно за мен защо, и то не PHP а SQL.... може и да е някакво странно съвпадение, но след неговото инсталиране времето скочи рязко /а наистина ми се вдигна посещаемоста с мин. 50%/

Свалих си плъгина на Лазаров, ще го изпробвам веднага!

Но все си мисля, че проблема е в старите машини на хостинга 🙂
След ъпдейт на машините на друг хостинг доставчик, където са служебните сайтове, CPU времето падна почти с 50%
 
Re: CPU Time

Как може да се зададе абсолютен път към снимката?

Това за пътищата до файловете ( тук беше даден пример със снимка) го обясних, понеже не те познавам и не знам какви промени си правил и дали си правил. Ако не си пипал Уордпрес - не би трябвало да имаш проблеми, но ако си променял визията на темите, или си прибавял други функционалности към вече съществуващите, ако имаш статични страници - за това го споменах, да погледнеш там как е и да го оправиш. И за това и за спорещите приложих тази част от писмото ми от моя хостинг, с техните съвети.

2. Темата и на 10-те сайта е една и съща, създава много различни варианти на снимките а така също и тъмбнайлс.

Погледни защо ти създава тези много и различни варианти на снимките, да не би да имаш допълнителни опции, които да не използваш? Ако не ти трябват може да ги изключиш, или да смениш темата... не знам това, докато не се погледне как е направена темата не може да се даде конкретен съвет.

Елиминирането на анонимните ботове - тук някой друг може да ти помогне, аз не го разбирам. Но се справих с този проблем като помолих моя хостинг доставчик да направи необходимите промени в htaccessа. Промените бяха направени и процесорното време ми падна с близо 50 %.

Вместо да обяснявам кое още да погледнеш, ще копирам част от писмото със съветите на хостиндоставчика ми:

По-долу са изброени някои от най-често срещаните причини, които водят до драстично увеличение на изразходваното от даден акаунт (уеб сайт) процесорно време:

- включена gzip компресия (среща се при форумите, joomla и някои други CMS);
- разположен PHP чат, ShoutBOX ;
- статистически модули;
- динамична обработка на снимки (създаване на thumbnails, поставяне на "water mark" върху снимка и т.н.)
- излишни извиквания / презареждания (hits) на голямо количество елементи (картинки) на уеб страница
- разположена система за управление на реклами (PhpAdsNew, OpenAds) и др.;
- многобройни посещения и индексации от търсещи роботи на yandex.ru и mail.ru.

Вече ти бях споменал за Яндекс - дали да го спреш или да го оставиш. Пропуснах да спомена майл.ру.

За твое сведение не ползвам кеширащи плъгини, от системите работя само с Уордпрес и съм доволен от натоварването на процесорното време на моя сайт.

Освен това, допълнително нещо, което трябва да се вземе предвид. В разговор с моя хостинг доставчик ми споделиха, че те наблюдават утежняване на Уордпрес. Преди Уордпрес е бил по-лек, но последните версии, включително и последната е много тежка. Така, че е напълно възможно процесорното време да скочи само и без никакви промени да са правени по сайта, а само след едно обновяване до най-новата версия.
 
Последно редактирано:
За: CPU Time

За: CPU Time

Ето малко допълнителна информация - само за единия акaунт има средно по 2500-3000 импресии на ден. CPU натоварването зависи от имресиите, а не от посещенията. Тъй като в акаунта има няколко активни сайта с различно разпределение на ресурсоемкостта вече е почти невъзможно да се определи кой от тях е проблемен или дали не е от няколко от тях. Всички процеси които се изпълняват са с един и същи потребител. Има активирано кеширане на всички статични елементи за всички сайтове в акаунта. На същия акаунт най-голям ресурс в MySQL не е от wordpress а от PLD-то. Към wordpress-ите над 90% от импресиите се правят от ботове, почти повече от половината са baidu, majestic, ezooms, ботове с празен user-agent. Най-често рекуествания файл е robots.txt, да не споменавам колко имресии има към /feed/ /feed/rss и т.н. Кеширащия плъгин ще реши проблема временно, въпреки че този на МАрто Лазаров е добър (казвам го от личен опит). Ако тръгна да спирам трафика към блоговете ще стане "вие ми прецакахте класирането на сайта". Отделно и Google лази всеки ден блоговете и от от над 10 различни IP адреса, може и повече аз поне толкова съм засичал защото всеки ден минавам през твоя акаунт. Не разбрах само каква е връзката между хардуера и cpu_scheduler в Linux-а но щом разбираш толкова явно сам можеш да се справиш с WordPress-а. Кеширането на картинките в акаунта не работи заради плъгина който добавя Java script към тях при визуализирането им в google images search. Отделно и факта, че се гернерират постоянно thumbnalis.

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteCond %{HTTP_USER_AGENT} ^Sosospider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^YoudaoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^JikeSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Ezooms [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^ScoutJet [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SeznamBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Butterfly [NC]
RewriteRule ^.* - [F]

и към всичко това, като се прибави Google, Yandex, MSN, Bingbot и Twitterbot вие преценете къде е проблема.
 
Последно редактирано:
За: CPU Time

За: CPU Time

Ако си на споделен хостинг и имаш 2-3 хиляди импресии на WP, то според мен е нормално да не ти стига 🙂. А и имаш правене на тъмбнейл казваш. Това ако се прави на всяка импресия с PHP е ужасно.
 
За: CPU Time

За: CPU Time

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteCond %{HTTP_USER_AGENT} ^Sosospider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^YoudaoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^JikeSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Ezooms [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^ScoutJet [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SeznamBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Butterfly [NC]
RewriteRule ^.* - [F]

и към всичко това, като се прибави Google, Yandex, MSN, Bingbot и Twitterbot вие преценете къде е проблема.
Ето още малко боклук за изчистване:
Код:
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]+$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(AcoiRobot|FlickBot|webcollage) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(Alligator|DA.?[0-9]|DC\-Sakura|Download.?(Demon|Express|Master|Wonder)|FileHound) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*(winhttp|HTTrack|clshttp|archiver|loader|email|harvest|extract|grab|miner).* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} .*almaden.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} anarchie [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Arachmo [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} AsiaNetBot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*attach.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ATHENS [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} autohttp [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*BackWeb.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Bandit.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} bew [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} BlackWidow [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Bot\ mailto:craftbot@yahoo.com [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.Browse\s [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Buddy.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Bullseye [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ChinaClaw [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Collector.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Copier.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Crawler.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Crescent [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} "^DA \d\.\d+" [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} devsoft's\ http\ component [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Deweb [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Digimarc [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Digger [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} digout4uagent [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} DIIbot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^DiscoPump.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} DISCo\ pump [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} dloader(NaverRobot) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Download\ Demon [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} "^Download" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Download Master" [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Downloader.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EasyDL/\d\.\d+ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} eCatch [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ecollector [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Educate\ Search [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EirGrabber [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EmailCollector [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EmailSiphon [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EmailWolf [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EO\ Browse [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.Eval [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(Express|Mister|Web).?(Web|Pix|Image).?(Pictures|Collector)? [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ePochta_Extractor [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ExtractorPro [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} EyeNetIE [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^FakeUser [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} fastlwspider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} FEZhead [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Fetch [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Fetch\ API\ Request [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(Flash|Leech)Get [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Franklin\ Locator [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(Fresh|Lightning|Mass|Real|Smart|Speed|Star).?Download(er)? [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Full\ Web\ Bot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^FunWebProducts [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^(Gamespy|Go!Zilla|iGetter|JetCar|Net(Ants|Pumper)|SiteSnagger|Teleport.?Pro) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Getleft [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} GetRight [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} GetURL [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} GetWebPage [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^GornKer [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*gotit.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} Gozilla [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} go-ahead-got-it [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Grabber.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*GrabNet.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Grafula [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Harvest [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*HMView.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} HTML\ Works [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*HTTrack.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ia_archiver [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Image.?(fetch|Stripper|Sucker) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} IncyWincy [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Indy\ Library [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Industry\ Program [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} InterGET [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Internet\ Explore\ 5\.x [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^InternetNinja.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Internet\ Ninja [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} InternetSeer.com [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Irvine [NC,OR]  
RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} JOC\ Web\ Spider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*JOC.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} KWebGet [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Likse.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*LWP [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Mag-Net.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Magnet.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} MCspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MEGAUPLOAD [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Memo.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Microsoft\ URL [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} MIDown\ tool [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Mirror.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Missauga\ Locator [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mister\ PiX [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Monster [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} (^Morfeus) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Morfeus [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mozilla.*NEWT [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mozilla\/3\.0\.\+Indy\ Library [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mozilla\/3.Mozilla\/2\.01 [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mozilla\/4\.0$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Mozzilla [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} MSIECrawler [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^NASA\ Search\ 1\.0$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Navroad.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} NearSite [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} net.?(ants|attache|Carta|mechanic|spider|vampire|zip) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} NICErsPRO [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ninja [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Octopus [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Offline.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} OpaL [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Openfind [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} OpenTextSiteCrawler [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} PackRat [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} PageGrabber [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Papa\ Foto [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} pavuk [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} PICgrabber [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*pcBrowser.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Plucker [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Production\ Bot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Program\ Shareware [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*prospector [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^psbot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} PushSite [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Reaper.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Recorder.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} ReGet [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} RepoMonkey [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Rover [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Rsync [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Siphon.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Scooter-W3.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ScoutAbout [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} searchterms\.it [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} semanticdiscovery [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Shai [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} sitecheck [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Snake.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Spegla [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} SpiderBot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Stripper.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Sucker.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*SuperBot.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} SuperHTTP [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.Surf [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Surfbot.*$ [OR] 
RewriteCond %{HTTP_USER_AGENT} SurfWalker [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} tAkeOut [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} tarspider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Templeton [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} UtilMind [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Vacuum.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} VoidEYE [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Web.?(Auto|Cop|dup|Fetch|Filter|Gather|Go|Leach|Mine|Mirror|Pix|QL|RACE|Sauger) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} web.?(bandit|collector|devil|downloader|hook|mole|reaper|sucker|site|snake|stripper|weasel) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Web.?(site.?(eXtractor|Quester)|Capture|Snake|ster|Strip|Stripper|Suck|vac|walk|Whacker|ZIP) [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} web.by.mail [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Wget.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Whacker.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^.*Widow.*$ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} w3mir [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} WhosTalking [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Widow [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} WUMPUS [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} www\.pl [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Xaldon\ WebSpider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} XGET [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Yandex/ [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} zeus [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg [NC,OR]
Може да ги добавиш към списъка на Слайфокс преди RewriteCond %{HTTP_USER_AGENT} ^Butterfly [NC]
въпреки, че се нарушава азбучния ред, но това не пречи. 🙂
 

Back
Горе