PDA

View Full Version : spidering this site



eadz
02-23-2003, 01:49 PM
Plese don't.

- Firstly, why?

I found this in my logs :

80.133.143.XX - - [24/Feb/2003:00:36:37 +1300] "GET /docs/index.php/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knopp
ixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixK
DE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/
KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kno
ppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppi
xKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKD
E/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knopp
ixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixK
DE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/
KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kno
ppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppi
xKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKD
E/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knopp
ixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixK
DE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/
KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kno
ppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppi
xKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKD
E/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knopp
ixKDE/KnoppixKDE/KnoppixKDE/TextFormattingRules?action=LikePages HTTP/1.0" 200 6
4585 "http://www.knoppix.net/docs/index.php/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kno
ppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppi
xKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKD
E/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knopp
ixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixK
DE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/
KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kno
ppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppi
xKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKD
E/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/K
noppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knop
pixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Knoppix
KDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE
/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/Kn
oppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/KnoppixKDE/TextFormattingRu
les" "Wget/1.7" 3 www.knoppix.net


That is ONE request from a broken wget. This wastes my bandwidth, and there isn't any reason for someone to wget my site anyway.

Do not do this, or risk being banned. A few people have already been nullrouted. and I thought I should give some warning.

god
02-23-2003, 08:08 PM
What exactly is that that you quoted?

eadz
02-23-2003, 11:57 PM
one line of my apache access log

eadz
05-30-2003, 04:10 AM
Someone using httrack requesting 10 pages a Second, just got nullrouted.
if you are the person from *.dsl.pol.co.uk

Shame on you!