Benvenuto nella terra dei ragni!
il grande Leonardo da Vinci
Cosa è un Crawler
Un Web crawler (anche conosciuto come Web spider) è un programma che passa in rassegna il World Wide Web in un modo metodico e automatizzato. Un web crawler è un tipo di bot (programma o script che automatizza delle operazioni tipicamente eseguite da utenti umani). I web crawler non mantengono soltanto una copia di tutte le pagine visitate per poi successivamente analizzarle - per esempio con un motore di ricerca -, ma le indicizzano per rendere la ricerca più veloce e precisa.

In generale, il web crawler prende in input una lista di URL da visitare. Durante l'analisi di un URL, identifica tutti gli hyperlink presenti in questa pagina e li aggiunge alla lista di URL da visitare. Il processo può essere concluso manualmente o dopo che un determinato numero di collegamenti è stato percorso.

I web crawler tipicamente diluiscono le visite in periodi di tempo abbastanza lunghi, perché accedono a molte più pagine di un utente (umano) normale e possono rallentare notevolmente la visita di un sito ai normali utenti se accedono ripetutamente alle stesse pagine.

Per i motivi simili, i web crawler sono obbligati ad obbedire al protocollo "robots.txt", file nel quale i proprietari di Web site possono indicare quali pagine non dovrebbero essere analizzate.(da wikipedia)
Cosa tratta il sito:
Ciao a tutti, il mio sito vi illustra cosa la mia curiosita mi ha portato a creare in un pomeriggio,cioè scansionare tutti i siti italiani ... o meglio .it
VISITATORE:
Cosè il mio ragnetto...
Allora il mio lavoro è semplicissimo ma nello stesso tempo interresante.. curioso.. ufficialmente fatto per motivi statistici,ma in verità mi sono tolto una mia curiosita...HO SCANSIONATO TUTTA LA RETE!!

o meglio per adesso mi limito hai siti .it,ma crescera il tutto...

ora nella relativa pagina potrette vedere elencati tutti i siti con il loro content ( spesso falso,per accapararsi i primi posti nei motori di ricerca),url... ma anche i siti che hanno i domini liberi...che potrete comprare..