Menu
Home
Forum
Stream
Ultime Attività
Nuovi Messaggi
Nuovi media
Nuovi commenti media
Commenti ai nuovi contenuti
Nuovi commenti agli annunci
Guide
Nuovi contenuti
Nuovi commenti
Latest reviews
Author list
Gruppi
Annunci
Nuovi annunci
New comments
Contenuti più recenti
Ultimi feedback
Ultime domande
Advertiser list
Media
Nuovi media
Accedi
Registrati
Nuove Discussioni
Registrati
Accedi
Registrati
Install the app
Installa
crawler
Home
Forum
Home
Forum
JavaScript è disabilitato. Per una migliore esperienza di navigazione attivalo nel tuo programma o nella tua app per navigare prima di procedere.
Stai usando un browser molto obsoleto. Puoi incorrere in problemi di visualizzazione di questo e altri siti oltre che in problemi di sicurezza. .
Dovresti aggiornarlo oppure
usarne uno alternativo, moderno e sicuro
.
Contenuti recenti
View information
Description
Un crawler (detto anche web crawler, spider o robot), è un software che analizza i contenuti di una rete (o di un database) in un modo metodico e automatizzato, in genere per conto di un motore di ricerca. Nello specifico, un crawler è un tipo di bot (programma o script che automatizza delle operazioni), che solitamente acquisisce una copia testuale di tutti i documenti presenti in una o più pagine web creando un indice che ne permetta, successivamente, la ricerca e la visualizzazione.
Un uso estremamente comune dei crawler viene effettuato sul Web; esso si basa su una lista di URL da visitare fornita dal motore di ricerca (il quale, inizialmente, si basa a sua volta sugli indirizzi suggeriti dagli utenti o su una lista precompilata dai programmatori stessi). Durante l'analisi di una URL, identifica tutti i collegamenti ipertestuali presenti nel documento e li aggiunge alla lista di URL da visitare. Il processo può essere concluso manualmente o dopo che un determinato numero di collegamenti è stato seguito.
Inoltre i crawler attivi su Internet hanno la facoltà di essere indirizzati da quanto indicato nel file "robots.txt" posto nella root del sito. All'interno di questo file, è possibile indicare quali pagine non dovrebbero essere analizzate. Il crawler ha la facoltà di seguire i consigli, ma non l'obbligo.
View More On Wikipedia.org
Home
Forum
Alto