spider o crawler cosè ?

Andiamo a conoscere cosà fà uno spider

Uno spider detto anche crawler o robot, potete vedere meglio la definizione su wikipedia ,  è un software che viene utilizzato in genere dai motori di ricerca per analizzare e indicizzare il contenuto di una rete, in pratica questo software è programmato in automatico, scansionando tutti i siti, che si trovano online e i loro cambiamenti, e tutto questo avviene  dopo un preciso determinato periodo.Questi spider  possono indicizzare tutti i  siti tranne quelli che si trovano elencati in un file di testo robot.txt  che si trova nella root del sito. Ogni motore di ricerca ha una sua tecnologia e così il loro robot analizza un sito in base ai parametri che il motore di ricerca ha definito, i crawler ha nomi diversi in base all'apparteneza della'azienda ad esempio quello di google si chiama googlebot, quello di yahoo ha il nome di yahoo slurp e cosi via.