Cos'è uno Spider?
Un ragno è un altro nome per un bot di scansione web utilizzato dai motori di ricerca per analizzare e classificare le pagine web. Il termine ragno si riferisce spesso a bot più complessi e può essere utilizzato dagli sviluppatori web per valutare lo stato SEO di una pagina o di un sito.
Di Più Sugli Spiders
I Spiders, conosciuti anche come bot o crawler, esplorano sistematicamente internet per indicizzare pagine web. I risultati finiscono in database che vengono poi utilizzati da motori di ricerca per suggerire contenuti in base a una determinata query di ricerca.
La funzione base di uno spider è localizzare le pagine web, analizzarle per informazioni rilevanti e parole chiave, indicizzare queste informazioni nel database e recuperarle quando una ricerca cerca qualcosa di simile.
Puoi aiutare a guidare i spiders sul tuo sito web utilizzando un file robots.txt, inviando una mappa XML del sito, o non indicizzando le pagine che non vuoi appaiano nei risultati di ricerca. Con potenza di calcolo e risorse del server limitate, i siti non sono costantemente esplorati dai spiders. Prevedi che i spiders accedano a un sito all’incirca una volta ogni tre o quattro settimane.
