Area tematicaCanali e strumenti
Conosciuto anche comecrawlerweb spider
Spider e robots.txt: Lo spider (detto anche crawler, cioè il programma che percorre i siti seguendo i collegamenti) legge le pagine per costruire l'indice di un motore di ricerca o per alimentare un sistema di intelligenza artificiale.
Il file robots.txt è un documento di testo che sta nella radice del sito (/robots.txt) e indica agli spider quali cartelle possono visitare e quali no.
Il protocollo (il «protocollo di esclusione dei robot») risale al 1994 ed è stato fissato come standard dell'IETF, l'ente che cura le regole tecniche di internet, con la RFC 9309 nel 2022. Funziona sulla fiducia: gli spider rispettosi seguono le regole, gli altri le ignorano. Per proteggere un contenuto serve perciò un accesso con credenziali, e il file serve a governare il traffico di chi collabora.
Una pagina vietata agli spider può comparire lo stesso nei risultati, senza descrizione, se altri siti la collegano: per escluderla dall'indice si usa un'altra istruzione, scritta nella pagina. Nel file si indica anche la posizione della sitemap, e i file llms.txt e robots.txt hanno compiti diversi.
Fonte: IETF, RFC 9309, Robots Exclusion Protocol, settembre 2022..
Un esempio
Il caso che segue è costruito, perché il termine non compare ancora negli articoli. Un'azienda produttrice di impianti chimici pubblica un'area riservata ai distributori e una sezione di cataloghi aperti. Nel file /robots.txt chiede agli spider di non visitare la cartella /riservato/ e indica l'indirizzo della sitemap. Gli spider rispettosi leggono il file prima di ogni visita e saltano la cartella; per tenerla davvero chiusa, però, serve una password.
Enrico Giubertoni. Licenza CC BY-NC 4.0: puoi citarla, tradurla e adattarla con il nome dell'autore e il link, indicando se l'hai modificata. Per un uso commerciale scrivi a info@enricogiubertoni.com
Hai trovato un'inesattezza o un dato da aggiornare? Scrivi a info@enricogiubertoni.com e aiutaci a rendere questo glossario un posto migliore.
Quali sono le tue sfide di business?
Parlaci delle tue priorità e degli obiettivi che vuoi raggiungere.
Riceverai una risposta gratuita e mirata entro un giorno lavorativo.