Web crawler
Un programma che scarica una pagina, ne estrae i link e ricomincia, finché internet non finisce: cosa che non accade mai.
Il ciclo di base è semplice: scaricare, estrarre i link, accodarli, ripetere. Le difficoltà stanno altrove. La coda deve eliminare i duplicati, cioè indirizzi diversi che puntano allo stesso contenuto, gestire spazi infiniti come i calendari e i filtri a faccette, e stabilire cosa valga la pena riscaricare: un sito di notizie cambia ogni minuto, la pagina di un manuale ogni tre anni.
Poi ci sono le regole di cortesia. Un crawler dovrebbe rispettare robots.txt, identificarsi nello user agent e limitare la frequenza delle richieste per host, per non provocare per errore un attacco denial-of-service. I principali motori di ricerca assegnano a ogni sito un crawl budget in base a rapidità e affidabilità delle risposte. I bot di raccolta delle aziende di IA hanno negli ultimi anni trasformato le convenzioni di cortesia in una questione politica più che tecnica.