Webbcrawler
Ett program som hämtar en sida, plockar ut länkarna och gör om det — tills internet tar slut, vilket det aldrig gör.
Grundslingan är enkel: hämta, extrahera länkar, lägg till i kön, upprepa. Svårigheterna ligger någon annanstans. Kön måste avduplicera adresser som pekar på samma innehåll, hantera oändliga utrymmen som kalendrar och fasettfilter, och prioritera vad som är värt att hämta om — en nyhetssida ändras varje minut, en manualsida vart tredje år.
Sedan finns artighetskraven. En crawler ska följa robots.txt, identifiera sig i sin user agent, och begränsa hastigheten per värd så att den inte råkar utföra en överbelastningsattack. De stora sökmotorerna tilldelar varje webbplats en crawlbudget efter hur snabbt och stabilt den svarar. AI-bolagens insamlingsbotar har på senare år gjort artighetsreglerna till en politisk fråga snarare än en teknisk.