Rastreador web
Un programa que descarga una página, extrae sus enlaces y vuelve a empezar — hasta que internet se acabe, cosa que nunca ocurre.
El bucle central es simple: descargar, extraer enlaces, encolarlos, repetir. Las dificultades están en otra parte. La cola tiene que deduplicar direcciones que apuntan al mismo contenido, lidiar con espacios infinitos como calendarios y filtros facetados, y decidir qué merece la pena volver a descargar — un sitio de noticias cambia cada minuto, una página de manual cada tres años.
Luego están las normas de cortesía. Un rastreador debe respetar robots.txt, identificarse en su user agent y limitar su velocidad por host para no acabar ejecutando sin querer un ataque de denegación de servicio. Los grandes buscadores asignan a cada sitio un presupuesto de rastreo según lo rápido y estable que responda. Los bots de recolección de las empresas de IA han convertido en los últimos años estas normas de cortesía en un asunto más político que técnico.