Webクローラー
ページを取得してリンクを抽出し、それを繰り返すプログラム。インターネットが尽きるまで続くが、尽きることはない。
基本のループは単純で、取得し、リンクを抽出し、キューに追加し、繰り返す。難しいのはその周辺だ。キューは同一内容を指す別アドレスを重複排除し、カレンダーやファセット絞り込みのような無限の空間に耐え、再取得の優先順位を決めなければならない。ニュースサイトは毎分変わるが、マニュアルのページは3年に一度しか変わらない。
さらにポライトネス（礼儀）の要件がある。クローラーは robots.txt を守り、ユーザーエージェントで名乗り、ホストごとにレートを制限して、うっかりサービス拒否攻撃にならないようにすべきだ。大手検索エンジンは、サイトの応答の速さと安定性に応じてクロールバジェットを割り当てる。近年はAI企業の収集ボットのせいで、ポライトネスの慣習は技術的というより政治的な問題になった。