wget

サイト全体の再帰的なミラーリングや、中断したダウンロードの再開に対応する。定番の呪文は wget -r -np -k URL だ。Cookie、認証、robots.txtも扱える。

競合はcurl（プロトコルの幅広さと単一ファイルの扱いに重点）とaria2（並列、BitTorrent、Metalink対応）。今のLinuxでは両方が標準で入っている。大まかに言えば、wgetは単純なファイル取得向き、curlはAPI操作やスクリプト向きである。サイトのアーカイブ用途なら、より上位のWebrecorderやhttrackがある。