Wget 

   GNU Wget свободно распространяемая утилита для скачивания файлов из
   WWW с использованием протоколов HTTP и FTP, наиболее распространенных
   интернетовских протоколов.
   Утилита имеет много полезных фич, некоторые из которых перечислены
   ниже:

     * Wget неинтерактивная программа, что означает, что она может работать
       в фоновом режиме, без непосредственного участия пользователя. Это позволяет вам
       запускать скачку и останавливать ее автоматически.
       Для сравнения, большинство других Веб-браузеров требуют непосредственного и постоянного
       присутствия юзера, что является тратой времени, особенно при
       перекачке большого количества информации.
     * Wget способен рекурсивно спускаться по структуре HTML-документа и дереву каталогов FTP-сервера,
       позволяя делать их копии на локальной машине.
       Эта фича полезна для зеркалирования серверов или для поиска в сети нужной информации
       в режиме WWW-робота (см. раздел 57)
     * При скачке файлов и зеркалировании с использованием FTP-протокола добускается использование
       wildcards. Wget может читать временную информацию с HTTP и FTP серверов и
       сохранять ее на локальной машине. Таким образом, Wget может отслеживать изменение содержимого
       удаленного файла и перекачивать его новую версию автоматически в случае необходимости
       Это делает Wget веслма полезным для зеркалирования как FTP-серверов,
       так и домашних HTTP-страниц.
     * Wget чрезвычайно хорошо работает при медленном или нестабильном коннекте,
       пытаясь скачать документ до тех пор, пока он не будет полностью скачан или
       не будет превышено определенное юзером количество попыток. Wget пытается продолжить
       скачку с того места, на котором она была прервана используя REST для FTP-серверов
       и Range для тех HTTP-серверов, которые его поддерживают.
     * По умолчанию Wget поддерживает прокси-серверы, которые могут разгрузить сеть,
       увеличить скорость скачки и обеспечить доступ сквозь firewalls.
       Однако, если вы используете firewall, что требует наличия соксового гейта,
       вы должны пересобрать Wget с соксовой библиотекой.
       Wget также опционально поддерживает
       пассивную скачку для FTP-серверов.
     * Встроенный механизм позволяет вам настроиться на линки, которым
       вы хотите следовать (см. секцию 58).
     * Скачка трассируется выводом на экран точек, каждая из которых соответствует определенному объему
       скачанной информации (1 Кб по умолчанию).
       Это значение может быть изменено пользователем.
     * Для большей части фич доступно полное их конфигурирование пользователем
       путем использования опций командной строки или редактированием файла `.wgetrc'
       (см. секцию 59). Wget позволяет вам определить глобальный стартаповый файл
       (по умолчанию `/usr/local/etc/wgetrc' ) для задания параметров
       сайта
     * Наконец, GNU Wget является свободно распространяемым программным продуктом.
       Это означает, что любой пользователь может работать с ним, распространять его и
       изменять в соответствии с GNU General Public License, опубликованной
       Free Software Foundation (см. секцию  [60])

                                 [61]Запуск

   По умолчанию запустить Wget весьма просто. Базовый синтаксис выглядит
   следующим образом:

wget [options] URL1 [URL2 ...]

   При этом Wget просто скачивает все URL, указанные в командной строке.
   URL означает Универсальный Локатор Ресурсов. Определение будет дано ниже.

   Не забывайте, что ksh и его отпрыски (типа zsh) убивают все фоновые
   процессы пользователя при его выходе из системы. Для предотвращения этого
   используйте nohup, как рассказано в руководстве пользователя. (Весьма полезно
   для пользователей полумуха :)) - Assa).

   Вы также можете поменять параметры запуска по умолчанию, причем двумя путями:
   перманентно, редактируя файл `.wgetrc'(см. секцию 62) и временно,
   используя командную строку.

[63]Формат URL

   URL - это акроним от Uniform Resource Locator. Wget распознает синтаксис УРЛ
   в соответствии с RFC1738. Ниже приведена наиболее широко используемая форма
   (в квадратных скобках - необязательные части):

http://host[:port]/path
ftp://host[:port]/path

   Внутри УРЛ вы можете также вставить ваше имя и пароль:

ftp://user:password@host/path
http://user:password@host/path

   Либо имя, либо пароль, либо и то, и другое могут отсутствовать. Если вы
   оставите только HTTP имя или только пароль, идентификация проведена не будет.
   Если вы уберете имя в FTP URL, то для логина будет использовано имя `anonymous'.
   Если в FTP URL вы уберете пароль, то в качестве его будет использован ваш e-mail
   адрес.

   Некоторые "непроходные" символы в УРЛ можно записать в виде '%xy',
   где xy - шестнадцатиричное представление символа. Самые распространенные
   "непроходные" символы - % ('%25'), :('%3A'), @(%40).
   Полный список таких символов можно посмотреть в
   RFC1738.

   Wget также поддерживает некоторые фичи в написании FTP URL. По умолчанию
   документы FTP скачиваются в двоичном режиме (тип 'i'), что означает, что
   они скачиваются без изменений. Существует еще один полезный режим 'a'(ASCII),
   который конвертирует разделители строк в зависимости от операционной системы,
   что бывает полезно при скачивании текстовых файлов. Вот пример
   использования данного режима:

ftp://host/dir/file;type=a

   Также поддерживаются два альтернативных варианта спецификации URL,
   существующих в силу исторических (истерических?) причин и в силу
   их широкой распространенности.

   Только для FTP (поддерживается NcFTP):
host:/dir/file

   Только для HTTP (разработка Netscape):
host[:port]/dir/file

   Эти вормы используются редко и, возможно, их поддержка в скором
   будущем прекратится.

   Если вы не поняли разницу между этими нотациями или не понимаете, какую
   из них использовать в данном конкретном случае, просто используйте обычный
   формат, к которому вы привыкли в вашем любимом браузере, таком как Netscape или Lynx.

[65]Опциональный синтаксис

   Поскольку Wget использует функцию getopts для разбора аргументов, каждая опция
   имеет короткую и длинную форму. Длинные формы более запоминаемы, однако
   требуют больше времени для их ввода с клавиатуры. Вы можете смело смешивать
   стили или писать опции после аргументов командной строки. То есть, вы можете
   написать:

wget -r --tries=10 http://fly.cc.fer.hr/ -o log

   Пробел между опцией и ее аргументом может быть опущен.
   Вместо `-o log' вы можете написать `-olog'

   Аргументы, не использующие опций можно объединять как:

wget -drc URL

   Это полный эквивалент следующей команды:

wget -d -r -c URL

   Поскольку опции определяются после аргументов, вы можете прервать их используя '--'.
   Таким образом, следующая команда будет пытаться скачать URL '-x', пересылая сообщения
   об ошибках в файл log.

wget -o log -- -x

   Все опции, принимающие параметры, разделенные запятыми, поддерживают
   соглашение о том, что пустой лист очищает значение опции. Это бывает полезно
   для очистки установок, загружаемых из файла `.wgetrc'. Например, если
   в нем для параметра exclude_directories установлено значение  `/cgi-bin', то
   нижеследующий пример сбросит это значение и установит его равным `/~nobody' и
    `/~somebody'. Вы также можете очистить списки в файле `.wgetrc (см. секцию 66).

wget -X '' -X /~nobody,/~somebody

[67]Базовые опции, выполняющиеся при загрузке

   `-V'
   `--version'
          Выводит на экран версию программы
   `-h'
   `--help'
          Выводит на экран все опции программы
   `-b'
   `--background'
          Переводит программу в фоновый режим сразу после старта
   `-e command'
   `--execute command'
          Выполняет команду как если бы она была частью файла  `.wgetrc'
          (см. секцию 68). Команда будет выполнена после всех команд, имеющихся в `.wgetrc',
          имея, таким образом, приоритет над ними.

[69]Опции журналирования и опции входного файла

   `-o logfile'
   `--output-file=logfile'
          Записывает все сообщения об ошибках в лог-файл. По умолчанию все сообщения
          направляются в stderr.
   `-a logfile'
   `--append-output=logfile'
          Добавляет записи в существующий файл не стирая его содержимого.
          Если файл не существует, создает его.
   `-d'
   `--debug'
          Включает режим отладки. Работает только для версий, скомпилированных
          с поддержкой отладки. Однако, даже для таких версии эта опция
          не всегда работает нормально (см. секцию 70).
   `--quiet'
          Выключает вывод информации на экран
   `-v'
   `--verbose'
          Отменяет режим -q. Эта опция используется по умолчанию
   `-nv'
   `--non-verbose'
          При использовании данной опции на экран выводится только базовая информация
          и сообщения об ошибках.
   `-i file'
   `--input-file=file'
          Читает УРЛы из файла. При этом нет необходимости указывать
          УРЛы в командной строке. При наличии обоих типов УРЛов (в файле и в
          командной строке) первыми выполняются УРЛы из командной строки.
          Файл не обязательно должен быть HTML-документом (хотя, это не возбраняется),
          а может быть простым списком УРЛов. Однако, если вы укажете
          опцию   `--force-html', файл будет считаться HTML-документом.
          В этом случае вы можете иметь проблему с относительными линками,
          которую вы можете преодолеть указав в документе  <base href="url"> или
          использовав опцию `--base=url' в командной строке.
   `-F'
   `--force-html'
          Если ввод читается из файла, эта опция указывает, что файл
          должен обрабатываться как HTML-документ. Это позволит вам скачивать
          относительные линки, имеющиеся в документе указав в нем  <base href="url">
          или использовав опцию  `--base'.

[71]Опции скачки файлов

   `-t number'
   `--tries=number'
          Устанавливает значение попыток скачивания в number. При значении
          параметра 0 или inf скачивание будет продолжаться до победного
          конца

   `-O file'
   `--output-document=file'
          Документы не будут раскладываться по отдельным файлам, а будут
          объединены в единый документ. Если файл существует,
          он будет переписан. Если указать имя файла '-', будет осуществляться
          запись в стандартный вывод. При этом значение числа попыток автоматически
          устанавливается в 1.
   `-nc'
   `--no-clobber'
          Не переписывать существующие файлы при сохранении структуры
          каталога при скачивании нескольких файлов. Эта опция весьма полезна
          в том случае, если вы хотите продолжить скачавание большого
          количества файлов с того места, на котором закончили. Если файлы
          имеют расширение `.html' или (ик!) `.htm', то они будут загружаться
          с локального диска и обрабатываться так, будто они были только что скачаны
          из сети.
   `-c'
   `--continue'
          Продолжение скачивания файла. Эта опция используется для продолжения
          скачивания файла, начало скачки которого было по какой-либо
          причине прервано. Т.е., вы можете написать:

wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z
          Если в текущей директории имеется файл 'ls-lR.Z', то Wget
          сочтет его частью файла и затребует сервер продолжить скачку
          файла со смещением, равным размеру существующего на локальной
          машине файла. Следуе отметить, что эта опция необязательна в случае, если
          вы хотите продолжить скачку файла, скачивание которого было прервано
          из-за потери связи - Wget сделает это автоматически. Эта опция нужна только
          в том случае, если часть программы была скачана кокой-либо другой программой
          или скачка была прервана путем посылки сигнала kill программе.
          В этих случаях без ключа '-c' программа начнет скачивать файл заново
          под именем `ls-lR.Z.1'. Эта же опция может применяться для скачивания
          документов с HTTP серверов, поддерживающих заголовок Range.
   `--dot-style=style'
          Устанавливает стиль скачки в style. Wget трассирует процесс скачки
          печатая на экране точки. При этом каждая точка соответствует
          определенному фиксированному значению скаченной информации.
          Некоторое количество точек может быть объединено в кластеры для удобства
          чтения информации. Данная опция позволяет вам выбрать один из предопределенных
          стилей, определяющих количество байт, отражаемых точкой, количество
          точек в кластере и количество точек в строке.
          По умолчанию каждая точка соответствует 1 Кб, 10 точек в кластере
          и 50 точек в строке. Стиль binary является более "компьютерным" -
          8 Кб/точка, 16-точечный кластер, 48 точек в строке (что составляет
          384К в строке). Стиль mega используется для скачивания очень больших файлов:
          64К/точка, 8 точек на кластер, 48 точек в строке ( 3 Мб в строке).
          Стиль micro - прямая его противоположность, предназначенная
          для скачивания мелких файлов: 128 байт на точку, 8 точек на кластер,
          48 точек (6 К) на строку.
   `-N'
   `--timestamping'
          Включает тайм-штамп. См. секцию 72
   `-S'
   `--server-response'
          Печатает хидеры, посылаемые HTTP-серверами и ответы, посылаемые
          FTP-серверами.
   `--spider'
          При включении этой опции программа ведет себя как Вебовский паук,
          то есть она не скачивает страницы, а только проверяет их наличие.
          Вы можете использовать данную опцию для проверки ваших
          закладок, например:

wget --spider --force-html -i bookmarks.html
          Отметим, что этой опции еще очень далеко до реального Вебовского
          паука и требуется ее дальнейшее улучшение.
   `-T seconds'
   `--timeout=seconds'
          Устанавливает таймаут в секундах для чтения. Во время чтения происходит
          постоянная проверка файлового дескриптора на таймаут.
          По умолчанию он равен 900 сек (15 мин). Установка таймаута в 0
          отключает проверку. Пожалуйста, не уменьшайте величину таймаута, если
          вы не уверены в том, что вы делаете.
   `-w seconds'
   `--wait=seconds'
          Эта опция задает время ожидания между двумя последовательными попытками
          скачивания файла. Рекомендуется использовать всегда, поскольку
          уменьшает загрузку сервера делая запросы менее частыми.
          Используя суффикс m можно установить время ожидания не в секундах,
          а в минутах. Кроме того, можно установить промежуток в часах (h) и
          днях (d). Длительный промежуток полезно установить в том случае,
          если целевой сервер упал и нужно прождать относительно большой
          промежуток времени пока он не восстановит свою работоспособность.
   `-Y on/off'
   `--proxy=on/off'
          Включает/выключает поддержку прокси. По умолчанию может быть установлен
          соответствующей переменной окружения.
   `-Q quota'
   `--quota=quota'
          Определяет ограничение объема для автоматического скачивания.
          Величина может быть указана в байтах (по умолчанию), килобайтах (k),
          или мегабайтах (m). Учтите, что при скачивании одного файла квота не действует.
          Таким образом, если вы запустите Wget как `wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz',
          то скачается весь файл `ls-lR.gz'. То же самое произойдет, если
          в командной строке будет указано несколько отдельных УРЛ.
          Лимит работает в тех случаях, когда скачка проходит рекурсивно, либо УРЛы
          берутся из входного файла. Таким образом, вы можете смело использовать, например,
          следующий вызов: wget -Q2m -i sites' - скачка прервется по достижении указанного
          лимита. При значении лимита 0 или 'inf' он отключается.

[73]Опции каталога

   `-nd'
   `--no-directories'
          Не создавать дерево каталогов при рекурсивном скачивании.
          При этом все файлы скачиваются в текущую директорию без перезаписи
          (если имя файла повторяется, то новый файл записывается с расширением .n,
          где n - число).
          `.n').
   `-x'
   `--force-directories'
          Создавать дерево каталогов в любом случае, даже, если на сервере
          таковое отсутствует. Например, в случае `wget -x  http://fly.cc.fer.hr/robots.txt',
          файл сохранится в каталоге `fly.cc.fer.hr/robots.txt'.
   `-nH'
   `--no-host-directories'
          Отключает создание директорий с именем, тождественным имени
          хоста, откуда происходит скачка. По умолчанию, команда  `wget -r http://fly.cc.fer.hr/'
          создаст каталог `fly.cc.fer.hr/'. Рассматриваемая опция отключает
          такое поведение программы.
   `--cut-dirs=number'
          Игнорирует вложенность каталогов кратностью number при рекурсивном
          скачивании. Например, при скачивании с УРЛ `ftp://ftp.xemacs.org/pub/xemacs/'
          скачиваемые файлы будут сохраняться в каталоге `ftp.xemacs.org/pub/xemacs/'.
          Опция -nH уберет `ftp.xemacs.org/', но оставит`pub/xemacs'.
          Вот тут вам и пригодится опция `--cut-dirs'. Она позволит
          Wget "не увидеть" вложенные каталоги. Ниже приведен
          пример использования данной опции.

No options        -> ftp.xemacs.org/pub/xemacs/
-nH               -> pub/xemacs/
-nH --cut-dirs=1  -> xemacs/
-nH --cut-dirs=2  -> .

--cut-dirs=1      -> ftp.xemacs.org/xemacs/
...
          Если вы просто хотите избавиться от дерева каталогов, то лучше
          использовать комбинацию опций '-nd' и '-p'. Комбинация же
          `-nd', `--cut-dirs' позволяет вам избавляться только от каталогов
          верхнего уровня, оставляя структуру нижних уровней нетронутой.
          так, если в каталоге xemacs имеется подкаталог beta, то Wget с
          ключами `-nH --cut-dirs=1' сохранит его содержимое в каталоге
          `xemacs/beta'.
   `-P prefix'
   `--directory-prefix=prefix'
          Устанавливает префикс каталога в prefix. Префикс каталога -
          это каталог, в котором будет сохранено все скачиваемое дерево.
          По умолчанию он равен '.' (текущий каталог).

[74]Опции HTTP

   `--http-user=user'
   `--http-passwd=password'
          Задает имя пользователя name и пароль password для подключения к
          HTTP-серверу. В соответствии с запросом Wget посылает его
          либо незашифрованным, либо в воде цифровой подписи.
          Другим способ определить пароль и имя является их указание в
          самом УРЛе (см. секцию 75). Более подробную информацию о безопасности
          в Wget см. секцию
[76]Безопасность
   `-C on/off'
   `--cache=on/off'
          В случае, если эта опция установлена в off, кэширование со стороны
          сервера отключается. Для этого Wget посылаетсерверу соответствующую
          директиву (Pragma: no-cache) для того, чтобы получить текущую версию
          файла, а не его кэшированную версию. Особенно это удобно при получении
          старых документов через прокси-сервера. По умолчанию кэширование разрешено.
   `--ignore-length'
          К сожалению некоторые HTTP-серверы (точнее, CGI-программы)
          посылают бестолковые хидеры с некоторой информацией, которые
          сводят Wget с ума, поскольку он считает при этом, что документ принят не полностью.
          Вы можете понять, что это просиходит по тому, что Wget пытается раз за разом
          скачать файл, говоря, что коннект прервался на одном и том же байте.
          При использовании данной опции Wget будет игнорировть хидеры
          как-будто бы они не существуют.
   `--header=additional-header'
          Определяет дополнительный хидер, посылаемый серверу. Хидеры
          должны содержать символ ':' с предшествующими одним или несколькими
          непробельными символами. Хидер не должен содержать символы новой строки.
          Вы можете определить несколько хидеров указывая данную опцию в командной строке
          более одного раза.

wget --header='Accept-Charset: iso-8859-2' \
     --header='Accept-Language: hr'        \
       http://fly.cc.fer.hr/
          Задание хидера в виде пустой строки отменяет все ранее заданные
          пользователем хидеры.
   `--proxy-user=user'
   `--proxy-passwd=password'
          Задает имя пользователя и пароль для идентификации на прокси-сервере.
          Wget кодирует их в соответствии с базовой схемой идентификации.
   `-s'
   `--save-headers'
          Сохраняет в файле хидер, присланный сервером, отделяя его от
          основного текста пустой строкой.
   `-U agent-string'
   `--user-agent=agent-string'
          Определяет строку-агент для HTTP-сервера. Протокол HTTP позволяет
          клиентам идентифицировать себя использую поле User-Agent хидера.
          Это позволяет определять используемое клиентом программное обеспечение
          для статистических целей или для отслеживания нарушений протокола.
          По умолчанию Wget идентифицирует себя как `Wget/version', где version -
          номер текущей версии. Тем не менее, некоторые сервера навязывают
          проверку через информацию, находящуюся в User-Agent. Хотя концептуально
          это не такая уж и плохая идея, в результате такие сервера отказываются
          выдавать информацию клиентам, идентивикация которых отлична от Mozilla
          или MSIE. В этом случае с помощью данной опции есть возможность
          "обмануть" сервер. В примере, приведенном ниже, Wget маскируется под
          Mozilla 4.03 запущенный под Solaris.

wget -U "Mozilla/4.03 [en] (X11; I; SunOS 5.5.1 sun4u)"
          Ипользование этой опции не поощряется. Пользуйтесь ею только в том
          случае, когда точно знаете, что делаете.

[77]Опции FTP

   `--retr-symlinks'
          Скачивать линки с FTP сайтов как будто они простые файлы,
          то есть не создавать линки локально.
   `-g on/off'
   `--glob=on/off'
          Включает/выключает использование wildcards, использующихся
          для скачивания более, чем одной директории, например:

wget ftp://gnjilux.cc.fer.hr/*.msg
          По умолчанию использование Wildcard включается автоматически как только в URL
          встречается подходящий символ ( * ? [ ). Данная опция позволяет держать
          использование wildcard постоянно включенным или выключенным.
          Включение wildcard заставляет Wget просматривать листинг каталога на сервере,
          который является системно-зависимым. Поэтому это работает сейчас только
          для UNIX-серверов и серверов, позволяющих эмулировать команду ls.
   `--passive-ftp'
          Использовать схему пассивного скачивания, при котором связь
          инициируется клиентом. Это иногда требуется для работы за

[78]Опции рекурсивного скачивания

   `-r'
   `--recursive'
          Включает рекурсивное скачивание. Для более детальной информации
          см. секцию 79.
   `-l depth'
   `--level=depth'
          Задает максимальную глубину рекурсии. По умолчанию - 5.
   `--delete-after'
          This option tells Wget to delete every single file it         |
          downloads, after having done so. It is useful for pre-fetching| эта опция мне не понятна - Assa
          popular pages through PROXY, e.g.:                            |

wget -r -nd --delete-after http://whatever.com/~popular/page/
          Здесь  `-r' включает рекурсию, а `-nd' не создает директории.
   `-k'
   `--convert-links'
          Локально конвертирует неотносительные линки в относительные.
          При этом конвертируются только ссылки, относящиеся к скачиваемому
          документу. Все остальные ссылки остаются неизменными.
          Следует отметить, что Wget можетсконвертировать линки только после окончания
          скачивания файла.
   `-m'
   `--mirror'
          Включает опцию, необходимую для зеркалирования. Эта опция включает
          рекурсию и временные характеристики, устанавливаетбесконечную глубину
          рекурсии и сохраняет листинги FTP-каталогов. На данный момент эта
          команда эквивалентна `-r -N -l inf -nr'.
   `-nr'
   `--dont-remove-listing'
          Не удалять временные файлы листингов `.listing', создаваемые при
          скачивании. Эти файлы представляют собой листинги, полученные
          с FTP-серверов. Сохранение этих файлов полезно для зеркалирования
          серверов и для отладки.

[81]Опции рекурсивного принятия/отказа

   `-A acclist --accept acclist'
   `-R rejlist --reject rejlist'
          Задает разделяемый запятыми список расширений файлов или их
          оюразцов для принятия для скачивания или отказа от него.
   `-D domain-list'
   `--domains=domain-list'
          Список домейнов, которые принимаются к просмотру. Также представляет
          собой список, разделяемый запятыми. Отметим, при что включенной опции'-H'
          не работает.
   `--exclude-domains domain-list'
          Исключает из рассмотрения указанный в опции список домейнов.
   `-L'
   `--relative'
          Следовать только по относительным линкам. Полезно для для скачивания
          домашней страницы без скачивания других документов, на которые в ней
          есть ссылки, даже если они указывают на документы, хранящиеся на том же хосте.
   `--follow-ftp'
          Следовать FTP-ссылкам в HTML-документе. По умолчанию Wget игнорирует
          такие ссылки.
   `-H'
   `--span-hosts'
          Позволяет пропускть(?) хосты при рекурсивном скачивании.
   `-I list'
   `--include-directories=list'
          Задает разделяемый запятыми список директорий, которые вы хотите
          скачать. Члены списка могут содержать wildcards.
   `-X list'
   `--exclude-directories=list'
          Задает разделяемый запятыми список директорий, которые вы
          хотите исключить из скачивания. Члены списка могут содержать
          wildcards.
   `-nh'
   `--no-host-lookup'
          Отключает длительный поиск DNS почти всех хостов.
   `-np'
   `--no-parent'
          Никогда не подниматься в родительский каталог при рекурсивном
          скачивании. Это полезная опция в случае, когда нужно гарантировать,
          что будут скачаны только те файлы, которые находятся ниже указанной
          директории.

                            [91]Рекурсивное скачивание

   GNU Wget обладает способностью следовать части Сети (или какого-либо
   HTTP или FTP-сервера), следуя его линкам или дереву каталогов.
   Это называется рекурсивным скачиванием или рекурсией.

   В случае HTTP URL Wget скачивает и разбирает страницы указанного документа,
   скачивая все файлы, на которые он указывает, основываясь на тегах href или src.
   Если скаченный по такой ссылке файл в свою очередь является HTML документом,
   он разбирается точно также, как исходный, и Wget следует его линкам тоже.

   Максимальная "глубина" следования задается опцией '-l' (по умолчанию равна 5).

   При рекурсивном скачивании FTP URL Wget скачивает все данные из заданного
   дерева каталогов (включая каталоги до заданной глубины), локально создавая
   зеркальное отображение целевого сервера. Глубина скачки с FTP-сервера также
   задается параметром.

   По умолчанию Wget создает структуру каталогов, полностью соответствующую
   существующей на целевом сервере.

   Рекурсивное скачивание может найти большое количество применений,
   главным из которых является зеркалирование серверов. Оно также полезно для
   презентаций в  Сети или в других случаях, когда медленное соединение заставляет
   хранить файлы локально.

   Нужно предупредить, что включив рекурсию вы можете очень сильно
   загрузить свою систему из-за того, что при этом через сеть перекачиваются очень
   большие объемы информации, что может привести к торможению любых других
   задач. То же самое относится и к целевому серверу, который вы зеркалите -
   он при этом тоже замедляет свою работу.

   Бездумное скачивание может также привести к выходу вашей системы из-под
   контроля и, как следствие, к ее остановке.

   Загрузка системы может быть минимизирована уменьшением глубины рекурсии
   ('-l') и/или уменьшением числа попыток ('-t'). Вы также можете рассчитывать на опцию '-w'
   которая уменьшит количество запросов к целевому серверу, а также на большое
   количество других опций, которые уменьшают количество линков, к которым
   будет обращаться программа.

   Рекурсивное скачивание является полезной штукой при ее правильном использовании.
   Пожалуйста, не забывайте о предосторожностях, которые не позволят вам
   что-либо порушить.

                              [94]Следование по ссылкам

   При рекурсивном скачивании может оказаться так, что какие-то данные вам совершенно
   не нужны. Юольшую часть времени пользователи стараются не забыть, что они хотели
   скачать и стараются удержать Wget от скачивания ненужных ссылок.

   Например, если вы хотите скачать музыкальный архив с  `fly.cc.fer.hr',
   но не хотите скачивать все домашние страницы, предворяющие каждый каталог
   архива.

   Wget обладает несколькими механизмами, позволяющими точно настроить
   путь следования по линкам.

[95]Относительные линки

   В случае, если задано следование только относительным линкам ('-L'),
   скачивание никогда не перепрыгивает с хоста на хост. При этом не расходуется
   время на поиск нужного хоста, м весь процесс скачивания относительно
   быстр, а загрузка сети минимальна. Очень часто это соответствует вашим
   требованиям, особенно при зеркалировании выходной информации различных
   x2html-конвертеров, которые генерят в основном относительные линки.

[96]Проверка хоста

   Недостатком следования относительным линкам заключается в том, что
   люди имеют привычку путать их с абсолютными линками к тому же самому
   хосту или даже к той же самой странице. В данном режиме (который является
   режимом по умолчанию) скачиваются все линки, которые ссылаются на
   тот же хост.

   Основной проблемой данной опции являются алиасы хостов и домейнов.
   То есть для Wget не существует возможности определить, что  `regoc.srce.hr' и
   `www.srce.hr' - одно и то же, или что `fly.cc.fer.hr' и `fly.cc.etf.hr'это
   один и тотже хост. При встерче с любым абсолютным линком Wget обращается к
   DNS с целью определения, является ли данный хост тем же, или каким-либо
   внешним хостом. Несмотря на то, что данные запроса кешируются, наблюдается значительное
   замедление работы программы, особенно при наличии на странице большого
   количества ссылок на другие хосты ( поскольку каждая ссылка должна быть проверена
   отдельно на предмет обнаружения не является ли она алиасом целевого
   хоста.

   Для избежания перегрузки вы можете использовать опцию '-nh', которая
   отключает DNS и заставляет Wget сревнивать имена хостов посимвольно.
   Этот трюк значительно увеличивает скорость работы, однако при этом достоверность
   скачивания уменьшается ( `www.srce.hr' и `regoc.srce.hr'будут считаться
   разными хостами).