Как использовать Wget для загрузки сайтов на свой компьютер

Функция URL-адреса Wget для Linux

Вы когда-нибудь задумывались, есть ли способ загрузить веб-сайт без веб-браузера? Тебе повезло. Благодаря мощи командной строки Linux возможно все. Есть несколько способов выполнить эту задачу, но в этой статье мы сосредоточимся на wget.

Что такое wget?

wget - это утилита командной строки GNU для получения контента с веб-серверов. Как загрузчик, wget сам по себе очень мощный. wget может работать с несколькими протоколами, такими как HTTP, HTTPS и FTP. Другие возможности утилиты wget:

  • возможность работать бесшумно или в фоновом режиме
  • интегрирована со скриптами Linux или заданиями CRON
  • может запускать несколько загрузок одновременно
  • скачивает файлы, требующие пароля

Почему wget?

Несмотря на то, что существует множество инструментов, которые могут выполнять действия на веб-сайтах, wget предоставляет широкий спектр возможностей. Это дает пользователю возможность работать без веб-браузера:

  • загрузка полной копии сайта
  • загрузка определенного файла с веб-сайта
  • автоматизация поиска файла по запросу
  • получение документа с портала аутентификации

wget также встроен в большинство дистрибутивов Linux, поэтому он доступен с самого начала и не требует дополнительной установки.

Основы Wget

Начать работу с wget довольно просто. Сначала откройте терминал Linux.

После открытия окна терминала вы можете запустить wget, как показано ниже:

Замените "URL" точным URL-адресом веб-сайта.

Linux Wget URL

Чтобы возобновить частично загруженный файл, используйте переключатель -c в вашей команде следующим образом:

Чтобы сделать загрузку wget тихой, добавьте переключатель -q в исходную команду wget:

Если вы не уверены в правильности использования параметров в wget, используйте следующее:

Помимо веб-сайтов, вы также можете загрузить файл с помощью wget. Например:

Он просто захватит файл и сохранит его в текущем каталоге.

Если вы хотите сохранить в другом имени файла или в другом месте, используйте флаг -O.

Параметры FTP

Как отмечалось ранее, wget также поддерживает FTP. Если вы просто укажете FTP-сайт:

wget предполагает, что вам нужен анонимный вход. Кроме того, вы можете вручную указать такие вещи, как имя пользователя и пароль, с помощью следующих флагов:

  • --ftp-user=USER: указывает имя пользователя для входа в систему.
  • --ftp-password=PASS: указывает пароль
  • --no-passive-ftp: отключает пассивный режим передачи.

Тайм-ауты, повторные попытки и неудачные загрузки

Наконец, wget имеет несколько опций, касающихся проблем с подключением к серверу и тайм-аутов. Конечно, не все сбои можно устранить, но все следующие флаги предназначены для решения проблем с сервером:

  • --tries=NUMBER: указывает, сколько раз повторять загрузку.
  • --retry-connrefused: повторяет загрузку, даже если в соединении отказано сервером.
  • --timeout=SECONDS: глобальная настройка - сколько времени ждать до истечения времени ожидания
  • --wait=SECONDS: сколько времени ждать между успешными загрузками (при повторении)

Кто будет использовать wget?

Читая этот пост, вы можете подумать: "Это звучит сложно и намного сложнее, чем использование веб-браузера", но любой может найти применение этой утилите, будь то системный администратор или программист. Ниже приведены два примера того, как я использую эту команду в течение дня, при этом моя роль иногда меняется.

Это упрощает мою работу в качестве исследователя безопасности, потому что я могу запланировать эту команду для одновременной загрузки нескольких веб-сайтов. Я могу сделать это, создав текстовый файл (с помощью любого текстового редактора), который содержит ряд URL-адресов в списке (по одному URL-адресу в строке). Выполнив команду ниже с переключателем -i, wget загрузит каждый веб-сайт в списке.

Как системный администратор, я могу легко получать документы из защищенных паролем мест. Это может не помочь вам в автономном режиме, но запуск wget позволяет вам добавлять учетные данные на сайт.

Вот оно что! Было ли это так сложно, как вы думали? Возможность автоматизировать свои действия с помощью wget сэкономит ваше время и даст вам возможность работать в автономном режиме. Что вам терять?

Оставьте комментарий ниже и сообщите нам, нашли ли вы это полезным.