Вы когда-нибудь задумывались, есть ли способ загрузить веб-сайт без веб-браузера? Тебе повезло. Благодаря мощи командной строки Linux возможно все. Есть несколько способов выполнить эту задачу, но в этой статье мы сосредоточимся на wget.
Что такое wget?
wget - это утилита командной строки GNU для получения контента с веб-серверов. Как загрузчик, wget сам по себе очень мощный. wget может работать с несколькими протоколами, такими как HTTP, HTTPS и FTP. Другие возможности утилиты wget:
- возможность работать бесшумно или в фоновом режиме
- интегрирована со скриптами Linux или заданиями CRON
- может запускать несколько загрузок одновременно
- скачивает файлы, требующие пароля
Почему wget?
Несмотря на то, что существует множество инструментов, которые могут выполнять действия на веб-сайтах, wget предоставляет широкий спектр возможностей. Это дает пользователю возможность работать без веб-браузера:
- загрузка полной копии сайта
- загрузка определенного файла с веб-сайта
- автоматизация поиска файла по запросу
- получение документа с портала аутентификации
wget также встроен в большинство дистрибутивов Linux, поэтому он доступен с самого начала и не требует дополнительной установки.
Основы Wget
Начать работу с wget довольно просто. Сначала откройте терминал Linux.
После открытия окна терминала вы можете запустить wget, как показано ниже:
wget URLЗамените "URL" точным URL-адресом веб-сайта.
Чтобы возобновить частично загруженный файл, используйте переключатель -c в вашей команде следующим образом:
wget - c URL
Чтобы сделать загрузку wget тихой, добавьте переключатель -q в исходную команду wget:
wget - q URL
Если вы не уверены в правильности использования параметров в wget, используйте следующее:
wget - справка
Помимо веб-сайтов, вы также можете загрузить файл с помощью wget. Например:
wget https://example.com/file.zip
Он просто захватит файл и сохранит его в текущем каталоге.
Если вы хотите сохранить в другом имени файла или в другом месте, используйте флаг -O.
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
Параметры FTP
Как отмечалось ранее, wget также поддерживает FTP. Если вы просто укажете FTP-сайт:
wget ftp: //ftp.example.com
wget предполагает, что вам нужен анонимный вход. Кроме того, вы можете вручную указать такие вещи, как имя пользователя и пароль, с помощью следующих флагов:
--ftp-user=USER: указывает имя пользователя для входа в систему.--ftp-password=PASS: указывает пароль--no-passive-ftp: отключает пассивный режим передачи.
Тайм-ауты, повторные попытки и неудачные загрузки
Наконец, wget имеет несколько опций, касающихся проблем с подключением к серверу и тайм-аутов. Конечно, не все сбои можно устранить, но все следующие флаги предназначены для решения проблем с сервером:
--tries=NUMBER: указывает, сколько раз повторять загрузку.--retry-connrefused: повторяет загрузку, даже если в соединении отказано сервером.--timeout=SECONDS: глобальная настройка - сколько времени ждать до истечения времени ожидания--wait=SECONDS: сколько времени ждать между успешными загрузками (при повторении)
Кто будет использовать wget?
Читая этот пост, вы можете подумать: "Это звучит сложно и намного сложнее, чем использование веб-браузера", но любой может найти применение этой утилите, будь то системный администратор или программист. Ниже приведены два примера того, как я использую эту команду в течение дня, при этом моя роль иногда меняется.
Это упрощает мою работу в качестве исследователя безопасности, потому что я могу запланировать эту команду для одновременной загрузки нескольких веб-сайтов. Я могу сделать это, создав текстовый файл (с помощью любого текстового редактора), который содержит ряд URL-адресов в списке (по одному URL-адресу в строке). Выполнив команду ниже с переключателем -i, wget загрузит каждый веб-сайт в списке.
wget - i URL-адрес download_file_name
Как системный администратор, я могу легко получать документы из защищенных паролем мест. Это может не помочь вам в автономном режиме, но запуск wget позволяет вам добавлять учетные данные на сайт.
wget--user=user_id --password=user_password URL
Вот оно что! Было ли это так сложно, как вы думали? Возможность автоматизировать свои действия с помощью wget сэкономит ваше время и даст вам возможность работать в автономном режиме. Что вам терять?
Оставьте комментарий ниже и сообщите нам, нашли ли вы это полезным.