Como usar o Wget para baixar qualquer coisa da Internet

Wget é um utilitário de linha de comando que pode ser usado para baixar quase tudo disponível na Internet. O problema é que ele deve estar disponível nos protocolos HTTP, HTTPS ou FTP; caso contrário, o Wget não será capaz de baixá-lo. O Wget pode ser usado de várias maneiras, por exemplo, você pode usar o Wget para baixar todas as imagens de um site ou pode baixar um único arquivo também. Wget é até capaz de retomar downloads, quando possível. Então, se você está se perguntando como o Wget funciona e o que ele pode fazer por você, aqui está como usar o Wget:

Instalando Wget

1. Instalação do Wget no macOS Sierra

Antes de começarmos a usar o Wget, precisaremos instalá-lo em nosso sistema. Agora, felizmente, a maioria das distribuições Linux vem com o Wget pré-instalado, então você não terá que fazer nenhum trabalho adicional. No entanto, se você estiver em um Mac, terá que instalar o Wget. Isso pode ser feito facilmente usando o Homebrew (download). Se precisar de ajuda, aqui estão as etapas que você precisa seguir:

Primeiro, você terá que instalar o Homebrew no seu Mac para poder baixar o Wget. Para fazer isso, basta lançar o Terminal, e digite o seguinte comando:

/ usr / bin / ruby -e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Depois que o comando for concluído, Homebrew será instalado em seu sistema. Agora você pode usar o Homebrew para instalar pacotes, como o Wget. No Terminal, basta executar o seguinte comando:

brew instalar wget

Homebrew irá iniciar automaticamente baixando, descompactando e instalando o Wget em seu sistema. Esta etapa pode levar algum tempo, dependendo da velocidade da sua rede, então seja paciente. Assim que o comando for concluído, você poderá usar o Wget no seu Mac. Para verificar se já foi instalado, basta usar o comando:

wget -V

2. Instalando Wget no Windows

Instalar o Wget no Windows exige um pouco mais de esforço, mas pode ser feito facilmente. Se você deseja instalar o Wget em seu PC com Windows, basta seguir as etapas abaixo:

Primeiro, baixe o Cygwin e depois execute o arquivo de configuração baixado.

Quando ele solicitar a fonte de download padrão, escolha a opção que diz “Instalar da Internet“, E clique em "Próximo".

Escolha um diretório de instalação para Cygwin, bem como um diretório onde salvará arquivos de pacotes para instalação de utilitários.

Na próxima tela, você deve selecionar sua conexão com a Internet. Se você estiver usando um Proxy, escolha o tipo de Proxy e preencha os detalhes. Para a maioria dos usuários, porém, a escolha seria “Conexão direta“.

Em seguida, será mostrado um lista de espelhos, escolha qualquer um desses para fazer o download do Cygwin. Se o download falhar, você pode tentar novamente com um espelho diferente.

Na próxima janela, pesquise por “Wget”, e clique no mais próximo a "rede" na lista que surge. Aqui, a caixa de seleção ao lado de “wget”Será selecionado automaticamente. Basta clicar em "Próximo".

A próxima tela mostrará os pacotes necessários para fazer o download. Basta clicar "Próximo".

Assim que a instalação for concluída, você será perguntado se deseja criar um ícone na área de trabalho, e / ou adicionar um entrada para o menu iniciar. Isso é totalmente uma questão de preferência pessoal, mas eu sugiro que você pelo menos adicione ao menu iniciar, para que possa encontrá-lo facilmente.

É isso. Wget agora está instalado em seu PC com Windows. No entanto, você não conseguirá executá-lo a partir do prompt de comando. Em vez disso, você terá que inicie o Cygwin Terminal e use o Wget de lá.

Como usar o Wget

Agora que temos o Wget instalado e funcionando em nosso sistema, vamos explorar todas as maneiras interessantes em que podemos usar o Wget para baixar arquivos, pastas e até sites inteiros da Internet. Aqui estão algumas coisas interessantes que você pode fazer com o Wget em seu sistema.

Observação: Estou usando o Wget em um MacBook Air executando macOS Sierra 10.12.3 beta. No entanto, como o utilitário que estamos usando é o mesmo (Wget), os comandos serão os mesmos em qualquer sistema operacional em que você esteja usando Wget.

1. Use Wget para baixar arquivos

Você pode usar o Wget para baixar arquivos da internet com facilidade. Basta usar o seguinte comando

wget

Baixe um arquivo e salve-o com um nome de arquivo específico

Os arquivos em servidores às vezes têm os nomes mais estranhos, e você pode querer baixar o arquivo e fazer com que o Wget o renomeie automaticamente para algo que faça mais sentido para você. Para fazer isso, basta usar o seguinte comando

wget -o

Baixar apenas tipos de arquivos específicos

Um servidor da web pode hospedar vários arquivos diferentes. Então, e se você quiser apenas baixar todos os PDFs no servidor, ou talvez todos os GIFs? Basta usar o seguinte comando:

wget -r -A pdf

Este comando específico foi usado por Mark Zuckerberg em seu dormitório em Harvard, para baixar todas as imagens com apenas um comando e construir o infame site “facesmash.com”.

wget -r -A jpg, jpeg, png, bmp

2. Baixe arquivos de vários URLs com Wget

Digamos que você precise baixar arquivos de vários locais diferentes na Internet. Pode haver um Arquivo PDF em url1, um importante Arquivo ZIP em url2, e algo mais no url3. Se você usou o Wget da maneira tradicional, terá que executá-lo três vezes. No entanto, há uma maneira muito mais fácil de fazer isso.

Primeiro, crie um arquivo com todos os URLs dos quais você precisa fazer o download dos dados. Assegure-se de que você mantenha cada URL em sua própria linha. Salve o arquivo e lembre-se do nome.

No Terminal, use o seguinte comando para baixar arquivos de todos os URLs:

wget -i

Onde "nome do arquivo” é o nome do arquivo que você criou com todos os URLs você precisava baixar coisas de.

3. Baixe um site inteiro com o Wget

Sim, você leu certo. Você também pode usar o Wget para baixar o conteúdo de um site inteiro. Obviamente, se o site for muito grande, esse comando demorará muito para ser concluído, sem falar que ocupará muito espaço em seu sistema. Dito isso, se você quiser usar o Wget para baixar um site inteiro, basta usar o seguinte comando:

wget --mirror -p  -P ./LOCAL-DIR WEBSITE-URL

Isso fará o download de todo o site, em uma pasta “LOCAL-DIR”Dentro de seu diretório de trabalho. Os arquivos do site ficarão armazenados em uma pasta com o mesmo nome do site, graças ao “WEBSITE-URL“.

4. Use o Wget como um aranha teia

Você também pode fazer o Wget agir como um rastreador da web (ou uma aranha da web). Isso é útil quando você deseja confirme se o URL do arquivo que deseja baixar é válido. Para usar o Wget como um web spider e verificar a validade dos URLs, basta usar o seguinte comando:

wget --spider

Isso verificará se o URL que você mencionou existe e você receberá uma resposta informando os resultados da verificação.

Resposta positiva:

Resposta Negativa:

5. Continue downloads incompletos

Esta é outra coisa muito legal que Wget pode fazer. Digamos que você estivesse baixando um arquivo com o Wget, mas, por algum motivo, teve que desligar o laptop. Na próxima vez que você quiser tentar baixar o mesmo arquivo, Wget pode realmente continue o download para você. Você só tem de certifique-se de que você está na mesma pasta onde baixou o arquivo da última vez, e use o seguinte comando:

wget -c

Quando Wget vê que uma parte do arquivo já está presente em seu sistema, ele irá automaticamente continuar o download.

Observação: Se o arquivo no servidor foi alterado desde a última vez que você tentou baixá-lo, então você não deve usar este comando, porque irá resultar em um arquivo corrompido que você não conseguirá ler.

Além disso, se o servidor não permitir downloads contínuos, o Wget se recusará a iniciar o download do zero. Se você deseja iniciar o download do zero, você terá que excluir o arquivo parcialmente baixado do seu sistema, primeiro.

Existem mais algumas condições para usar este argumento, e você pode ler mais sobre ele na página de manual do Wget.

6. Limite a velocidade de download

Se você estiver usando o Wget para baixar arquivos e navegar na Internet com ele, provavelmente não vai querer que toda a sua largura de banda seja usada pelo Wget. Felizmente, Wget inclui um argumento que você pode usar para limitar a quantidade de largura de banda que o Wget pode usar para baixar arquivos em seu sistema:

wget --limit-rate =

Observação: Lembre-se de que a velocidade é mencionada em bytes e não em bits. Portanto, se você usar Wget -limit-rate = 20k, ele limitará o uso da largura de banda a 20 kB, e não a 20 kb.

7. Use Wget para baixar arquivos de servidores FTP

Se precisar baixar um arquivo de um servidor FTP, você também pode fazer isso com o Wget. Basta usar o seguinte comando para baixar arquivos de servidores FTP:

wget

Baixe arquivos de servidores FTP com Login

SE o seu servidor FTP requer um login para permitir o download de arquivos, você também pode simplesmente passar as credenciais com o Wget. Basta usar o seguinte comando:

wget --ftp-username = USERNAME --ftp-password = PASSWORD

CONSULTE TAMBÉM: 30 Comandos do Terminal Mac para acessar recursos ocultos

Use facilmente o Wget para baixar arquivos da Internet

Você pode usar o Wget para baixar arquivos de qualquer lugar da Internet. No entanto, embora o Wget quase sempre funcione, existem certos servidores que impedem o acesso ao Wget, nesse caso, você pode tentar alterar o -user-agent para o seu comando Wget. No entanto, esse não é um curso de ação recomendado, a menos que você saiba com certeza o que está fazendo. Na maior parte do tempo, o Wget permite que você baixe qualquer arquivo da internet, desde que você tenha acesso a ele e seu URL.

Então, você já usou o Wget para baixar arquivos da internet? Conte-nos sobre sua experiência com o uso do Wget para fazer download de arquivos por meio dos protocolos HTTP, HTTPS e FTP. Além disso, se você souber de alguns outros usos do Wget que acha que merecem estar nesta lista, deixe-nos saber sobre eles na seção de comentários abaixo.