www.tirinhas.com

domingo, 6 de outubro de 2013

Como baixar arquivos do ZBIGZ usando o Wget


Como baixar arquivos do ZBIGZ usando o Wget

Apesar de possuir um Nas NS-K330 (que faz downloads http), eu não conseguia baixar meus arquivos do ZbigZ (um serviço de download http de torrents) por causa da autenticação do site, que utiliza os cookies do navegador.



Solução resumida:
-Exportar os cookies usando a extensão do firefox Export Cookies.
-Exportar a lista de links do torrent, usando a extensão do firefox DownThemAll!
-Utilizar os cookies exportados no wget, com o parâmetro --load-cookies.

Exemplo:
screen wget -c --content-disposition --load-cookies cookies.txt -p -i listalinks.txt

Alguns detalhes adicionais:
- Para que o download não seja interrompido quando a sessão ssh for fechada, eu utilizei o screen.
- Para gerar a lista de links, utilize o DownThemAll! , como se fosse baixar os arquivos por ele. Selecione os links no gerenciador, clique com o botão direito do mouse, e vá em avançado => exportar links selecionados.
- Por padrão, quando o download é redirecionado, o wget não altera os nomes dos arquivos, resultando nos nomes 0, 1, 2, etc, para os links de um torrent. Para salvar com os nomes corretos, o parâmetro --content-disposition é necessário.
-O ZbigZ limita a velocidade das conexões a aproximadamente 200KB/s, sendo necessário, então, utilizar aceleradores de download para aproveitar melhor a conexão de internet.
- O wget baixa cada arquivo da lista de links individualmente, ou seja, você vai baixar apenas a 200KB/s do Zbigz. Para melhorar um pouco, em vez de criar uma única lista de links, você pode dividir os links em 3 ou 4 listas, ou até mais, e baixar cada lista em uma sessão do wget, com uma velocidade próxima a 200KB/s por sessão.
- Não abuse do número de sessões do wget: lembre-se da limitação de hardware do NS-K330.


Referências:
http://askubuntu.com/questions/161778/how-do-i-use-wget-curl-to-download-from-a-site-i-am-logged-into
http://superuser.com/questions/301044/how-to-wget-a-file-with-correct-name-when-redirected