Ceci est une ancienne révision du document !
WGET
Wget est un programme en ligne de commande non interactif de téléchargement de fichiers depuis le Web. Il supporte les protocoles HTTP, HTTPS et FTP ainsi que le téléchargement au travers des proxies HTTP.
Wget peut travailler en arrière-plan et ainsi vous permettre de lancer un téléchargement et de vous déconnecter du système ! utile car il ne requiert d'action de l'utilisateur et vous permet d'effectuer ses tâches en arrière plan, ce qui peut être très utile pour les téléchargements de données nombreuses et lourdes. Vous pouvez ainsi changer de session et laisser Wget finir le travail!
Ce logiciel libre permet le simple téléchargement d'un fichier mais aussi la recopie en local de tout ou partie d'un site qui sera par la suite consultable localement. Point fort appréciable, Wget vous permet de reprendre un téléchargement échoué suite à divers problèmes (connexions instables ou très lentes etc…). Les nombreuses options de Wget en font un outil de téléchargement très puissant !
Attention! Wget n'est pas un gestionnaire de téléchargement très puissant, et reste à ce jour incapable de remplacer des logiciels tels que Free Download Manager ou FlashGet par exemple. N'espérez pas gagner en vitesse par exemple parce que wget ne sait pas découper les fichiers en plusieurs parties comme le font les vrais gestionnaires de téléchargement.
Pré-requis
- Disposer d'une connexion à Internet configurée et activée
Installation
Wget est installé par défaut dans les dernières versions d'Ubuntu. Cependant, si ce n'est pas le cas, l'installation du paquet « wget » suffit (il est situé dans le dépot "main", ce qui ne nécessite pas de toucher au fichier sources.list)
Il est possible de définir certaines des options ci-dessous dans le fichier personnel « .wgetrc ».
On peut noter qu'il existe une interface graphique Gwget.
Utilisation
wget [options] [url]
Descriptions des options principales
-V –> Renseigne sur la version de Wget.
-h –> Affiche toutes les options disponibles.
-i –> Lit les adresses depuis un fichier .txt.
-N –> ( –timestamping ) Active le time-stamping. Permet d'écraser les fichiers sur la destination s'ils existent
-t –> Définit le nombre de tentatives, 0 ou inf pour un nombre illimité de tentatives. Par défaut 20 tentatives sont effectuées, à moins qu'une erreur fatale apparaisse.
-c –> Reprend un téléchargement interrompu.
-S –> Affiche les messages envoyés par les serveurs FTP ou HTTP.
-Y –> on/off active ou désactive le support proxy.
-nd –> Si cette option est utilisée les fichiers sauvegardés le seront dans un seul et même répertoire.
-r –> Active le téléchargement récursif.
-l –> Indique la profondeur à utiliser lors d'un téléchargement récursif.
-k –> Convertit les liens pour être disponible en consultation locale.
-p –> Oblige Wget de télécharger tous les fichiers requis pour une consultation convenable d'une page HTML.
-m –> Active toutes les options convenables pour faire un miroir.
–follow-ftp –> Sans cette option tous les liens FTP donnés depuis un document HTML seront ignorés.
-H –> Autorise lors d'un téléchargement récursif le changement d'hôtes.
-np –> Ne remonte pas les répertoires parents.
-A –> Permet de ne télécharger que le type de fichier choisi.
-o –> Permet d' enregistrer tous les messages de Wget dans un fichier.
-a –> Idem que -o sauf que les messages sont ajouté à la suite du fichier empêchant ainsi d' écraser l' ancien fichier.
–user-agent=paul –>S'identifier sous le nom paul pour le serveur HTTP. Permet de falsifier la valeur de user-agent envoyé par Wget, ceci n'est pas recommandé à moins de vraiment savoir ce que vous faites
–limit-rate=30K –> Permet de limiter le débit, ici à 30 ko/s.
D'autres options sont bien sûr disponibles, elles sont disponibles sur le Manpage en francais. ( Voir dans la section Références )
Exemples d'utilisation courante
Télécharger simplement un fichier :
wget http://www.site.org/rep/01/fichier.txt
Reprendre un téléchargement si celui-ci est incomplet ( À-priori, selon la manpage, c'est le comportement par défaut)
wget -c ftp://serveur.org/rep/01/fichier.txt
Dans ce cas seul le répertoire /01/ sera copié ( -np ), les répertoires parent étant ignorés :
wget -r -np http://www.site.org/rep/01/
Ici aucun répertoire ne sera créé ( -nd ) :
wget -r -nd http://www.site.org/rep/01/
Télécharger sur un FTP avec authentification (ici le nom d'utilisateur est paul et son mot de passe 123) :
wget -r l4 ftp://paul:123@serveur.org/
Exemples d'utilisation avancée
Télécharger les URL contenues dans un fichier :
wget -i fichier
Télécharge récursivement le site ( -r ) et enregistre les messages dans le fichier wgetlog ( -o ) en limitant le débit du téléchargement à 30 Ko/s ( –limite-rate=30k ) :
wget -r --limit-rate=30k http//www.site.org/ -o wgetlog
Téléchargement avec une profondeur de 4 ( -l4 ) et en enregistrant les messages à la suite du fichier wgetlog déjà créé ( -awgetlog ) :
wget -r -l4 http://www.site.org/ -awgetlog
Dans ce cas seul les fichiers de type .txt seront téléchargés ( -A.txt ) :
wget -r -l3 -A.txt ftp://serveur.org/
Ici seul les fichiers .jpg seront téléchargés ( -A.jpeg ), les messages seront inscrit à la suite du fichier wgetlog ( -awgetlog ) et Wget téléchargera à partir des adresses indiqués dans le fichier .txt ( -imaliste) :
wget -r -A.jpg -awgetlog -imaliste.txt
Télécharger le site récursivement avec une profondeur infinie ( -linf ), convertit les liens pour une consultation en local ( -k ), rapatrie tout les fichiers nécessaires à l'affichage convenable d'une page HTML ( -p ) et renomme toutes les pages HTML avec l'extension .html ( -E ) :
wget -r -linf -k -p -E http://www.site.org/