Différences

Ci-dessous, les différences entre deux révisions de la page.

--- projets:ecole:scripting:initiation_au_shell [Le 22/10/2007, 04:23]
flashoux
+++ projets:ecole:scripting:initiation_au_shell [Le 04/08/2023, 00:00] (Version actuelle)
Amiralgaby correction formatage des chevrons double pour ne pas être interprété par dokuwiki
@@ Ligne 1: / Ligne 1: @@
+{{tag>script shell brouillon programmation }}
+----
 ====== Initiation au Shell ======
@@ Ligne 5: / Ligne 7: @@
 -----------------
 ===== Généralités =====
@@ Ligne 27: / Ligne 27: @@
 À chaque entrée/sortie est associée un numéro appelé **descripteur de fichier** comme vous pouvez le voir dans ce tableau récapitulatif :
 ^ Entrées/Sorties             ^ Nom      ^ Numéro   ^
 | Entrée standard             |  stdin   |   0      |
 | Sortie standard             |  stdout  |   1      |
@@ Ligne 37: / Ligne 37: @@
 -----------------
 ===== Redirections =====
-{{icons:icone_danger.png  }}
+Les **redirections** permettent simplement (comme leur nom l'indique), de rediriger un des trois descripteurs de fichier vu plus haut vers à peu près tout ce que vous voulez. Les opérateurs utilisés sont ">", %%">>"%%, "<" et %%"<<"%%
->Dokuwiki remplace automatiquement > >  et < <(sans l'espace entre les deux) par un guillemet comme ça >> et comme ça <<, donc jusqu'à ce qu'une solution soit trouvée (par vous peut être...) pensez à faire le changement mentalement.
-Les **redirections** permettent simplement (comme leur nom l'indique), de rediriger un des trois descripteurs de fichier vu plus haut vers à peu près tout ce que vous voulez. Les opérateurs utilisés sont <code>">", ">>", "<", "<<"</code>
 ==== Sorties ====
-Prenons un exemple, on connaît la commande "ls" qui donne la liste des fichiers d'un répertoire et on veut enregistrer le résultat dans un fichier. Pour cela on    va rediriger le résultat de la sortie standard dans le fichier test à l'aide de la commande suivante :
+Prenons un exemple, on connaît la commande "ls" qui donne la liste des fichiers d'un répertoire et on veut enregistrer le résultat dans un fichier. Pour cela on    va rediriger le résultat dela sortie standard dans le fichier test à l'aide de la commande suivante :
 <code>ls > test</code>
@@ Ligne 55: / Ligne 50: @@
 De même si on veut enregistrer stderr de la commande "lfdfdfj", on utilise :
-<code>ls 2> test</code>
+<code>lfdfdfj 2> test</code>
 Dans le premier exemple, on peut constater que l'on ne précise pas le descripteur de fichier redirigé (1), en effet le descripteur de fichier redirigé par défaut est stdout.
@@ Ligne 61: / Ligne 56: @@
 Techniquement, lorsque ">" est utilisé le fichier vers lequel la sortie est redirigée est créé s'il n'existait pas auparavant, sinon il est écrasé.
-Pour conserver le fichier original, vous pouvez utiliser ">>" qui n'écrasera pas le contenu du fichier s'il existe déjà. Par exemple :
+Pour conserver le fichier original, vous pouvez utiliser %%">>"%% qui n'écrasera pas le contenu du fichier s'il existe déjà. Par exemple :
 <code>ls >> test</code>
 Si test n'existe pas il sera créé, si il existe le résultat sera ajouté à son contenu (à la fin du fichier). De la même manière, vous pouvez rediriger stderr :
 <code>lfdfdfj 2>> test</code>
-Mais il est également possible de rediriger une sortie vers une autre sortie, par exemple "2>&1" siginifie "rediriger stderr vers ce que représente stdout". Ainsi
+Mais il est également possible de rediriger une sortie vers une autre sortie, par exemple "2>&1" signifie "rediriger stderr vers ce que représente stdout". Ainsi
 <code>ls > test 2>&1</code>
@@ Ligne 77: / Ligne 72: @@
 ==== Entrées ====
-Pour rediriger vers l'entrée standard stdin, nous allons utiliser "<" et "<<".
+Pour rediriger vers l'entrée standard stdin, nous allons utiliser "<" et %%"<<"%%.
 "wc" permet de compter le nombre de lignes (option -l) ou de mots (option -w), plus d'informations dans la page man de wc, en entrée. Pour compter le nombre de lignes d'un fichier on peut donc utiliser :
@@ Ligne 87: / Ligne 82: @@
 <code>wc -l fichier</code>
-"<<" permet lui aussi de rediriger stdin mais jusqu'à une chaîne de caractère que l'on précisera : littéralement on pourrait dire que << transmet notre entrée standard (clavier) au programme à sa gauche, et cela jusqu'à ce qu'il rencontre une ligne EOF ((End of File : Fin de fichier)).
+%%"<<"%% permet lui aussi de rediriger stdin mais jusqu'à une chaîne de caractère que l'on précisera : littéralement on pourrait dire que %%<<%% transmet notre entrée standard (clavier) au programme à sa gauche, et cela jusqu'à ce qu'il rencontre une ligne EOF ((End of File : Fin de fichier)).
 Par exemple la commande suivante vous permettra de taper un texte, d'aller à la ligne autant de fois que vous voulez en appuyant sur Entrée, puis lorsque vous taperez EOF (pour End of File, fin du fichier) et entrée, elle comptera le nombre de lignes (celle de EOF non comprise) que vous avez entrées.
@@ Ligne 95: / Ligne 90: @@
 Vous pouvez bien sur spécifier un chaîne différente de EOF comme FIN, END...
-En utilisant ">>" et "<<" nous pouvons facilement ajouter du texte dans un fichier de notre choix de la même manière qu'un éditeur de texte :
+En utilisant %%">>"%% et %%"<<"%% nous pouvons facilement ajouter du texte dans un fichier de notre choix de la même manière qu'un éditeur de texte :
 <code>cat >> fichier << EOF</code>
 Le texte tapé sera ajouté au fichier jusqu'à ce que vous vous écriviez EOF et validiez par entrée.
+==== >/dev/null 2>&1 ====
+Expliquons cette syntaxe très souvent rencontrée et reprise sans explication : <code>commande >/dev/null 2>&1</code>
+Dans l'ordre, est exécuté :
+- commande (dont les stdout et stderr sont redirigées)
+- stdout vers /dev/null (le trou noir)
+- stderr vers stdout ... donc vers /dev/null
+La commande exécutée ne renverra ni sa sortie, ni ses messages d'erreur.
+C'est équivalent à : <code>commande > /dev/null 2 > /dev/null</code>
 {{icons:iconnote.png  }}
@@ Ligne 118: / Ligne 126: @@
 Pour présenter l'outil **cut** nous allons par exemple considérer que nous voulons obtenir le premier mot (correspondant au nom de l'utilisateur) du fichier /etc/passwd.
 Avec cut, vous pouvez supprimer une partie de chaque ligne d'un fichier, soit en indiquant un séparateur (avec l'option -d), soit en indiquant la position (via -c).
 Voyons tout de suite un exemple :
 <code>cut -d: -f1 /etc/passwd</code>
 L'option "-d:" indique que le **séparateur** sera ":", et "-f1" indique que l'on veut récupérer seulement la **première partie**.
 {{:icons:icontip.png  }}
@@ Ligne 133: / Ligne 141: @@
 <code>cut -d" " -f1,5 un_fichier</code>
 Maintenant si l'on travaille en fonction de la position :
 <code>cut -c 1-10 /etc/passwd</code>
@@ Ligne 151: / Ligne 159: @@
 <code>tail -n 5 /var/log/Xorg.0.log</code>
-Pour récupérer le résultat d'une commande, nous allons utiliser l'opérateur | appelé **pipe** (qui signifie tuyau...), son fonctionnement sera expliqué plus bas. Pour récupérer les 5 dernières du résultat de dmesg :
+Pour récupérer le résultat d'une commande, nous allons utiliser l'opérateur | appelé **pipe** (qui signifie tuyau...), son fonctionnement sera expliqué plus bas. Pour récupérer les 5 dernières du résultat dedmesg :
 <code>dmesg | tail -n 5</code>
 L'option -f permet d'afficher, à chaque fois qu'ils ont lieu, les ajouts au fichier, par exemple :
 <code>tail -f /var/log/syslog</code>
@@ Ligne 165: / Ligne 173: @@
 ==== Présentation de "|" ====
 Cet opérateur permet d'envoyer la **sortie standard** d'un programme **vers** **l'entrée standard** d'un second programme, cela permet ainsi l'enchaînement des commandes. Par exemple :
 <code>ls | wc -l</code>
@@ Ligne 171: / Ligne 179: @@
 La sortie standard de "ls" devient l'entrée standard de "wc -l".
 Autres exemples :
 <code>cat fichier | wc -l</code>
@@ Ligne 178: / Ligne 186: @@
 {{:icons:icontip.png  }}
 >sort permet de trier les lignes d'un fichier texte, pour plus d'information "man sort".
 Vous pouvez bien sûr étendre cela à plus de deux programmes :
 <code>cat fichier | wc -l | wc -L</code>
 Vous pouvez aussi utiliser les redirections vues précédemment :
 <code>ls -la > fichier | wc -l</code>
 Dans le cas de "ls -la > fichier" nous pouvons remarquer qu'il n'y a rien sur stdout ou stderr. Pour pallier à cela le programme tee permet de copier l'entrée standard sur la sortie standard et dans un fichier : "ls -la | tee fichier".
 Ainsi on utilisera :
@@ Ligne 201: / Ligne 209: @@
 {{icons:iconnote.png  }}
->Vous pouvez aussi l'utiliser pour mettre un programme en arrière plan : "ed &". Pour reprendre la main sur ce programme il faut utiliser la commande fg.
+Vous pouvez aussi l'utiliser pour mettre un programme en arrière plan : "ed &". Pour reprendre la main sur ce programme il faut utiliser la commande fg.
 ==== Présentation de "&&" ====
 Pour pouvoir bien comprendre ce que fait cet opérateur il faut d'abord parler rapidement des **codes de retour** : quand vous lancez une commande, si elle se termine correctement alors le code de retour est "0", ce qui correspond à un succès, dans le cas contraire le code de retour est différent de 0 (bien entendu les codes de retour différents de 0 ont une signification qui ne sera pas expliquée ici).
 Si par exemple vous rentrez une commande erronée, le code de retour sera différent de 0 : "fgsfdg".
 Pour voir le code de retour de la dernière commande lancée :
 <code>echo $?</code>
 L'opérateur "&&" permet de lancer une commande si et seulement si la première (celle à gauche de l'opérateur) s'est correctement terminée :
 <code>ls && ls /</code>
 Si la commande "ls" se termine correctement alors "ls /" sera exécutée. Un second exemple :
 <code>fdgfdsg && ls</code>
@@ Ligne 223: / Ligne 232: @@
 ==== Présentation de "||" ====
-C'est simplement l'inverse de "&&". La commande à gauche de l'opérateur est éxécutée seulement si le code de retour de la première commande est différent de 0 (donc s'il y a eu une erreur) :
+C'est simplement l'inverse de "&&". La commande à droite de l'opérateur est exécutée seulement si le code de retour de la première commande est différent de 0 (donc s'il y a eu une erreur) :
 <code>fhgfdsjk || ls</code>
@@ Ligne 231: / Ligne 240: @@
 ==== Présentation de ";" ====
-Cet opérateur est équivalent à un retour à la ligne, c'est à dire que "ls; ls -l" éxecutera "ls" dans un premier temps, et une fois la première commande finie, quelque soit le code de retour "ls -l" sera exécuté.
+Cet opérateur est équivalent à un retour à la ligne, c'est à dire que "ls; ls -l" exécutera "ls" dans un premier temps puis, une fois la première commande finie et quel que soit son code de retour, "ls -l" sera exécuté.
 --------------------------------
 ===== Les expressions régulières =====
@@ Ligne 257: / Ligne 267: @@
 L'opérateur **^** indique le **début d'une ligne**.
 On cherche maintenant les mots de 4 caractères commençant et finissant par un t, pour cela on utilise l'opérateur "**.**" qui remplace n'importe quel caractère, il est parfois appelé **wildcard** :
 <code>grep '^t..t$' /tmp/french.utf8</code>
-Pour avoir exactement la ligne contenant "coucou", qui doit donc commencer et fnir par coucou :
+Pour avoir exactement la ligne contenant "coucou", qui doit donc commencer et finir par coucou :
 <code>grep '^coucou$' /tmp/french.utf8</code>
@@ Ligne 267: / Ligne 277: @@
 ==== Les modificateurs ====
-* représente **0 ou plus** caractères. Exemple : d* = 0 ou plus fois "d"
+  * * représente **0 ou plus** caractères. Exemple : d* = 0 ou plus fois "d".
-+ représente **1 ou plus** caractères.
+  * + représente **1 ou plus** caractères.
-? représente **0 ou 1** caractères.
+  * ? représente **0 ou 1** caractère.
 Par exemple si l'on cherche les mots commençant par "t" et finissant par "tant" :
 <code>grep '^t.*tant$' /tmp/french.utf8</code>
@@ Ligne 277: / Ligne 287: @@
 "^t" nous donne les mots commençant par "t", "tant$" prends ceux finissant par "tant" et au milieu on veut 0 ou plus fois n'importe quel caractère, donc le ".".
 On veut maintenant chercher les mots contenant "m" ou "mm", pour cela on va utiliser une expression régulière étendue, il faudra donc utiliser l'option "-E" de grep :
 <code>grep -E 'm{1,2}' /tmp/french.utf8</code>
+Remarque : cette expression donne les mots contenant 1 ou 2 m consécutifs ou non.
 {{:icons:icontip.png  }}
->Les expressions régulières étendues se calculent moins rapidement que celles de base, pour alléger les programmes elles sont regroupées et accesibles via -E.
+>Les expressions régulières étendues se calculent moins rapidement que celles de bases, pour alléger les programmes elles sont regroupées et accessibles via -E.
-Pour être toujours plus fou, on veut maintenant trouver tous les noms finissant par "eux" ou "eut" pour créer des nom de domaines en ".eu". Pour cela on prend les mots qui commencent par n'importe quoi grâce à "^.*", puis qui termine par "x" ou "t" grâce à "[xt]", tout ça avec "eu" au milieu bien sûr :
+Pour être toujours plus fou, on veut maintenant trouver tous les noms finissant par "eux" ou "eut" pour créer des noms de domaines en ".eu". Pour cela on prend les mots qui commencent par n'importe quoi grâce à "^.*", puis qui terminent par "x" ou "t" grâce à "[xt]", tout ça avec "eu" au milieu bien sûr :
 <code>grep '^.*eu[xt]$' /tmp/french.utf8</code>
@@ Ligne 296: / Ligne 308: @@
 <code>apt-cache search games | grep '^[^gk].*' | grep -v '^lib'</code>
-Comme on l'a déjà vu [^gk] retourne ce qui commence par un "g" ou un "k", le "^" devant l'expression **[]** joue le rôle de **négation** : on prends ceux qui ne commencent ni par "g" ni par "k". Puis grâce à ".*" on accepte n'importe quelle fin. Mais cette requette renvoie beaucoup trop de résultats, on effectue donc un deuxième filtrage en éliminant ceux qui commencent par "lib" grâce à l'option -v de grep qui sort les lignes correspondant à la condition.
+Comme on l'a déjà vu [^gk] retourne ce qui commence par un "g" ou un "k", le "^" devant l'expression **[]** joue le rôle de **négation** : on prends ceux qui ne commencent ni par "g" ni par "k". Puis grâce à ".*" on accepte n'importe quelle fin. Mais cette requête renvoie beaucoup trop de résultats, on effectue donc un deuxième filtrage en éliminant ceux qui commencent par "lib" grâce à l'option -v de grep qui enlève les lignes correspondant à la condition.
 Autre exemple instructif :
-<code>ls / | grep -E '^m(edia|root)</code>
+<code>ls / | grep -E '^m(edia|root)'</code>
 Les parenthèses permettent d'isoler un regroupement, et le | correspond à "où". Ceci renvoie donc les fichiers/dossiers à la racine commençant par media ou mroot.
 Alors que :
 <code>ls / | grep -E '^media|root'</code>
-Renvoie les fichiers/dossiers commençant par media ou par root.
+renvoie les fichiers/dossiers commençant par media ou par root.
 ==== Sed ====
 L'utilisation de cet outil se fait comme ceci :
+<code>echo "du texte" | sed 's/(qui)/(parquoi)'</code>
-<code>sed -e 'expression' [-e 'expression] [fichier]</code>
+Ex : Pour remplacer la premiere occurence :
-ou
-<code>echo "du texte" | sed 'une_seule_expression'</code>
-Un premier exemple de substitution :
 <code>echo "jean.durand@gmail.com" | sed 's/@/ at /' | sed 's/\./ pOiNt /'</code>
-Renvoie :
+renvoie :
 <code>jean pOiNt durand at gmail.com</code>
 On remplace le "." par " pOiNt " et le "@" par " at ", on voit ici que l'on a mis "\" devant le ".", le "\" est le caractère d'échappement : le "." est alors considéré comme le caractère ".".
-De même si on veut remplacer "/" par "slash", on utiliserait **s/\//slash/** .
+De même si on veut remplacer "/" par "slash", on utiliserait
+<code>s/\// slash /</code>
 On peut faire la même chose en moins long en utilisant l'autre version de sed:
@@ Ligne 336: / Ligne 345: @@
 <code>echo "jean.durand@gmail.com" | sed -e 's/@/ at /' -e 's/\./ pOiNt /'</code>
-On peut aussi utiliser **s///g** pour remplacer toutes les occurences d'une chaîne de caractères et non seulement la première :
+Pour toute les occurrences ,on peut aussi utiliser :
+<code>s///g</code>
+oû :
 <code>echo "jean.durand@gmail.com" | sed -e 's/@/ at /' -e 's/\./ pOiNt /g'</code>
+qui donnera :
-Remplace les deux occurences du ".".
+<code>jean pOINT durand at gmail pOINT com</code>
 On peut de même l'appliquer sur des fichiers :
@@ Ligne 346: / Ligne 356: @@
 <code>sed 's/kikoo/#kikoolol/g' /etc/config.txt</code>
-Ceci remplace toute occurence de "kikoo" par "#kikoolol" dans le fichier /etc/config.txt mais ne le modifie pas, le résultat est donné sur la sortie standard. Pour modifier le fichier il faut ajouter l'option -i à sed.
+Ceci remplace toute occurrence de "kikoo" par "#kikoolol" dans le fichier /etc/config.txt mais ne le modifie pas, le résultat est donné sur la sortie standard. Pour modifier le fichier il faut ajouter l'option -i à sed.
-On peut enfin spécifier l'occurence à remplacer :
+On peut enfin spécifier l’occurrence à remplacer :
 <code>echo "moimoimoi" | sed 's/moi/toi/3'</code>
 Donne :
 <code>moimoitoi</code>
-Nous allons maintenant voir l'utilisation de variables avec sed ce qui permet d'échanger, de déplacer des parties d'une chaîne de caractères. Exemple :
+<note warning>l'action de l'option /n (n=1,2,3...) et /g sur un fichier n'est pas identique
+en effet
+si /g modifie bien toutes les occurrences du fichier
+/n ne modifie que la première ligne du fichier
+c'est pas clair : un exemple
+le fichier1 contient 3 lignes identiques kikoo
+le fichier2 contient kikookikookikoo et 2 lignes kikoo
+résultat de
+sed -i 's/kikoo/#kikoo/2 :
+le fichier1 n'est pas modifié !
+le fichier 2 devient kikoo#kikookikoo les 2 autres lignes ne sont pas modifiées
+----------------------------------------------------------
+résultat de
+sed -i 's/kikoo/#kikoo/g  : les deux fichiers sont modifiés
+tous les kikoo deviennent #kikoo
+----------------------------------------------------------
+</note>
+Nous allons maintenant voir l'utilisation de variables avec sed ce qui permet d'échanger, de déplacer des parties d'une chaîne de caractères. Exemple :
 <code>echo "jean.durand"  | sed -r 's/(.*)\.(.*)/\2.\1/'</code>
@@ Ligne 364: / Ligne 400: @@
 <code>durand.jean</code>
 Pour terminer nous allons voir un exemple pratique : nous avons de nombreux dossiers contenant de nombreux mp3 nommés selon le schéma Knoklezout_au_taquet-Jamendo-David_TMX.mp3 et on désire avoir le nom d'artiste avant le titre de la chanson tout en enlevant la publicité pour Jamendo.
 Pour cela nous allons utiliser **rename** (qui vient avec perl) et nos chères expressions régulières :
@@ Ligne 372: / Ligne 408: @@
 Le principe est le même qu'avec sed sauf que les variables sont notées $n et non plus \n : on met ce qu'il y a avant "-Jamendo-" dans $1 et ce qu'il y a après (".mp3" non compris) dans $2 puis on formate comme on le veut.
-**rename** renomme les fichiers dans le dossier courrant, pour plus de sécurité on peut utiliser **rename -n 's///'** qui nous affiche les changements sans les effectuer, puis les effectuer une fois que l'on est sûr.
+**rename** renomme les fichiers dans le dossier courant, pour plus de sécurité on peut utiliser ** rename -n 's/'** qui nous affiche les changements sans les effectuer, puis les effectuer une fois que l'on est sûr.
---------------------------
 ===== Liens =====
@@ Ligne 393: / Ligne 425: @@
 {{icons:iconnote.png  }}
 >Les expressions régulières sont utilisés en Python, Perl , Ruby, PHP, Java, C, C++, par des programmes comme sed, awk, grep, vim, rename, ou encore des filtres dans apache et lighttpd ( mod_rewrite, vhosts ...), adblock dans firefox... Cette liste est bien sûr non exhaustive.
 -----------------
-Rédigé par : [[:utilisateurs:qazer]], ptitdav69 et Wazzaaabid
+Rédigé par : [[:utilisateurs:qazer|jeromeg]], ptitdav69 et Wazzaaabid