Barrage par CJ & AB

Réalisation par AB

Le coeur du traitement

Menu

Quatre commandes shell essentielles nous permettent de réaliser les traitements de données nécessaires à la construction de notre tableau. Il s'agit de wget, lynx, egrep et sed.
Mais comment fonctionnent-elles?

Wget: le téléchargement de pages web

On utilise cette commande pour télécharger les pages correspondantes à une ou plusieurs URLs et les enregistrer sur la machine locale.

Cette opération pourrait bien sûr se faire sous Windows avec la fonction Enregistrer sous... dans le menu Fichier de notre navigateur préféré. Par contre elle ne pourrait pas être automatisée pour une liste d'URLs. C'est pourquoi, vu le grand nombre de pages à aspirer, on a recours à wget.

Les options de wget en font un outil très puissant.
Par exemple :

• -i indique que l'entrée sera non pas une seule url, mais un fichier de texte contenant une liste d'URLs
• -O suivi d'un nom de fichier sert à choisir le nom de la page aspirée.

D'autres options de base de wget servent à gérer la récursivité du téléchargement :

• -m permet d'étendre le téléchargement aux liens d'une page et à ses sous-sites pour en créer un "miroir" local,
• -l indique le niveau de profondeur maximale,
• -D ignore les liens externes,
• -np ne remonte pas au niveau supérieur.

Notre objectif étant de récupérer uniquement les pages contenant le mot barrage, nous nous limiterons ici à un téléchargement "de surface".

Comme nous travaillons sur des listes d'URLs assez longues, il vaudrait mieux prévoir la durée maximale de téléchargement d'une page, pour éviter qu'un problème de connexion n'empêche la bonne exécution du programme. En effet il existe dans wget une série d'options liées à la durée de téléchargement. Entre autres:

• -N active l'estampille temporelle,
• --dns-timeout=60 limite le temps de recherche d'une url à 60 secondes,
• --connect-timeout=60 limite le temps de connexion à un serveur à 60 secondes.

Et pour finir, avec les options --user=nomUtilisateur et --password=motDePasse il nous est possible de télécharger des pages protégées (comme celles du corpus Le Monde, par exemple) en spécifiant le nom d'utilisateur et le mot de passe nécessaires à y accéder.

Syntaxe:

wget -N --user=$user --password=$pass --dns-timeout=60 
--connect-timeout=60 -O ./nomPageAspiree.html url 

Emploi dans le script fait-tableau.sh:

wget -N --dns-timeout=60 --connect-timeout=60 -O ../PAGES-ASPIREES/$fic-$i.html $nom

Pour en savoir plus sur la commande wget cliquer ici.

Lynx: un navigateur web en ligne de commande

A première vue, ce navigateur hypertexte, qui fonctionne uniquement en mode texte et exclut donc l'emploi de la souris, n'apporte rien de plus par rapport à un navigateur classique. L'affichage de la page peut paraître désagréable et la navigation difficile. L'intérêt de lynx se trouve au contraire dans sa capacité à "mettre à plat" la structure d'un site, ce qui permet de manipuler facilement son contenu.

Dans notre cas notamment, nous nous en servirons pour créer une version texte simple de nos pages aspirées, en utilisant l'option -dump suivie d'une rédirection de flot de sortie pointant vers un fichier de texte.

Syntaxe:

lynx -dump ./nomPageAspiree.html > ./nomPageDumpee.txt

Emploi dans le script:

lynx -dump $nom > ../DUMP-TEXT/$fic-$i.txt

Pour en savoir plus sur lynx cliquer ici.

Egrep: le filtrage de texte

Cette commande signifie littéralement: « rechercher globalement (Global) les correspondances avec l'expression régulière (Regular Expression), et imprimer (Print) les lignes dans lesquelles elle correspond ». Elle sert donc à filtrer un texte, c.-à-d. à sélectionner les lignes d’un texte où une chaîne de caractères donnée entre guillemets (dite motif) apparaît.

Nous allons donc exécuter un filtrage sur chaque page dumpée pour en extraire les contextes du mot barrage. Les données sortantes peuvent soit être stockées dans un fichier de texte, soit affectées à une variable qui nous permettra d'afficher le contexte dans une colonne du tableau (voir suite).

Syntaxe:

egrep "motif" ./nomFichier.txt

Emploi dans le script:

egrep -i -A 2 -B 2 "barrage" ./DUMP-TEXT/$i.txt

Options:
-i : indépendamment de la casse
-A n (after) –B n (before): conserve n lignes après et avant la ligne contenant le motif.

Pour en savoir plus sur la commande egrep cliquer ici.

Sed: le remplacement d'expressions régulières

La commande sed avec option -s sert à remplacer une chaîne de caractères donnée (ou plus en géneral une expression régulière) par une autre chaîne de caractères. L'option -g spécifie que le remplacement doit être effectué pour toutes les occurrences de la chaîne.

Syntaxe:

sed 's/chaine1/chaine2/g'

Cette dernière commande n'est pas à priori nécessaire à la création de notre tableau. Nous l'avons quand-même employée deux fois pour améliorer le script.

1) Dans la phase de lecture du répertoire contenant les listes d'URLs, sed nous permet d'éliminer les extensions des fichiers de texte. On obtient de cette façon une liste de mots clés renvoyant aux différents sens du mot barrage. Ces mots serviront à nommer les fichiers des pages aspirées et des pages dumpées correspondantes.

Emploi dans le script:

ls $rep | sed 's/\.txt//g' > ./dir.txt

2) Dans la phase de filtrage on emploie sed pour entourer chaque mot barrage par des balises html de mise en évidence, et aussi pour remplacer chaque fin de ligne par une balise de retour à la ligne, ce qui rend la colonne des contextes bien plus lisible.

Emploi dans le script:

sed 's/[bB][aA][rR][rR][aA][gG][eE]/\\barrage\<\/font\>\<\/strong\>/g'

sed 's/$/\<\br\/\>/g'

echo "bonjour"

bonjour

echo "<html><head><title>Tableau de liens</title></head><body>
<table border=1>
<th>Liens vers la page WEB</th><th>Pages aspirées</th><th>Pages
dumpées</th><th>Contexte</th>" > ../JOURNAL/tablo-$fic.html;
#code de début de tableau et titre du tableau

echo "<tr><td width=15%><A href="$nom">page web $i</A></td>
<td width=15%><a href="../PAGES-ASPIREES/$fic-$i.html">page aspirée $i</a></td>
<td width=15%><a href="../DUMP-TEXT/$fic-$i.txt>page dumpée">page dumpée $i</a></td> 
<td width=55%><p>$contexte</p></td></tr>" >> ../JOURNAL/tablo-$fic.html; 

echo "</table></body></html>" >> ../JOURNAL/$fic-tablo.html;

# crée un fichier txt contenant la liste des
# fichiers-listes d'URLs (noms sans extension)
ls $rep | sed 's/\.txt//g' > ./dir.txt

for fic in `cat ../dir.txt`

for nom in `cat $fic.txt`