Les sens du mot "barrage" sur le Web

Dans ce journal, nous vous présentons une description détaillée des activités menées, des résultats obtenus et des observations effectuées.

La deuxième séance de travail a été consacrée au choix des données à récupérer sur le Web. À partir d'une liste de moteurs de recherche prédéfinie, nous avons choisi deux moteurs généralistes : Google et Mozbot. Sur Google, la requête a été limitée aux pages francophones pour établir l'équivalence avec Mozbot qui est par défaut un moteur francophone.

Avant de fixer notre choix sur ces deux moteurs, nous avions testé le Google scholar afin de vérifier la couverture par ce moteur du champ sémantique de "barrage" dans les pages françaises. La requête n'ayant donné aucun résultat en français, nous avons posé le cadre de notre étude sur Google et Mozbot. Cette démarche devait nous permettre, en dehors de l'objectif proprement linguistique, d'observer et comparer le comportement des deux moteurs, jugés presque identiques, face à la même requête.

Tout d'abord nous avons comparé Google et Mozbot en termes de quantité des résultats. Avec le moteur de recherche Google, 2 500 000 résultats ont été obtenus avec la recherche du mot "barrage" (84 pages de résultats affichées pour 847 URL ; les autres, non affichées, définies comme "similaires"). Avec celui de Mozbot, 204 000 résultats ont été obtenus (88 pages de résultats affichées pour 843 URL). Nous observons que le nombre de résultats est sensiblement différent d'un moteur à l'autre.

En termes de qualité, il convient de noter que les résultats sont pré-traités par les moteurs de recherche qui ignorent certaines pages qu'ils considérent comme non pertinentes. Au vu du nombre de pages Web trouvées sur Google (847), nous pouvons supposer qu'il y a plus de résultats non pertinents ou de doublons que sur Mozbot.

Lors de l'étape suivante, nous avons abordé la constitution de notre corpus de travail proprement dit. Dans le cadre de l'exercice, ce corpus devait regrouper 50 URLs ou plus, contenant des illustrations pertinentes des différents usages du mot "barrage". Afin de mieux profiter du travail en binome, nous avons choisi chacune un moteur de recherche et décidé de procéder par échantillonnage sur les pages de résultats de départ. La méthode consistait à parcourir toutes les 10 pages de résultats (pour une économie de temps et de ressources) et d'y relever les URLs des sites Web pertinents. Les URLs retenues ont été copiées dans des fichiers texte que nous avons classés et nommés par sens. La recherche par échantillons sur les deux moteurs a permis de comparer les résultats des deux moteurs, et de tenter une couverture plus large des différents sens du "barrage".

Dans un premier temps, nous avons fait un premier échantillonnage des différents sens de "barrage" (les mieux couverts et les plus spécifiques) en nous référant à la fiche "barrage" du TLFI (donnée en référence). Dans un second temps, nous avons essayé d'étendre notre échantillonnage vers des sens plus spécifiques en combinant sur les mêmes moteurs généralistes le mot "barrage" avec des mots clés ("par sens"). L'objectif de notre démarche était de vérifier en quelle mesure les sens attestés dans TLFI étaient représentés sur le Web. Nos requêtes sur le Web n'ont pas donné de résultats illustrant l'expression "droit de barrage".

Pour plus de clarté, nous avons regroupé les URLs dans des fichiers texte portant le nom du sens ou plutôt du domaine d'emploi du mot "barrage" (répertoire Url, les fichiers .txt contenus dans les sous-dossiers du même nom) :

- barrage : comporte les URLs des pages web qui concernent les barrages hydrauliques ainsi que les barrages naturels.
- sport : les URLs réfèrent au sens du mot "barrage" dans le domaine du sport, y compris le cas particulier de l'expression "match de barrage".
- politique : illustre les sens du mot "barrage" ("tir de barrage" et "faire barrage") dans le domaine politique.
- social : dans ce fichier, une URL où le mot "barrage" est employé dans le contexte d'un mouvement social.
- militaire : les URLs retenues se réfèrent à l'emploi de "barrage" dans le domaine militaire en général et à "tir de barrage" dans ce domaine spécifique.
- routier : quelques exemples sur le Web de l'emploi du mot "barrage" dans le domaine de la circulation routière.
- psychologie : présente le mot "barrage" dans le domaine de la psychologie.
- obstacle : sous cette rubrique nous regroupons quelques emlpois isolés du mot "barrage" qui font référence à la notion d'obstacle.

Lors des premiers essais, nous avons rencontré certains problèmes qui ont été résolus grâce à l'utilisation d'options avec la commande Wget. Le premier problème constaté est que la commande Wget ne permet pas la récupération des images contenues dans les pages Web. Il est vrai que dans le cadre de notre projet il n'est pas pertinent de récupèrer ces liens, puisque l'objet de l'étude concerne le contenu textuel des pages Web, mais pour une présentation esthétique il convient de récupèrer ces liens.

Une deuxième difficulté est apparue lors des essais préalables. Ayant choisi un site composé de frames (en l'occurrence celui de l'Ilpga), nous avons essayé de l'aspirer. Pour récuperer la page d'accueil (la page contenant les frames), il nous fallait télécharger les pages qui lui étaient associées. Pour cela, l'option -p s'est avérée utile. Cette option permet d'aspirer la page principale en question ainsi que toutes les pages ou documents qui lui sont associés. Le problème est que lorsque la page Web ne contient pas de frames, avec cette option nous aspirons une trop grande quantité de pages non pertinentes. Après avoir constaté la difficulté et envisagé une solution éventuelle, nous nous sommes rendu compte qu'aucune page dans nos URLs n'était composée de frames. Ainsi, nous n'avons pas eu besoin de récourir à cette option.

Le troisième problème qui a attiré notre attention est le fait que certaines pages aspirées lors des essais ne se terminaient pas par l'extension htm ou html. Ce problème a été résolu par l'insertion de l'option -E.

La commande Wget permet d'aspirer des pages Web isolées dont l'adresse est notée en argument. Comme nous avions copié les URLs dans des fichiers texte (cf. paragraphe 2 ci-dessus) et afin d'automatiser les tâches, nous avons utilisé l'option -i permettant de lire les URLs contenues dans un fichier, suivie du nom du fichier au format texte. L'extension du fichier lu par la commande doit être .txt (texte seul) afin de permettre l'utilisation de cette option. En effet, l'extension .doc (de Word) ne permet pas à l'option -i de le lire.

Explication de la commande :

Ouvrir Cygwin, rentrer la commande Wget avec les options nécessaires.
Pour chaque fichier texte du répertoire url  nous avons écrit la commande suivante :

wget -E -k -i adresse/nomdufichierurls.txt -o adresse/erreur.txt -P adresse/nomdurepertoire

-E : ajoute l'extension .html aux pages aspirées qui ne finissent pas par html ou htm.
-k : permet l'enregistrement des liens de documents (tels que les images) que contiennent les pages aspirées et convertit ces liens pour qu'ils soient consultables en local.
-i suivi du nom du fichier ayant l'extension .txt : permet de lire les URLs contenues dans un fichier. Attention, certaines extensions comme .doc ne fonctionnent pas avec cette option.
-o suivi du nom du fichier ayant l'extension .txt : enregistre tous les messages dans un fichier de sortie (au lieu de l'écran). Cette option nous permettra de pouvoir garder dans un fichier de sortie les erreurs qui ont eu lieu lors de l'exécution de la commande Wget.
-P suivi de l'adresse du répertoire : permet d'enregistrer les pages aspirées dans un répertoire précis.

Le formatage des données a été effectué à l'aide de la commande Lynx avec l'option -dump dans l'environnement Cygwin. L'objectif de notre exercice étant d'automatiser au maximum les tâches, cette commande devait se faire à travers un programme shell (cf. le programme).

Le script shell devait permettre de lire les pages html contenues dans les différents dossiers du répertoire Wget et d'enregistrer ces pages "dumpées" dans un nouveau répertoire - dump, organisé en sous-répertoires reprenant le nom des dossiers html d'origine.

À noter, que lors du premier lancement du programme shell, certaines pages n'ont pas pu être "dumpées" : sur les 65 pages aspirées par Wget, 21 pages n'ont pas été "dumpées". Lynx disait qu'il ne pouvait accéder à la page. Quelques jours plus tard, sans rien modifier à notre programme, nous avons pu "dumper" les 65 pages aspirées sans renconter la moindre difficulté.