BàO #2 [ Étiquetage ]

Objectif

Le but de cette deuxième boîte à outils est d'utiliser des étiqueteurs morpho-syntaxiques pour obtenir une version étiquetée du contenu textuel des fils RSS, où chaque mot (token) est associé à une catégorie syntaxique et un lemme.

Pour cela, nous avons utilisé deux outils :

• TreeTagger, piloté via un interprète de commandes ;
• Cordial, un logiciel payant avec interface graphique qui intègre entre autres un étiqueteur.

La dernière étape consiste à convertir les fichiers étiquetés en XML, pour une meilleure représentation et visualisation des données.

Étiquetage avec TreeTagger

TreeTagger est un programme d'étiquetage morpho-syntaxique développé par l'Université de Stuttgart, qui est largement utilisé dans la recherche. Il possède en effet de nombreux points forts : il est gratuit, dispose de ressources linguistiques importantes permettant de l'utiliser sur de nombreuses langues, et il peut être lancé via un interprète de commandes (et peut donc être intégré à nos scripts). Il se base sur une approche probabiliste pour déterminer les catégories morpho-syntaxiques des tokens d'un texte (et non sur des règles), ce qui peut par contre dégrader sa précision (par rapport à Cordial, par exemple).

Le dossier "TreeTagger" fourni avec les scripts "Parcours-fils" (disponibles ici en version Grep et ici en version XMLRSS) contient un exécutable pour Windows, un fichier de paramètres pour le français et un tokéniseur. Pour l'installation, nous avons cependant suivi les étapes indiquées sur cette page : elles permettent d'exécuter TreeTagger sans faire référence explicitement aux fichiers. Pour plus de détails, vous pouvez vous rapporter à la section FAQ de ce site (deuxième onglet de la page d'accueil).

Attention ! Il semblerait que le programme ne puisse pas tourner sur les versions 64 bits des systèmes d'exploitation Windows (pas de problème sur Mac).

Pour exécuter le programme, nous avons seulement dû rajouter quelques lignes à la fin des scripts de parcours des fils RSS (cf. BàO #1) pour définir une procédure qui appelle TreeTagger (procédure lancée par le script à la toute fin, une fois les sorties crées) :

On obtient en sortie un fichier (au format .cnr) comportant un mot par ligne, où chaque ligne suit le patron token [tabulation] lemme [tabulation] catégorie (différent de celui de TreeTagger).

Exemple de sortie : rubrique "A La Une"

Formatage en XML

Pour cette dernière étape, nous avons adapté le script treetagger2xml.pl (fourni au début du cours) pour qu'il génère un fichier XML pour la sortie Cordial et la sortie TreeTagger, ainsi qu'un fichier général alignant les deux étiquetages.

Ce nouveau script, visible ici, prend en entrée les résultats de l'étiquetage de TreeTagger et Cordial. La syntaxe à employer est la suivante :

Le script détermine s'il a affaire à un fichier TreeTagger ou Cordial en fonction de l'extension : il faut donc bien veiller à ce que le fichier de Cordial soit au format .cnr, et non .txt. Les balises et mots-clés intégrées au moment de l'exécution du script principal de la BàO #1 permettent de se repérer à l'intérieur des fichiers, et de remplir les valeurs des attributs des balises XML des fichiers de sortie. Les fichiers XML produits ont la forme

pour la version TreeTagger et Cordial, et

pour le fichier général regroupant les deux étiquetages.

Dans tous les cas, chaque mot étiqueté est présenté sous la forme

(le tout sur une seule ligne, pour éviter des soucis de parcours par le module perl XML::XPath dans la BàO #3). Le script lit donc chaque ligne étiquetée et y identifie le lemme, la forme et la catégorie en fonction du programme utilisé (déterminé à partir de l'extension), et les replace dans l'ordre indiqué ci-dessus.

En pratique, le script parcourt d'abord le fichier TreeTagger. Lorsqu'il tombe sur une balise <BLOC> signalant le début d'un bloc (titre ou résumé), il passe à Cordial. Lorsqu'il rencontre le mot-clé "BLOCDEPHRASE" dans le fichier Cordial, il repasse à TreeTagger : ce va-et-vient permet de faire en sorte que les deux fichiers soient en permanence parcourus en parallèle. Chaque repérage de ces indices déclenche également l'ouverture et la fermeture des balises <PHRASE> et <VERSION> dans le document XML général. Les autres balises dispersées dans l'étiquetage TreeTagger repèrent les noms de fichiers, et permettent de passer à un nouveau bloc <FICHIER> dans les sorties XML. La toute première ligne contient également une balise d'où est extrait le nom de la rubrique. Comme Cordial décompose les balises afin d'étiqueter leur contenu, nous avons opté pour des mots-clés afin de repérer les différentes parties. Ils n'ont pas besoin de mentionner le nom des fichiers, puisque les balises de la version TreeTagger le font déjà : les documents étant alignés, on se sert donc des informations d'un seul des deux.

Enfin, pour permettre une visualisation plus agréable des sorties XML, nous avons ajouté des feuilles de styles XSLT. Du fait du jeu de balises des fichiers XML et de la rigueur de l'alignement, il est très facile d'obtenir des tableaux présentant côte-à-côte l'étiquetage d'un bloc par TreeTagger et par Cordial.

Le seul problème rencontré est dû à la taille des documents XML générés : pas moins de 30 Mo pour les versions "mono-étiquetage" et 60 Mo pour le fichier général, pour une seule rubrique sur toute l'année 2009. Le chargement des données dans un navigateur ou un éditeur de texte est de ce fait relativement long, surtout lorsqu'une feuille de style y est associée.