Une lecture nécessaire pour démarrer : "Unix for the Beginning Mage"

Transparents Série 1 (version PDF), "Présentation du cours et du projet, le mini-projet "un mot sur le web", ... ou (version HTML).

Transparents Série 2 (version PDF) : "Fichiers et systèmes de fichiers"

Transparents Série 3 (HTML) : "Egrep et expressions régulières"

Ci-dessous, la chaîne de traitements à mettre en oeuvre sur une URL :

• Phase 1 : Les différentes étapes d'écriture des scripts de traitement des pages contenant les mots choisis
• Un mini-grep multilingue en Perl
• Mode d'emploi : installation de mini-grep multilingue sous cygwin
• Archives : Parcours par étapes
• "Automatisation des tâches" (étape 1)
• Incise "Introduction à Unix" (Transparents du cours de R.Belmouhoub)
• "Automatisation des tâches" (étape 2)
• "Automatisation des tâches" (étape 3)

• Phase 2 : Des nuages et des arbres de mots "multilingues" sur le web

• un modèle de site (vide) pour le rapport final. On regardera aussi sur ce site : [1] Apprendre le langage HTML ("site réservé aux débutants") et ici : [2] Maîtrisez le langage HTML ("cours pour niveau avancé en HTML") ou encore ici sur le site de l'académie de Créteil
• Pour préparer la création de votre site du projet, quelques adresses pour récupérer des modèles de site web : http://www.free-css-templates.com/ ou http://www.oswd.org/ (il y en a d'autres... accessibles très facilement sur google. Vous pouvez aussi vous inspirer des travaux des étudiants des années passées. Certains sont très beaux). Si vous choisissez un modèle sur les sites mentionnés, il faut ensuite procéder de la manière suivante :
  • Une fois le modèle téléchargé, vous obtenez un fichier qu'il vous faut décompresser pour obtenir un dossier contenant le fichier index.html (la page d'accueil de votre futur site) ainsi que d'autres fichiers utiles pour l'apparence du site : image de fond, feuille de style, etc.
  • C'est ce fichier "index.html" qu'il vous faut ouvrir avec un éditeur de texte type notepad (ou un éditeur HTML type NVU) pour le modifier et y ajouter du contenu propre à votre site.
  • Vous pouvez ensuite dupliquer ce fichier index.html plusieurs fois de manière à obtenir un fichier pour chaque page de votre site, que vous pourrez éditer de la même façon à l'aide de votre éditeur préféré.
  • N'oubliez pas de modifier les liens des menus (attention à l'écriture des chemins des fichiers dans l'écriture des liens... des chemins relatifs a priori), pour permettre à vos visiteurs de passer d'une page à l'autre.
  • Une fois que vous aurez l'impression que tout est opérationnel, vous zippez le dossier contenant votre site et vous l'envoyer à SF (à cette adresse sergefleury@gmail.com).

Les moteurs de recherche multilingues.
Traduction et Veille stratégique multilingue : Supports et communications. On regardera en particulier : M. Jean-Paul PINTE, Institut Catholique de Lille : « La Veille pédagogique : outils et ressources pour les traducteurs »

Outils, liens :
Un nouveau service de traduction en ligne qui permet d'accéder à des millions de textes traduits par d'autres personnes : http://www.linguee.fr/
http://www.2lingual.com/
http://ajaxime.chasen.org : système de saisie en ligne (pratique par exemple quand le japonais n'est pas disponible sur votre machine).
http://blog.imtranslator.com/ : module à installer dans Firefox ou IE.
http://clusty.com/
http://ultralingua.com/online-dictionary/
http://babelplex.com/
http://www.kvisu.com/
http://www.touchgraph.com/
http://www.ujiko.com/v2a/flash.php?langue=fr
http://mapdream.com
http://urfist.univ-lyon1.fr/risi/outils.htm

"Pourquoi programmer (1) et pourquoi Perl (2)" :
(1) "Working with language data is nearly impossible these days without a computer. Data are massaged, analyzed, sorted, and distributed on computers. Various software packages are available for language researchers, but to truly take control of this domain, some amount of programming expertise is essential"
(2) "The Perl programming language may provide an answer. There are a number of reasons why Perl may be an excellent choice. First, Perl was designed for extracting information from text files. This makes it ideal for many of the kinds of tasks language researchers need. Second, there are free Perl implementations for every type of computer. It doesn't matter what kind of operating system you use or computer architecture it's running on. There is a free Perl implementation available. Third, it's free. Again, for any imaginable computer configuration, there is a free Perl implementation. Fourth, it's extremely easy. In fact, it might not be an exaggeration to claim that of the languages that can do the kinds of things language researchers need, Perl may be the easiest to learn. Fifth, Perl is an interpreted language. This means that you can write and run your programs immediately without going through an explicit intermediate stage to convert your program into something that the computer will understand. Sixth, Perl is a natural choice for programming for the web. Finally, Perl is a powerful programming language."
(source : [Hammond 2003])

Le cours sera fait à partir des transparents présentés pendant les différentes séances. Ces transparents sont disponibles ci-dessus et ci-dessous en version flash.

IMPORTANT :
On regardera (très souvent) les fiches "MEMO PERL" disponibles sous iCampus

Fiche-intro.pdf : Introduction
Fiche1.pdf : généralités
Fiche2-generalites.pdf : généralités (suite)
Fiche2.pdf : généralités (suite)
Fiche3-regexp.pdf : les expressions régulières
Fiche4-TableauxEtHachages.pdf : Les tableaux de scalaires et les tables de hashage
Fiche5-references.pdf : les références (tableau de tableaux...)
Fiche6-fichiers.pdf : les entrées/sorties, gestion de fichiers

Un polycopié est aussi disponible (sous iCampus) pour enrichir la présentation du langage Perl.

Ce polycopié est composé de 3 volumes :
1. Le langage de base
2. Une "programmothèque"
3. Présentation détaillée de Perl/tk

Un polycopié complémentaire traite de Perl/XML (utilisation des bibliothèque de la "galaxie XML" avec Perl, voir aussi les slides Perl/XML et les slides Perl/TK).

Perl pour les linguistes : Programmes en Perl pour l'exploitation des données langagières par Ludovic Tanguy et Nabil Hathout aux Editions Hermès, 2007. Un environnement de travail complet ainsi que tous les programmes présentés dans le livre sont disponibles sur ce site : http://perl.linguistes.free.fr/. On regardera en particulier tous les programmes disponibles sur ce site que l'on pourra (ré)utiliser.

Sur le site Developpez.com, un portail Perl avec de très belles ressources : cours en ligne, outils, codes etc... détour indispensable : http://perl.developpez.com/

Tutoriel des expressions rationnelles en Perl : http://perl.enstimac.fr/DocFr/perlretut.html

Eric Wilhelm has written six tutorials - from "Getting Started with Perl" to "Your First GUI DesktopApplication". The six tutorials are :
http://learnperl.scratchcomputing.com/tutorials/getting_started/ : Getting Started with Perl
http://learnperl.scratchcomputing.com/tutorials/csss/ : Control, Structures, Scoping, and Subroutines
http://learnperl.scratchcomputing.com/tutorials/modules/ : Using and Creating Modules
http://learnperl.scratchcomputing.com/tutorials/objects/ : An Introduction to Objects
http://learnperl.scratchcomputing.com/tutorials/configuration/ : Perl/CPAN Configuration Howto
http://learnperl.scratchcomputing.com/tutorials/wxperl/ : Your First GUI Desktop Application

• RSS : Le bouche à oreille électronique

• Introduction à RSS sur le site commentcamarche.com.
• Présentation très complète réalisée par des bibliothécaires de l'université de Montréal : "La première partie se veut une introduction générale à RSS tandis que la seconde partie s'applique à démontrer des exemples d'usages courants et innovateurs de cette technologie par les bibliothèques, usages qui pourraient être amenés à se généraliser dans le futur."
• Support de cours réalisé par Stéphane Cottin pour la formation ADBS : "Utiliser les fils RSS". Les points abordés au cours de cette formation : Définition(s) et usages du format RSS, Comment s'y abonner ? Comment en trouver ? Quels outils ou services pour les exploiter (services en ligne, logiciels indépendants, fonctionnalités des navigateurs). Comment chercher dans des fils RSS ? Comment syndiquer du contenu ?
• Fils RSS et veille. Présentation réalisée par Sylvie Le Bars expliquant comment mettre en pratique les flux RSS dans un processus de veille.
RSS et veille
View more presentations from Sylvie Le Bars

• Transparents : VERSION PDF.

• "Boîte à outils Série 1 : script Perl". Transparents : VERSION PDF ; VERSION HTML (avec liens actifs, version "optimisée" pour Internet Explorer)
• Corpus de Travail et ressources

IMPORTANT: Pour le projet BàO 2016-2017, le corpus de travail sera constitué de l'ensemble des fils RSS disponibles sur le site du journal Le Monde recueillis tous les jours de l'année 2016 à 19h .

On commencera par tester la chaîne de traitement sur un échantillon (15 jours seulement de l'année 2008) correspondant à celui fourni dans les ressources disponibles dans cette archive.

Pour récupérer le corpus complet de l'année 2016 : on trouvera le lien vers cette archive CORPUS-BAO-2016 sur la page iCampus du cours.
On pourra aussi traiter 7 autres années en récupérant au même endroit les archives : CORPUS-BAO-2015, CORPUS-BAO-2014, CORPUS-BAO-2013, CORPUS-BAO-2012, CORPUS-BAO-2011, CORPUS-BAO-2010, CORPUS-BAO-2009.

• Outils et ressources pour démarrer : le corpus de test et les scripts à utiliser pour démarrer sont accessibles dans cette archive.
• REMARQUE : Un poly perl et des ressources autour de Perl seront disponibles sur iCampus...


• Mise en oeuvre de la BAO1 :



Séance de démarrage : Parcours d'une arborescence de fils RSS et extraction des contenus textuels. Application sur le corpus de test (15 jours de 2008)

• Données de départ : le script parcours-arborescence-fichiers.pl fourni dans cette archive et le corpus de test disponible dans la même archive
• Modifier le script fourni pour produire 2 sorties : version TXT brut, version XML. On essaiera d'expliciter les problèmes à résoudre pour la construction de la version XML (cf au regard de la version proposée ici en exemple). On regardera notamment le complément n°1 ci-dessous...
• IMPORTANT : on distinguera pour chaque article, le titre et sa description (résumé). On veillera aussi à ne pas mémoriser plus d'une fois le même article. On nettoiera les données...
• IMPORTANT encore... : en sortie, la BàO1 doit construire 2 types de sortie (XML, TXT). Ces sorties peuvent contenir le traitement de l'ensemble des rubriques (ou une sélection de rubrique). En outre, il est préférable de produire des sorties distinctes pour chaque rubrique : par exemple, le traitement de la rubrique A la Une conduit à 2 fichiers de sortie, celui de la rubrique International aussi etc.
• IMPORTANT encore et encore... : une lecture indispensable "Understanding recursive subroutines - traversing a directory tree"
• Solution provisoire : le script suivant sera à améliorer... A suivre, d'autres méthodes plus judicieuses...





• Complément n°1 : Comment mettre en oeuvre l'extraction des contenus textuels dans les fils RSS ? Objectifs, difficultés, 2 solutions provisoires...
• Présentation au format PDF. Archive contenant le texte de présentation, 2 fils RSS pour illustrer les problèmes à résoudre, des scripts proposant des solutions (quasi définitives mais à adapter au traitement global de l'arborescence à traiter)...
• Complément n°2 : Programme d'extraction des balises DESCRIPTION dans les fils RSS via la bibliothèque Perl XML::RSS
• Présentation au format PDF. Script d'exemple.
• Complément n°2 bis (11/2/2015) : Programme d'extraction des balises DESCRIPTION dans les fils RSS via la bibliothèque Perl XML::RSS
• Script d'exemple.
• Complément n°3 : Programme d'extraction des balises DESCRIPTION dans les fils RSS via les bibliothèques Perl XML::XPath et XML::LibXML
• Présentation XML::XPath. Script d'exemple.
• Présentation XML::LibXML. Script d'exemple.
• Complément n°4 : Solution complète pour l'extraction des contenus textuels dans une arborescence de fils (méthode n°1 : à base de regexp)
• Cette archive contient l'arborescence de test (15 jours de 2008), le script "parcours-arborescence" intégrant la méthode n°1 d'extraction des contenus textuels et les résultats produits. Le script proposé ici peut encore être amélioré...
• On pourra s'inspirer du script proposé ci-dessus pour construire ceux intégrant les autres méthodes (XML::RSS, XML::XPath, XML::LibXML...)
• Exemple de sortie produite : contenu du fichier XML produit par le script précédent accompagné ici d'une feuille de style permettant de la visualiser dans votre navigateur...

• Présentation de la BàO2 :
• Boîte à outils Série 2 :étiquetage". Transparents : VERSION PDF ; VERSION HTML (avec liens actifs, version "optimisée" pour Internet Explorer). Voir aussi infra les slides version flash.
• Lecture complémentaire : "Etiquetage morphosyntaxique"
• Descriptif sommaire du travail à réaliser pour cette étape de travail :
• Dans la série "Boite à Outils" n°2, vous devez produire un étiquetage des données textuelles extraites dans l'arborescence des fils RSS du Monde en suivant les 2 parcours décrits ci-dessous :
  1. Etiquetage via Cordial de la concaténation complète des textes extraits (**) au cours du parcours de l'arborescence : en sortie un fichier texte avec 3 colonnes (forme, lemme, catégorie) ayant l'allure suivante
  2. Etiquetage via Treetagger "au fil de l'eau" i.e. vous devez modifier le(s) script(s) (vu à la BàO1) de parcours de l'arborescence des fils afin d'étiqueter les contenus textuels des fils RSS juste après leur extraction : en sortie, un fichier XML (format "fourni" par le script treetagger2xml à utiliser après l'étiquetage (cf mode d'emploi)) ayant l'allure suivante (dans cette seconde sortie, une feuille de style XSLT est associée au fichier XML)
  3. Etape complémentaire : vous pouvez aussi traiter "la concaténation complète des textes extraits" (**) avec Le Trameur. Ce programme permet de charger et d'étiqueter (avec treetagger) votre fichier de travail. Vous pouvez ensuite réaliser l'extraction de patron (cf mode d'emploi en ligne) que l'on mettra en oeuvre dans la BàO3 aussi.. On présente ici un exemple de sortie produite avec le Trameur sous la forme d'un rapport d'exploration contenant : (1) la liste des séquences de terme associées au patron NOM ADJ, (2) un graphe construit à partir de la liste précédente et réduit aux séquences contenant la forme "crise", données construites à partir du la rubrique POLITIQUE sur l'année 2008.
  4. La BàO1 ayant conduit à mettre en oeuvre plusieurs méthodes pour extraire les contenus textuels, l'intégration de l'étiquetage dans cette BàO2 se fera sur chacune des méthodes mises en oeuvre dans la BàO1.
• Ressources à utiliser :
• Ressources pour treetagger (win32) : Présentation de treetagger (version PDF ou version HTML). Archive complète avec treetagger et présentation. Pour les autres versions de Treetagger (linux, macosx), on ira les chercher sur le site de Treetagger.
• Exemple réduit de résultat à construire pour l'étiquetage avec Treetagger : Afficher le source pour visualiser la codage XML. Le fichier XML est présenté ici avec une feuille de styles XSLT reformatant son contenu pour affichage dans le navigateur.
• Ressources pour Cordial : une présentation au format PDF.
• Compléments :
• Complément n°1 : Solution complète pour l'extraction des contenus textuels dans une arborescence de fils (méthode n°1 : à base de regexp) avec étiquetage avec Treetagger
• Cette archive (mise à jour le 23/03/2011 : avec modif treetagger2xml) contient l'arborescence de test (2 jours de 2008), le script "parcours-arborescence" intégrant la méthode n°1 d'extraction des contenus textuels (via regexp) et leur étiquetage avec treetager et les résultats produits (dans le sous-dossier SORTIE : pour chaque rubrique, on trouve la sortie TXT, XML et XML-treetagger). Le script proposé ici peut encore être amélioré...
• On pourra s'inspirer du script proposé ci-dessus pour construire ceux intégrant les autres méthodes (XML::RSS, XML::XPath, XML::LibXML...)
• On pourra s'inspirer aussi de la feuille de style XSLT associée à l'exemple précédent de résultat (montrant la sortie XML-treetagger) et l'adapter à vos besoins...
• Sorties produites par la BAO2 :
• 2008 : corpus de test : liste-fichiers-bao2-2008.html
• 2013 : corpus complet : liste-fichiers-bao2-2013.html

• "Boîte à outils Série 3 : Introduction Extraction de patrons". Transparents du cours : Version PDF ou version PPT.
• Dans les transparents qui suivent, on présente les 3 étapes à réaliser :
1. Extraction de patrons sur les sorties "brutes" de l'étiquetage (via Cordial) issues de la Boîte à Outils Série 2 via un script perl (détail dans les transparents et liens qui suivent)


• On propose ci-dessous 3 solutions pour cette étape que vous devrez tester et éventuellement mettre à jour pour traiter vos données :
1. Solution 1 : script vu en cours avec JMD
2. Solution 2 : alternative proposée par SF
3. Solution 3 : alternative proposée par Axel Court
4. Solution 4 : alternative proposée par SF sur NOM ADJ (comme dans Le Trameur...). Il faudra faire la même chose pour d'autres patrons...


2. Extraction de patrons sur les sorties au format XML de l'étiquetage (via Treetagger) issues de la Boîte à Outils Série 2 via un script perl (vu avec RB) utilisant la bibliothèque XML::LibXML.


• Ressources complètes pour cette étape (version 2015)


3. Extraction de patrons sur les sorties au format XML de l'étiquetage (via Treetagger) issues de la Boîte à Outils Série 2 via un script perl (vu avec RB) utilisant la bibliothèque XML::XPath. Ressources complètes pour cette étape (version 2012)


• Présentation du script : code commenté
• Prérequis :
• L'arborescence du fichier de tags en entrée du script d'extraction doit être celle produite par le script treetagger2xml.pl, comme dans cet exemple.
• Le nombre de motifs recherchés est laissé au libre choix de l'utilisateur, dans notre fichier exemple nous avons deux motifs : "NOM PRP NOM" et "NOM ADJ".
• Le script stocke les résultats obtenus pour chaque motif dans un fichier différent, par exemple pour le motif "NOM ADJ".
• ARCHIVES : ancienne version de ce script. Ressources complètes pour cette étape : slides et code (cf slides infra)


4. Extraction de patrons sur les sorties au format XML de l'étiquetage (via Treetagger) issues de la Boîte à outils Série 2 : on utilisera ici une requête XPath dans une feuille de styles XSLT pour construire la liste des patrons visés.


• On donne à voir dans un premier temps le résultat attendu (patron : NOM ADJ) construit à partir d'un exemple réduit de résultat construit dans Boîte à outils Série 2 (Afficher le source pour visualiser la codage XML, le fichier XML est présenté ici avec une feuille de styles XSL reformatant son contenu pour affichage dans le navigateur). [Lien direct vers la feuille de styles utilisée pour construire le résultat attendu]
• On donne maintenant à voir le résultat attendu (patron : NOM PRP NOM) construit à partir d'un exemple réduit de résultat construit dans Boîte à outils Série 2 (Afficher le source pour visualiser la codage XML, le fichier XML est présenté ici avec une feuille de styles XSL reformatant son contenu pour affichage dans le navigateur). [Lien direct vers la feuille de styles utilisée pour construire le résultat attendu]
• Autre exemple de sortie : traitement du fil RSS "Présidentielle 2007" proposé sur le site du journal "Le Monde". Période traitée : 20/11/2006-10/02/2007. Extraction du patron NOM ADJ : (1) 20/11/2006-31/12/2006 (2) 01/01/2007-10/02/2007.
• Enfin, une autre solution utilisant une requête XPath 2.0 sur le patron "NOM ADJ" et mise en oeuvre ici dans oXygen :





• "Boîte à outils Série 3 : Extraction de patrons"". Transparents du cours (suite 1 : extraction via script)
• "Boîte à outils Série 3 : Extraction de patrons" Compléments et détails.
• "Boîte à outils Série 3 et 4 : Extraction de patrons" Travail à réaliser avec le TRAMEUR : extraction de patrons et graphes de mots.

• "Boîte à outils Série 4" (via patron2graph) : Le programme patron2graph.exe : le programme, mode d'emploi et fichiers de test. Exemple de sortie :

• "Boîte à outils Série 4" (via pajek) : Des textes aux Graphes : pas à pas (et à la main!).

• "Boîte à outils Série 5 : Information mutuelle" (ressources complètes zippées)
• Information mutuelle : repérer les mots qui s'attirent...
• Information mutuelle dans les pages "Philo" de WikipediaFR

• Service Web sur wikipedia
• Web Services Tutorial
• Web services et bibliothèques

• uclassify : uClassify is a free web service where you can easily create your own text classifiers.
• Open Calais : The OpenCalais Web Service automatically creates rich semantic metadata for the content you submit - in well under a second. Using natural language processing (NLP), machine learning and other methods, Calais analyzes your document and finds the entities within it. But, Calais goes well beyond classic entity identification and returns the facts and events hidden within your text as well.
• DayLife : Daylife API lets you complement your enterprise reporting by giving your editors and developers access to a vast trove of high-quality content as it's published. Create tens of thousands of pages of new content and inventory using a fraction of the resources normally required.
• AlchemyAPI : AlchemyAPI provides content owners and web developers with a rich suite of content analysis and meta-data annotation tools.