1. <<DOC;
  2. Uyên-To DOAN-RABIER
  3. Ruixin HE
  4. Mohamed Sofiane KERROUA
  5.  
  6. BàO - LibXML
  7.  
  8. En utilisant des expressions régulières et le module LibXML, produit en sortie des fichiers contenant les résumés de fils rss
  9. contenus dans des fichiers xml dans une arborescence donnée.
  10.  
  11. usage : bao1_libxml.pl nom_du_répertoire
  12.  
  13. DOC
  14.  
  15. #/usr/bin/perl
  16. #use strict;
  17. #use warnings;
  18. use Unicode::String qw(utf8);
  19. use XML::LibXML;
  20.  
  21. #-----------------------------------------------------------
  22. # Procédure principale
  23. #-----------------------------------------------------------
  24. #Les fichiers sont créés dans un répertoire "resultat"
  25. mkdir(resultat);
  26.  
  27. #-----------------------------------------------------------
  28. # on initialise une variable $rep contenant le flux de sortie
  29. my $rep="$ARGV[0]";
  30. # on s'assure que le nom du répertoire ne se termine pas par un "/"
  31. $rep=~ s/[\/]$//;
  32.  
  33. #-----------------------------------------------------------
  34. # Initialisation d'un tableau de hash évitant la répétition du contenu des fils rss
  35. my %tabcontenu = ();
  36. &parcoursarborescencefichiers($rep);    #recurse!
  37.  
  38. #-----------------------------------------------------------
  39. $cheminrep ="./resultat";
  40. # On ouvre le répertoire "résultat" contenant les fichiers de sortie xml et txt
  41. # On ajoute à chaque fichier xml la balise fermante </file>
  42. # On convertit chaque fichier txt en iso-8859-1 et on le place dans le dossier cordial
  43. opendir(DIRS,$cheminrep) or die "can't open $cheminrep: $!\n";
  44. my @files = readdir(DIRS);
  45. closedir(DIRS);
  46. foreach my $fichier(@files){
  47.     next if $fichier =~ /^\.\.?$/;
  48.             # A chaque fichier xml crée en sortie on ajoute la balise fermante </file>
  49.             if($fichier =~/\.xml$/){
  50.                 open(OUT,">>:encoding(utf-8)","./resultat/$fichier");
  51.                 print OUT "</file>\n";
  52.                 close(OUT);
  53.             }
  54. }
  55.  
  56. exit; # Fin du programme
  57.  
  58. #-----------------------------------------------------------
  59. # Procédure "parcoursarborescencefichiers"
  60. # Parcours une arborescence et traite chaque fichier xml contenant des fils rss
  61. # Donnée : un répértoire passé en paramètre par valeur
  62. # Résultats : - le résultat du traitement au format txt
  63. #             - le résultat du traitement au format xml
  64. #             - le résultat du traitement au format xml avec un étiquetage réalisé tree-tagger
  65. sub parcoursarborescencefichiers {
  66. #-----------------------------------------------------------
  67. # Récupération du répertoire et ouverture du répertoire
  68.     my $path = shift(@_);
  69.     opendir(DIR, $path) or die "can't open $path: $!\n";
  70.     my @files = readdir(DIR);
  71.     closedir(DIR);
  72.    
  73. #-----------------------------------------------------------
  74. # Traitement de chaques fichiers contenu dans le répertoire
  75.     foreach my $file (@files) {
  76.         next if $file =~ /^\.\.?$/;
  77.         $file = $path."/".$file;
  78. # Si on tombe sur un répertoire on relance la procédure
  79.         if (-d $file) {
  80.             &parcoursarborescencefichiers($file);   #recurse!
  81.         }
  82.        
  83. #-----------------------------------------------------------       
  84. # Traitement du fichier
  85.         if (-f $file) {
  86. # Si le fichier est un fichier xml et si ce fichier xml n'est pas un fichier ne contenant pas fils rss on le traite
  87.             if(($file=~/\.xml$/) && ($file!~/\/fil.+\.xml$/) && ($file !~/0,2-3404,1-0,0\.xml$/)){
  88.  
  89. # Initialisation des différentes variables
  90.             my $encodage = "";
  91.             my $encodagesortie="utf-8";
  92.             my $texte="";
  93.            
  94. #-----------------------------------------------------------
  95. # Si le fichier est vide pas de traitement
  96.             if(-z $file){
  97.                 print "$file est vide pas de traitement\n";
  98.             }else{
  99.            
  100. #-----------------------------------------------------------
  101. # Détection de l'encodage du fichier
  102.                 open(FIC,$file);
  103.                 while (my $ligne=<FIC>) {
  104.                     $ligne =~ s/\n//g;
  105.                     if($ligne =~/(iso-8859-1|utf-8)/ig){
  106.                         $encodage = $1;
  107.                     }
  108.                 }
  109.                 close(FIC);
  110.                
  111. #-----------------------------------------------------------
  112. # Détection de la rubrique en mettant le texte sur une ligne, dans le cas ou il n'y a pas de rubrique ou classe le fichier dans les non-classés            
  113.                 open(FILE,"<:encoding($encodage)", $file);
  114.                 my $texte="";
  115.                 while (my $ligne=<FILE>) {
  116.                     $ligne =~ s/\n//g;
  117.                     $ligne =~ s/\r//g;
  118.                     $texte .= $ligne;
  119.                    
  120.                 }
  121.                 close(FILE);
  122.                
  123.                 if($texte =~/<channel><title>([^<]+)<\/title>/ig){
  124.                     $rubrique = $1;
  125.                     $rubrique=~s/é/e/gi;
  126.                     $rubrique=~s/è/e/gi;
  127.                     $rubrique=~s/ê/e/gi;
  128.                     $rubrique=~s/à/a/gi;
  129.                     $rubrique=~ s/Le ?Monde.fr ?://;
  130.                     $rubrique=~s/ ?- ?Le ?Monde\.fr//;
  131.                     $rubrique=~s/es$/e/i;
  132.                     $rubrique=~ s/ //g;
  133.                     $rubrique=uc($rubrique);
  134.                 }
  135.                
  136.                
  137.                 if($rubrique eq ""){
  138.                     $rubrique = "NONCLASSE";
  139.                 }
  140.                
  141. #-----------------------------------------------------------
  142. # Création des fichiers de sortie
  143.                 open(OUT1,">>:encoding(utf-8)","./resultat/$rubrique.txt");
  144.                 open(OUT2,">>:encoding(utf-8)","./resultat/$rubrique.xml");
  145.  
  146. #-----------------------------------------------------------
  147. # Ajout des entêtes et de la balise item dans le fichier de sortie xml
  148.                 if(-z OUT2){
  149.                     print OUT2 "<?xml version=\"1.0\" encoding=\"$encodagesortie\" ?>\n";
  150.                     print OUT2 "<file>\n";
  151.                     print OUT2 "<name>$ARGV[0]</name>\n";
  152.                 }
  153.                 print OUT2 "<items>\n";
  154.  
  155. #-----------------------------------------------------------
  156. # Initialisation de la méthode du module xml::libxml               
  157.                 my $input_file= $file;
  158.                 my $parser = XML::LibXML->new();
  159.                 my $xp = $parser->parse_file($input_file);
  160.  
  161. #-----------------------------------------------------------
  162. # Détection de la date à l'aide des méthodes du module xml::libxml, ajout de la date dans le fichier de sortie xml             
  163.                 my $date = "";
  164.                 foreach my $noeud_date ( $xp->findnodes('//channel')->get_nodelist ) {
  165.                     $date=$noeud_date->findnodes('//pubDate')->string_value;
  166.                     if (uc($encodage) ne "UTF-8") {utf8($date);}
  167.                 }
  168.                 print OUT2 "<date>$date</date>\n";
  169.  
  170. #-----------------------------------------------------------
  171. # Détection du titre et du résumé du fils rss à l'aide des méthodes du module xml::libxml              
  172.                 foreach my $noeud ( $xp->findnodes('//item')->get_nodelist ) {
  173.                     my $titre=$noeud->findnodes('title')->string_value;
  174.                     my $resume=$noeud->findnodes('description')->string_value;
  175.                    
  176. #-----------------------------------------------------------
  177. # Test sur le titre du fil rss, si il est déjà contenu dans le tableau de hash on ne le traite pas                 
  178.                     my $test=$titre;
  179.                     if(!exists $tabcontenu{$test}){
  180.                    
  181. #-----------------------------------------------------------
  182. # Conversion du titre et du résumé en utf-8 si l'encodage du fichier en entrée ne l'est pas
  183.                         if (uc($encodage) ne "UTF-8") {utf8($titre);utf8($resume);}
  184.                        
  185. #-----------------------------------------------------------
  186. # Appel de la fonction "nettoietexte" avec comme paramétres le titre et le résumé
  187.                         $titre=&nettoietexte($titre);
  188.                         $resume=&nettoietexte($resume);
  189.                        
  190. #-----------------------------------------------------------
  191. # On ajoute dans les différents fichiers le titre et le résumé
  192.                         print OUT1 "Titre : $titre \n";
  193.                         print OUT1 "Resume : $resume \n";
  194.                         print OUT2 "<item><title>$titre</title><abstract>$resume</abstract></item>\n";
  195.                          
  196. #-----------------------------------------------------------
  197. # On ajoute dans le tableau de hash le titre du fil rss
  198.                         $tabcontenu{$test}++;
  199.                     }
  200.                 }
  201.  
  202. #-----------------------------------------------------------               
  203. # Fermeture de la balise items dans le fichier xml, fermeture des fichiers
  204.                 print OUT2 "</items>\n";
  205.                 close(OUT1);
  206.                 close(OUT2);
  207.             }
  208.         }
  209.         }
  210.     }
  211. }
  212.  
  213.  
  214. #-----------------------------------------------------------
  215. # Fonction "nettoietexte"
  216. # Nettoie un texte de ses entités xml
  217. # Donnée : une chaîne de caractère contenant des entités xml
  218. # Résultat : la chaîne de caractères nettoyée de ses entités xml
  219. sub nettoietexte {
  220.     my $texte=shift;
  221.     $texte =~ s/&lt;/</g;
  222.     $texte =~ s/&gt;/>/g;
  223.     $texte =~ s/<a href[^>]+>//g;
  224.     $texte =~ s/<img[^>]+>//g;
  225.     $texte =~ s/<\/a>//g;
  226.     $texte =~ s/&#38;#39;/'/g;
  227.     $texte =~ s/&#38;#34;/"/g;
  228.     $texte =~ s/&#233;/é/g;
  229.     $texte =~ s/&#234;/ê/g;
  230.     $texte =~ s/<[^>]+>//g;
  231.     $texte =~ s/&nbsp;/ /g;
  232.     $texte=~s/&#39;/'/g;
  233.     $texte=~s/&#34;/"/g;
  234.     $texte=~s/&amp;#39;/'/g;
  235.     $texte=~s/&amp;#34;/"/g;
  236.     return $texte;
  237. } # Fin "nettoietexte"