Vendredi 20 Octobre 2006 22:34:25

Projection sur un fichier au format Lexico3 d'un fichier de segments répétés issus de Lexico3, de ses hapax et des 2 fichiers d'hapax associés aux 2 parties de textes constituant l'ensemble du texte.

Mode d'emploi du programme (à lancer dans une fenêtre MSDOS ou "Invites de commandes") :
projette-segments-hapax fichier-SR fichier longueur-plancher-segment frequence-plancher-segment fichier-hapax fichier-hapax1 fichier-hapax2

Ci-dessous, les différentes versions avec le résultat de la projection. En rouge les segments et en bleu les hapax.
Ces 2 types d'unités sont aussi encapsulés dans des balises appelées respectivement SR et HAPAX.

On distingue aussi les hapax du texte n°1 (qui ne sont pas hapax du n°2), ceux du texte n°2 (qui ne sont pas hapax du n°1) et les hapax du texte complet.

FICHIER 1

§ <MOIS="200602"><JOUR="20060221"><HEURE="2006022111">
L'affaire serait passée inaperçue sans la vigilance d'un historien
travaillant sur les services de renseignement, Matthew M. Aid,
rapporte le New <HAP1><HAP1-et-2>Yok</HAP1-et-2></HAP1> Times dans son édition du mardi 21 février. En
décembre 2005, M. Aid a remarqué la disparition de douzaine de
documents, qu'il avait copiés des années auparavant, des étagères en
libre accès des Archives nationales.
Mais selon le quotidien américain, l'opération de suppression de
l'accès public a commencé dès 1999, quand la CIA et cinq autres
agences se sont opposées à la publication qu'elles estimaient hâtive
d'informations sensibles ; le président Bill Clinton ayant signé en
1995 une ordre de déclassification. Ce programme secret de reprise en
main s'est accéléré après l'arrivée au pouvoir de George Bush, affirme
le quotidien. Les Archives nationales, elles-mêmes tenues au secret,
ne sont pas autorisées à révéler quelles agences de renseignement sont
derrière cette opération.
VIEUX RÉFLEXES BUREAUCRATIQUES
Selon la réglementation actuelle, les documents du gouvernement sont
censés être déclassifiés au bout de vingt-cinq ans sauf raison
particulière de les garder au secret. La restauration du statut de
documents classés concerne plus de 55 000 pages qui avaient été
précédemment déclassifiées. Ce qui a frappé l'historien Matthew Aid,
c'est la banalité des documents qui ont disparu la plupart concernant
des rapports du département d'Etat sur la guerre de Corée ou le début
de la guerre froide. "Ce qu'ils ont retiré n'aurait jamais dû
<HAP1><HAP1-et-2>disparaîre</HAP1-et-2></HAP1>, affirme M. Aid. La plupart de ces documents sont
inoffensifs, le reste complètement ridicule."
Si le choix de certains documents laisse perplexe, certaines
disparitions, note le New <HAP1>York</HAP1> Times, semblent guidées par de vieux
réflexes bureaucratiques : couvrir des affaires embarrassantes qui ont
pourtant eu lieu il y a plus d'un demi-siècle. Un de ces documents,
par exemple, datant du 12 octobre 1950 et émanant de la CIA, affirme
qu'une <HAP1><HAP1-et-2>intervention</HAP1-et-2></HAP1> <HAP1><HAP1-et-2>chinoise</HAP1-et-2></HAP1> dans la guerre de Corée "n'interviendra
pas en 1950". Le 27 octobre de cette même année, 300 000 soldats
chinois sont <HAP1><HAP1-et-2>entrés</HAP1-et-2></HAP1> en Corée.
La direction des Archives nationales, rapporte le quotidien, ne peut
pas chiffrer précisemment le coût d'un tel programme mais elle
l'estime à plusieurs millions de dollars, dont au moins un million
pour former une équipe et sécuriser une pièce où les agents puissent
travailler.

FICHIER 2

§ <MOIS="200602"><JOUR="20060221"><HEURE="2006022112">
L'affaire serait passée inaperçue sans la vigilance d'un historien
travaillant sur les services de renseignement, Matthew M. Aid,
rapporte le New <HAP1>York</HAP1> Times dans son édition du mardi 21 février. En
décembre 2005, M. Aid a remarqué la disparition des étagères en libre
accès des Archives nationales d'une douzaine de documents, qu'il avait
copiés des années auparavant.
Mais selon le quotidien américain, l'opération de suppression de
l'accès public a commencé dès 1999, quand la CIA et cinq autres
agences se sont opposées à la publication qu'elles estimaient hâtive
d'informations sensibles, le président Bill Clinton ayant signé en
1995 une ordre de déclassification. Ce programme secret de reprise en
main s'est accéléré après l'arrivée au pouvoir de George Bush, affirme
le quotidien. Les Archives nationales, elles-mêmes tenues au secret,
ne sont pas autorisées à révéler quelles agences de renseignement sont
derrière cette opération.
VIEUX RÉFLEXES BUREAUCRATIQUES
Selon la réglementation actuelle, les documents du gouvernement sont
censés être déclassifiés au bout de vingt-cinq ans sauf raison
particulière de les garder au secret. La restauration du statut de
documents classés concerne plus de 55 000 pages qui avaient été
précédemment déclassifiées. Ce qui a frappé l'historien Matthew Aid,
c'est la banalité des documents qui ont disparu la plupart concernant
des rapports du département d'Etat sur la guerre de Corée ou le début
de la guerre froide. "Ce qu'ils ont retiré n'aurait jamais dû
<HAP2><HAP1-et-2>disparaître</HAP1-et-2></HAP2>, affirme M. Aid. La plupart de ces documents sont
inoffensifs, le reste complètement ridicule."
Si le choix de certains documents laisse perplexe, certaines
disparitions, note le New <HAP1>York</HAP1> Times, semblent guidées par de vieux
réflexes bureaucratiques : couvrir des affaires embarrassantes qui ont
pourtant eu lieu il y a plus d'un demi-siècle. Un de ces documents,
par exemple, datant du 12 octobre 1950 et émanant de la CIA, affirme
<HAP2><HAP1-et-2>que</HAP1-et-2></HAP2> la <HAP2><HAP1-et-2>Chine</HAP1-et-2></HAP2>"n'interviendra pas en 1950" dans la guerre de Corée. Le
27 octobre de cette même année, 300 000 soldats chinois <HAP2><HAP1-et-2>entraient</HAP1-et-2></HAP2> en
Corée.
La direction des Archives nationales, rapporte le quotidien, ne peut
pas chiffrer précisemment le coût d'un tel programme, mais elle
l'estime à plusieurs millions de dollars, dont au moins un million
pour former une équipe et sécuriser une pièce où les agents puissent
travailler.