ELIZIA

Elizia est un chatbot créé par la Sorbonne Nouvelle (Paris 3) pour les étudiants en TAL (Traitement Automatique des Langues). Il est inspiré d'Eliza, un programme informatique écrit par Joseph Weizenbaum (1966) qui simulait un psuchothérapeute rogérien. Elizia, tout comme Elizia, fonctionne par reconnaissance de mots-clés qui déclenchent des réponses pré-établies dans la base de donnée.

Dans un premier temps, nous avons comparé différents Chatbots créés pour des buts différents les uns des autres pour voir justement dans quelle mesure leur objectif de base influençait leurs réponses et le système de programmation. Par exemple, voici une comparaison entre Elizia et Léa, un chatbot de la SNCF fait pour aiguiller les clients sur le site internet et répondre à leurs questions concernants les voyages en train.

J’ai choisi de poser exactement les mêmes questions aux deux Chatbots, afin qu’une comparaison soit plus facile et leurs différences plus discernables, ce qui a été le cas. En effet, on observe rapidement que les deux Chatbots ont été créés dans deux buts totalement différents. Léa a pour principal objectif de répondre aux questions des internautes et des clients qui consultent le site de la SNCF. Ainsi, à la quatrième question sans aucun rapport avec les horaires de train ou les voyages, Léa ne manque pas d’orienter la conversation vers son centre d’intérêt principal, en nous demandant si l’on veut être redirigé vers un conseiller. Toutefois, Léa parvient à répondre à nos questions hors-sujets avec un certain lien. Lorsqu’elle n’a rien en mémoire pour répondre, Léa alterne entre trois phrases : « Voudriez-vous reformuler votre question s'il vous plaît ? », « Pourriez-vous reformuler votre question s'il vous plaît ? » et «Je ne comprends pas l'objet de votre demande. ». De même, lorsqu’une langue autre que le français est utilisée, Léa parvient à reconnaître l’anglais mais prévient rapidement qu’elle ne le comprend pas pour autant. En parallèle, Elizia attend quelques questions avant de commencer à répondre de manière « authentique ». Aux premières questions, on a l’impression que les réponses ont été choisies selon un mot de la question et non son sens global. On s’aperçoit cependant qu’elle tient compte de l’historique des questions pour affiner ses réponses et les faire, on en a du moins l’impression, de plus en plus personnalisées. On observe vers les sept et huitièmes questions, que les réponses d’Elizia sont de plus en plus pertinentes et personnalisées, tandis que celles de Léa restent toujours dans la même fourchette de pertinence. Si on pose deux fois de suite la même question, les réponses d’Elizia vont évoluer, alors que celles de Léa resteront strictement identiques. Il s’établit avec Elizia un dialogue PEUROIS Céline. Sciences et Humanités. qui semble cohérent, tandis que Léa ne semble pas faire de lien entre les questions posées. Cette différence se distingue dans le temps, au fil des questions. On ne peut pas dire que Léa ou Elizia est plus performante que l’autre, elles ont toutes les deux des systèmes différents. Voici un tableau comparatif des réponses. En rouge est indiqué lorsque la réponse est un peu faible, que ce soit au niveau de la pertinence ou de la personnalisation. En vert, au contraire, sont indiquées les réponses particulièrement pertinentes.

Voici donc le tableau comparatif des deux chatbots.


Il s'est agit ensuite de commencer à perfectionner Elizia en étudiant son fonctionnement et ses failles. Elizia est basée sur un système de mots-clés et de cas dont l'expression est classée selon la "qualité" du cas. Par exemple, les cas les plus fréquents ont une qualité élevée, ceux moins spécialisés une qualité plus basse.

On peut facilement voir les "dessous" d'Elizia pour mieux comprendre son fonctionnement et l'origine de failles ou de réponses mal choisies. Certaines fonctionnalités sont ainsi accessibles dans l'interface d'Elizia:

  • les cas reconnus dans l'historique, (commande « ::: »)
  • une liste en ordre alphabétique de tous les mots qu’Elizia teste contre les mots clés (commande « all »)
  • les lemmes (commande « lemmas : »)
  • les mots (commande « words »)

On les utilise dans la barre où l’on tape les questions habituellement. Par exemple, dans le cas de la commande qui affiche tous les mots clés reconnus :

Une fois cela fait, il s'agit d'améliorer les cas déjà présents, et d'en rajouter de nouveaux pour traiter tous les cas possibles et, si possible justement, éviter des réponses hors-sujets et les contre-sens.

Exemple de cas normal: "mon identité"

Exemple d' amélioration d'un cas normal: "votre vie sentimentale"

On peut aussi rajouter des cas non traités dans cet interface: