Chatbots
Les chatbots, ou agents conversationnels, sont des programmes capables de dialoguer par écrit avec un être humain. Cela inclue la capacité à analyser l'input fourni par l'humain et à lui donner un sens, à trouver une réponse appropriée et à la formuler en langage naturel. Mais les qualités attribuables à un bot sont diverses. On peut citer les suivantes :
-Le bot doit être capable de réagir correctement à l'input, la réponse doit paraitre naturelle à l'humain, et pas totalement hors-sujet.
-Le bot doit être utile et pertinent dans sa fonction, s'il en a une en dehors d'amuser l'utilisateur. Le bot "Léa" dont la fonction est d'aider l'utilisateur sur le site voyages-sncf en est un bon exemple.
-Le bot doit également être agréable à utiliser. Il peut être amusant, sympathique, distrayant... un bot ayant de la personnalité est toujours plus agréable à utiliser.
Dans le but d'évaluer les compétences nécessaires pour un bon chatbot, nous avons comparé les compétences de cinq d'entre eux, dont les liens sont disponibles en bas de page : Cleverbot, Mitsuku, Léa, Eliza EN et Elizia FR.
| Requête\Bot | Elizia FR | Eliza EN | Léa | Cleverbot | Mitsuku |
| Joyeux Noël/Merry christmas | N'arrêtez-pas ! Vous êtes sur la bonne voie ! | Come, come, elucidate your thoughts. | Noël ? Ce n'est pas pour tout de suite. Que puis-je faire pour vous aider ? | Merry christmas. | Christmas is in December not February. |
| Je vous aime/I love you | Je n'ai rien à voir avec ça. | You're not really talking about me are you ? | ...C'est sérieux? | I love you more. | Thanks I like you a lot too Elise. |
Voilà un exemple de la qualité de réponse des bots face à un input assez classique de la part d'un utilisateur, mais qui ne correspond pas forcément au rôle premier du bot. On constate tout de suite des disparités évidentes. Cleverbot et Mitsuku sont un peu à part, puisqu'ils sont conçus pour l'amusement et sont donc en théorie capables de réagir à n'importe quelle situation. Quand aux trois autres, Léa est celle dont la réponse est la plus pertinente. Elizia FR et Eliza EN ont été conçues pour être des psychologues et donnent des réponses de psychologue, sans remarquer la nature hors-sujet de l'input.
Maintenant, croisons ces données avec les suivantes. Il s'agit de réponses fournies par les robots face à un énoncé qu'ils ne comprenaient pas totalement, voire pas du tout.
Elizia FR : Je voudrais un analyseur de condensation externe -> Qui a dit "il n'est rien de plus précieux que le temps, puisque c'est le prix de l'énternité"?
Eliza EN : Eliza donne toujours des réponses trop générales pour mettre en évidence un cas d'incompréhension.
Léa : Je voudrais un coca. -> Pourriez-vous reformuler votre phrase s'il vous plait ?
Cleverbot : That might be a lot of work -> It will work if you mean it.
Mitsuku : Do you want a party ? -> No thanks but you can send me a donation.
Mis à par Elizia FR, toutes les réponses sont plus ou moins pertinentes. Eliza EN esquive totalement le problème par des réponses toujours trop générales pour être totalement ou pas du tout pertinentes. Léa avoue son incompréhension et évite ainsi toute erreur. Cleverbot et Mitsuku font eux une tentative de réponse plus ou moins réussie. On peut noter que Cleverbot admet n'être pas sûr de sa réponse, et que Mitsuku ne commet qu'une toute petite erreur en considérant "a party" comme un objet tangibe. Il faut dire que la formulation de la question tend à produire une erreur de ce type. Quand à Elizia FR, elle semble avoir réagit à un mot-clef (voudrais?) et a fourni la réponse attendue face à ce mot-clef, sans se soucier du moindre contexte, ce qui fournit une réponse sans aucun rapport avec l'input.
Il est également nécessaire de juger les robots dans l'exercice de leur fonction première pour mesurer pleinement leur potentiel. A ce jeu là, Cleverbot et Mitsuku sont là encore un peu à part, puisqu'ils n'ont pas d'autre fonction que celle de nous divertir. Mitsuku dispose de ce point de vue de quelques outils que Cleverbot n'a pas, comme la capacité à mémoriser des informations sur l'utilisateur (nom, localisation...) ou encore une personnalité bien marquée. Elle a par exemple une forte tendance à confronter ses goûts personnels à ceux de l'utilisateur.
Léa est de ce point de vue très bien conçue, puisqu'elle tente fréquemment de ramener la conversation sur sa fonction : aider le voyageur. Mais répond tout de même de façon appropriée à divers inputs portant sur l'heure, la météo, ses gouts personnels, la drague...
Eliza EN et Elizia FR sont toutes les deux capables de repérer des mots-clef dans l'énoncé de l'utilisateur, et de l'inviter à développer ce thème. C'est leur meilleur outil dans le cadre de leur fonction, et celui qui fonctionne le mieux. Elles sont aussi capables de retourner un input (Je me sens mal -> pourquoi vous sentez-vous mal ?) ce qui, lorsque le contexte s'y prête, est également un excellent moyen de relancer l'utilisateur sur ses propres sujets comme le ferait un psychologue rogérien.
On a pu constater que les critères d'évaluation d'un chatbot sont divers, et qu'il est nécessaire d'aborder le problème sous plusieurs angles, tant les capacités des uns et des autres diffèrent dans différents domaines. Si nous reprenons nos critères de base, on peut considérer Mitsuku et Cleverbot comme les robots les plus divertissants, et Léa comme le meilleur équilibre entre fonction et distraction. Mais aucun d'eux n'est capable de retourner les phrases aussi bien que les Eliz(i)a. Celles-ci étant en revanche bien limitées dans leurs possibilités. A titre personnel mon robot préféré reste Mitsuku, pour sa capacité à mener une conversation suivie et à chercher sur le net des informations lorsque l'utilisateur lui pose une question. Cleverbot est certes très amusant à utiliser, mais ne donne pas une aussi agréable impression de conversation.
Tester les chatbots vous-mêmes : Cleverbot - Mitsuku - Léa - Eliza EN - Elizia FR