Comme Elizia fonctionne sur une base de mots-clés, il y a des fois quand la réponse fournie n'est pas pertinente car il est possible que le sens d'un mot dépende de son usage en contexte. Dans le cas ci-dessous, par exemple, Elizia fait certainement correspondre le mot "heure" à la notion de temporalité mais sa réponse n'est pas appropriée. Il est difficile d'imaginer un humain qui donnerait une telle réponse à cette question car un humain ne prendrait pas en compte uniquement des mots clés mais la phrase entière.

Encore, comme Elizia utilise des mots clés, si un mot ou une expression n'est pas dans sa mémoire, sa réponse n'est pas non plus pertinente comme pour le cas suivant

Elizia ne peut pas comme un humain comprendre le sens d'un mot inconnu à partir du contexte. Elle ne prend en compte que la dénotation d'un mot, alors qu'un humain prendrait en compte la connotation du mot également comme l'exemple ci-dessous illustre. Un mot peut avoir des sens différents en fonction du contexte, mais Elizia ne le sait pas. Elle a également des difficultés avec des négations et des conditions comme les exemples ci-dessous illustrent.



Elizia a pourtant pu répondre aux choses dépourvues de sens auxquelles un humain ne pourrait pas répondre. Ainsi, il semble qu'Elizia répond même aux choses auxquelles des réponses ne sont pas possibles.

Un autre problème que l'on peut constater avec Elizia: on n'a vraiment pas de conversation avec Elizia, vu qu'Elizia ne se souvient pas des phrases précédentes. En fait, c'est comme si Elizia répond à des phrases individuelle. J'ai fait un dialogue avec Elizia où j'ai indiqué un nom différent dans chaque phrase:Elizia a répondu "Enchantée" à chaque présentation.
Les autres chat bots ont également donné des réponses qu'un humain ne donnerait pas. Eliza, la version anglaise, en tant que psychologue rogérien donne des réponses génériques à nos questions alors qu'un humain donnerait plutôt des réponses plus précises. Même si la réponse "I see" convient à cette phrase, Eliza s'en sert quasiment tout le temps.

Voici une réponse donnée par Bearbot qui est difficile à expliquer parce que ce n'est pas "humain". En effet, il semble que Bearbot ne regarde que le verbe "are you" est pas l'expression entière "are you looking forward to?"

Léa a également donné des réponses qu'un humain ne donnerait pas. En fait, Léa est spécialisé pour un domaine et si notre réponse n'a pas lien avec son domaine, elle essaye de nous réorienter ou n'arrive pas à nous répondre.

Alors, même si les chatbots sont amusants, aucun d'entre eux n'a pas encore réussi le test de Turing. Ceci ne veut pas dire qu'ils ne sont pas utiles car des chatbots comme Léa sont utiles mais dans un domaine particulier.
Regarder les chatbots a été une bonne façon de se rendre compte de la complexité du langage humain. A part une connaissance lexicale, morphologique, et syntaxique, une connaissance pragmatique est primordiale. Alors que les chatbots se rendent compte plutôt bien du sens des mots, ils ont des difficultés avec leurs dénotations. Vu que la plupart des chatbots fonctionnent sur une base de mots-clés, il est difficile pour ces agents conversationnels de rendre compte de l'imprévu qui fait partie d'une conversation humaine.