La célèbre agence d’UX américaine dresse un verdict sans appel des assistants vocaux

Les assistants vocaux sont un peu la hype de l’année depuis que Amazon a lancé sur le marché français Echo, son fameux assistant vocal. Pour rappel, le géant américain a déjà vendu au moins 20 millions d’unité de son enceinte intelligente aux Etats-Unis. Fera-t-il aussi bien en France ?

Mais Norman Nielsen Group, sans doute la plus célèbre agence d’UX au monde, vient de jeter un pavé dans la mare en dévoilant une étude sur l’utilisabilité de ces assistants. Et le résultat est sans appel : elle est très mauvaise ! Tous leurs tests  ont montré que ces appareils, faisant une utilisation extensive de l’IA, peinent à remplir leur rôle, même pour comprendre et exécuter de simples tâches. Quand à avoir « une véritable conversation » avec eux, il ne faut même pas y penser.

Sommes-nous en face d’une mystification des GAFA ?

Alors, sommes-nous en face d’une véritable mystification des GAFA ? Et y a-t-il tout à jeter dans ces assistants vocaux ? Ou bien n’en sommes-nous qu’à la préhistoire de ce qui sera dans quelques années notre manière principale d’interagir avec les machines ?

Pour répondre à cette question, NNG a réalisé un test utilisateur sur 17 personnes aux Etats-Unis. Cela peut sembler peu, mais en ergonomie, cela est largement suffisant pour porter un jugement global sur une interface.

Pour mieux évaluer les choses, NNG a décomposé les critères d’évaluation des assistants en 5 dimensions, chacune d’entre elles, hormis pour la première, n’a fourni de résultats satisfaisant, même pas à un faible niveau, faisant dire à NNG que nous en sommes retourné à « l’ère sombre des années 70 », aube de la microinformatique. Ce qui n’est pas bien gentil.

Les différentes dimensions de l’UX vocale et les potentialités d’amélioration

Des utilisateurs bluffés, mais qui n’attendent pas de miracles

Malgré ce sombre tableau, les usages, même s’ils restent très limités, selon NNG, demeurent tout à fait possibles. En réalité, d’ailleurs, les utilisateurs des assistants, même s’ils ont cru aux promesses des constructeurs, n’attendent pas des miracles et savent ou apprennent très vite qu’ils n’arriveront pas à avoir de réels dialogues avec la machine, ni même d’interactions aussi évoluées qu’on peut en avoir avec un écran, une souris et un clavier. La plupart des échanges se font sous la forme de phrase/question <-> réponse simple. Seul un domaine échappe à ce relatif désastre : la dictée. Très appréciée et relativement performante dans de nombreux cas.

Parler aux assistants : fastidieux, mais possible

Parler aux assistants est sans doute le seul point de satisfaction relevé dans l’étude de NNG, même si très rapidement, les utilisateurs prennent conscience qu’il va leur être impossible de s’adresser à eux comme des êtres humains. Faire une phrase complexe n’aboutit à rien, et très rapidement, ils apprennent à prononcer les phrases lentement, sans émotions et en les découpant en petits lots d’informations afin que la machine puisse les digérer.

Recevoir de l’information de la part des assistants : très compliqué

C’est dans la capacité à restituer de l’information que les assistants s’avèrent très mauvais.

Premier point : les utilisateurs se plaignent de ce que les assistants parlent trop vite et renvoient souvent beaucoup trop d’informations pour la mémoire humaine. Phénomène aggravé par le fait qu’il est difficile d’arrêter un assistant dans sa logorrhée. C’est le cas, trop souvent, lorsque l’assistant fait une énumération. Le résultat est souvent irritant et impatiente l’utilisateur.

Deuxième point : lorsque l’assistant n’est pas équipé d’un écran, les résultats restent très limités. En toute logique, les utilisateurs d’assistants attendent de ne pouvoir échanger avec lui qu’en vocal.  Mais les cas sont nombreux où la réponse vocale est très nettement inférieure à la réponse visuelle : pour une liste de produit, une énumération, ou même une phrase complexe. Certains assistants (ou téléphones) permettent donc d’afficher une réponse sur un écran, mais souvent le résultat est déceptif. L’utilisateur ne souhaite pas recourir à l’écran. Il n’a pas envie de scroller dans une liste. Et pire, les listes, comme c’est souvent le cas sur Siri, font sortir l’utilisateur de l’application où il était.

Troisième point : l’incapacité des assistants à donner des réponses pertinentes ou simplement bonnes à l’utilisateur. Le nombre de réponses « à côté » semble faramineux à tel point que les utilisateurs prennent comme un miracle une réponse correcte ou approchante (« It felt like magic »).

Quatrième point : la confiance manque. Le fait que les assistants peinent à donner des informations claires tendent à rendre méfiants les utilisateurs. NNG donne plusieurs exemples de réponses, considérées comme correctes par l’assistant, mais que l’utilisateur voudra vérifier tout de même. Dans ce cas, tout l’avantage de l’assistant vocal est perdu. Comme l’affirme un des répondants de l’étude : « I don’t trust Siri will give me an answer that is good for me. » (En gros : je n’ai pas confiance dans les réponses de Siri). Ce qu’une utilisation courante de Siri peut assez facilement confirmer.

Enfin dernier point, les assistants vocaux ne sont vraiment pas doués pour le shopping. Leur principal défaut étant de ne pouvoir permettre facilement la comparaison entre produits.

Nous avons déjà vu que l’énumération de liste était un problème, qui est encore plus pregnant lorsqu’un utilisateur fait une recherche produit (et les tests que nous, Wexperience, menons en ce moment en France tendent à le confirmer). Cette première constatation vient renforcer le fait que la comparaison de produit est difficile sans pouvoir visualiser l’information. Imaginez un tableau de caractéristiques : même un être humain essayant de vous le décrire vous barberait rapidement et votre cerveau même serait incapable de retenir toute l’information qu’il vous envoie. C’est exactement la même chose pour les assistants vocaux.

L’article de NNG cite les nombreux cas où les utilisateurs devaient écouter les listes produits sans pouvoir les interrompre. Où il n’était pas possible de revenir en arrière ou d’aller en avant dans une liste. Où l’assistant leur demandait de retenir, comme un vieux serveur vocal d’antan, des numéros d’items dans une liste pour pouvoir les retrouver ensuite.

Pire, tous les testeurs de l’étude ont fini par admettre que le shopping sans écran était une mauvaise idée et que les assistants vocaux (même avec un écran, comme nous même à Wexperience, l’avons tenté) n’étaient pas fait pour ça.

Et les skills dans tout ça ?

A l’instar des app stores, Google Home et Amazon Echo offrent tous deux un ecosystème qui permet à des tierces parties de développer des applications pour les enceintes intelligentes. Appelées « Skills » chez Amazon et « Action » chez Google, ces programment donnent aux entreprises le moyen (comme c’est déjà le cas en France) de donner accès à leurs services et à leurs offres via les assistants vocaux.

Le fait même de trouver et déclencher une application tierce est un problème

Hélas, d’après NNG, le résultat, à l’heure actuelle, même pour Amazon qui a pourtant déjà plus de 2 ans d’expérience dans le domaine, est catastrophique. Les skills ou actions sont la plupart du temps très difficiles à prendre en main par les utilisateurs.

Ainsi, Amazon Echo aurait deux problèmes majeurs :

1. Les utilisateurs doivent apprendre à mémoriser le nom précis d’un skill pour l’utiliser, ce dont il ne sont pas capables la plupart du temps (imaginez devoir retenir le nom de toutes les apps installées sur votre smartphone)
2. Les utilisateurs doivent retenir la « phrase magique » pour déclencher le skill, ce que les utilisateurs n’arrivent pas à faire non plus.

Google Home n’est pas épargné non plus par ce travers, mais en pire, selon NNG. Les actions n’arrivent pas à être déclenchées ou alors elles sont déclenchées par inadvertance. L’article cite un utilisateur qui cherchait des informations de guidage pour se rendre à la plage et se retrouva, sans comprendre pourquoi, avec l’indice UV de cette plage (via une application tierce).

Des applications tierces extrêmement mal programmées

Sans réelle surprise, et comme on pouvait s’y attendre, les applications tierces (les skills et les actions donc) se sont révélées être de véritables catastrophes ergonomiques. Pour une simple et bonne raison : la plupart des utilisateurs pensaient pouvoir utiliser leurs propres mots pour leur adresser la parole, alors qu’en réalité, seules des phrases précises permettent de les utiliser (à se demander à quoi sert vraiment l’IA dans tout ça). Ce fut l’écueil principal.

Ce n’est pourtant pas faute de les aider, mais là encore les applications tierces scient elles même la branche qui auraient pu les rendre facile à utiliser.

Afin d’aider les utilisateurs, beaucoup d’entre elles tentent d’aider l’utilisateur en leur énumérant, à la première utilisation, l’ensemble des phrases clés à utiliser pour un bon usage. Mais le résultat fut pire que mieux. Comme pour une notice d’utilisation, les utilisateurs sautaient systématiquement, pendant l’étude, cette étape pour utiliser directement l’application tierce.

Seul le cas où l’application tierce pose des questions et demande à l’utilisateur de répondre brièvement permettait parfois d’aboutir à ce que l’on pourrait appeler un usage satisfaisant (et encore, avec beaucoup de réserves comme l’explique NNG).

Enfin, un autre écueil est également rapidement apparu : la plupart des utilisateurs ne savaient jamais quand ils parlaient à une application tierce ou à Google Home ou Alexa (les deux programmes de parole principaux de Google et d’Amazon), rendant souvent les situations encore plus confuses.

Des interactions bancales avec le reste de l’écosystème

Dans l’étude de NNG, non seulement les enceintes intelligentes étaient testées, mais également les assistants vocaux sur smartphone (qui sont en fait les mêmes programmes).

Les tests sur ces types de terminaux se sont aussi montrés extrêmement décevants pour les utilisateurs quand aux interactions avec les autres fonctionnalités et applications des téléphones.

Ainsi, parmi les nombreux reproches exprimés par les utilisateurs à ce sujet, fut celui de l’enfermement dans les écosystèmes des GAFA. Pour écouter de la musique, par exemple, impossible de passer par une application tierce n’appartenant pas à la même  entreprise que celle du propriétaire de l’assistant vocal. Demandez à Siri (d’Apple) d’écouter de la musique vous forcera à aller vers Apple Music, même si vous êtes abonné à Spotify.

Conclusion : il va falloir sortir de l’ère préhistorique

NNG est considéré comme une agence très sérieuse et il n’est nul doute que les résultats présentés représentent exactement la réalité des usages quotidiens avec les enceintes intelligentes. De ce fait, on peut s’étonner du succès d’Amazon Echo pourtant déjà vendu à plus de 20 millions de foyers américains. Et aussi de la guerre commerciale qui est en train de se livrer en Europe avec ces terminaux.

Oui, en réalité, leur usage est encore très limité, voire très déceptif par rapport à la promesse. Mais oui aussi, il y a certainement un « marché du vocal » et aucun doute sur le fait que dans les années à venir les conversations vocales seront un des moyens d’accéder à Internet et à ses nombreux services (voir mon long article à ce sujet).

Prendre une place sur les plateformes d’agents conversationnels n’est donc pas une farce et devrait être une préoccupation véritable des directions digitales des grandes entreprises, même si les résultats et les apports sont encore très embryonnaires.

Et même si NNG dit que nous en sommes au même niveau que les usages mobiles en l’an 2000 (oui, vous avez bien lu)), il est probable que les progrès des interfaces vocales vont être plus rapide que pour le smartphone. Je suis prêt à prendre le pari que d’ici 1 an, il existera de très bons services BtoC dans le vocal et des usages évolués dans le domaines des applications métiers et encore d’autres services non commerciaux.

S’y investir maintenant n’est donc pas prématuré, mais comme je l’avais déjà dit, sans en espérer un ROI sérieux avant quelques temps.

Et je le répéterai encore : devant la difficulté à construire des dialogues et une qualité de service de haut niveau, des développeurs de talent ne suffiront pas pour construire des skills ou des actions. Une véritable démarche UX devra également être mise en place. Notamment à l’aide de tests utilisateurs réguliers et d’un suivi permanent des interactions entre les utilisateurs et votre applications tierces.

Via NNGroup

Photo principale de l’article par Andres Urena sur Unsplash

Auchandrive.fr vient de mettre en ligne une nouvelle version améliorée de son site web. C’est donc le moment pour faire une petite analyse de l’ergonomie et de l’expérience utilisateur de cette mouture qui s’annonce, à première vue, comme une bonne évolution.

Une interface homogène et simple

C’est plus clair

L’impression qui prédomine est une impression de clarté. C’est bien sûr la grande tendance du moment. Moins d’éléments visibles à l’écran, plus de blanc, plus d’espace, des éléments d’interfaces transparents (les boutons du menu principal en mode fil de fer), du gris clair pour les textes (trop clair sans doute). Les listes produits sont allégées. Toute la surface de l’écran n’est pas utilisée et on n’a pas cette sensation de « bourrage » qu’on peut avoir sur de nombreux sites ecommerce. Même sensation sur les fiches produits où le fond blanc prédomine et, une fois de plus, donne une sensation de légèreté et d’espace, propice à une longue navigation.

Du bon usage des couleurs

Outre cette sensation de clarté, se dégage également une sensation de gaité, du à un usage parcimonieux et bien codifié des couleurs. Hormis le fameux rouge d’Auchan, enfin on sort des couleurs trop criardes et trop franches, si caractéristiques de la grande distribution. Les teintes sont un peu plus pastels, un peu plus douces, ce qui rend l’interface attractive, mais pas trop dissonante.

Une iconographie simplifiée

Le mobile est passé par là. L’iconographie des boutons ou des pastilles d’information ont été simplifiées pour être bien lisibles sur une interface mobile (celle que j’ai testée). Un soin a été apporté à leur espacement, toujours dans ce même souci d’espace.

Navigation et recherche

Sur un site avec une étendu de gamme très grande, le défi est d’arriver à faire trouver facilement un produit. De ce point de vue, ça m’a l’air réussi aussi.

Un menu avec des images, c’est bien ?

Le menu principal donne accès aux produits rayons par rayon. Un choix a été fait de présenter les catégories principales par des photos. Cela permet d’égayer le site, mais je ne suis pas sûr que ça soit ce que veulent forcément les utilisateurs du site quand ils sont pressés et cherchent simplement à constituer une liste (mon avis sur ces menus dans une présentation à télécharger sur Wexperience.fr). N’empêche qu’un effort sur la clarté a aussi été fait ici avec des espacements importants entre les items du menu, mais, attention, aux libellés : au premier niveau, ils sont vraiment petits.

A nouveau des images dans le deuxième niveau de navigation, mais là encore, je ne pense pas que les images apportent beaucoup à l’identification des catégories. Je ne sais pas si un test utilisateur a été réalisé sur cette nouvelle interface (ou un test AB), mais il m’est avis qu’il serait possible de le « radicaliser » en les enlevant et en agrandissant les textes pour un meilleur confort de lecture. C’est d’ailleurs ce qu’on retrouve au 3ème niveau de navigation. C’est certes « plus aride », mais dans le rush de la navigation, c’est peut être aussi plus efficient pour l’utilisateur.

Un bon système de filtres et de tri

Indispensable aujourd’hui, le système de filtres et de tri représente exactement ce que j’aime bien : des filtres peu nombreux, clairs, tenant sur une longueur d’écran et sans manipulation complexe. Ça n’est pas très sexy visuellement, mais c’est efficace pour l’utilisateur et c’est tout ce qui compte. Le seul petit point faible du système, c’est un bouton « Affiner » tellement petit qu’on le voit à peine. Pas très grave sur un site amené à être utilisé souvent, mais un véritable défaut.

Un moteur de recherche efficace ?

Choix assez étrange (enfin, pour moi), le champ de recherche n’est pas directement visible en haut de l’écran. Il faut cliquer sur une icône loupe, placée près du menu de navigation, pour le dévoiler. Pour la suite, il se comporte comme tout moteur de recherche, même si on a le droit à quelques surprises (voir captures d’écran). A ce sujet encore, je vous invite à télécharger la présentation que j’ai faite des moteurs de recherche sur Wexperience.fr.

A l’heure où Google reçoit de plus en plus de recherches vocales et où cette façon de faire est en train de devenir une habitude, je trouve presque dommage que Auchan n’ait pas plus favorisé la recherche en mettant en avant un grand champ bien visible en haut de l’écran, voire en permettant directement la recherche vocale (j’avoue que je ne sais pas si c’est possible sur une interface mobile HTML, mais mon petit doigt me dit qu’avec les Progressive Web App, ça le sera très prochainement).

Passer commande, ça n’est toujours pas un jeu d’enfant 🙂

Oui, là, je vais être dur, mais il faut être réaliste, le passage de commande devrait être aussi simple que de cliquez sur le bouton d’achat en un clic d’Amazon. Autant dire qu’on en est très loin. Des clics inutiles sont nécessaires pour arriver au paiement. Exemples : une page pour choisir la carte de paiement, deux pages panier au lieu d’une. La page de finalisation de commande est encore un peu fouillis et pourrait être sans doute améliorée.

Conclusion : un site qui évolue bien

Saluons le travail qui a été fait par les équipes d’Auchan sur ce sujet (et je n’ai essayé que la version mobile) et espérons que le site continue à s’améliorer. Si améliorations il y a, c’est sans doute du côté du moteur de recherche qu’elles doivent être faites, mais également dans la capacité qu’à l’interface à rendre plus efficient l’utilisateur pour constituer une liste de courses. Et si il y a un point noir, c’est sans doute dans le tunnel de commande. Je n’avais pas de carte de paiement enregistrée, il est vrai, et tout le processus m’a paru extrêmement long et fastidieux. Il y a sûrement beaucoup mieux à faire !

Photo principale par Bernard Hermant sur Unsplash

Les tests utilisateurs « faits maison » pêchent souvent par manque de méthodologie

De l’humble avis des spécialistes de l’UX, rien ne vaut un test utilisateur, la meilleure méthode pour bien comprendre et analyser une interface de site web ou d’application (ou d’intranet). De plus en plus employés dans les grandes entreprises, les PME-TPE restent méfiantes vis à vis d’un outil qui leur paraît coûteux et lourd à mettre en oeuvre. Et souvent la tentation est grande pour elles de faire soi même le test avec les moyens du bord.

Personne ne nie la valeur d’une approche « guerilla », comme on se plait à le dire, mais que cela n’empêche pas d’adopter un minimum de méthodes ou de contraintes. C’est souvent là que les tests utilisateurs « faits maison » pêchent.

• Le recrutement des testeurs est fait parmi les collègues
• Aucun protocole de test n’est écrit
• La récolte des données se fait sans prise de recul
• La conduite des tests est faite sans respecter le minimum des bonnes pratiques en la matière

En apparence « facile », le test utilisateur nécessite beaucoup de préparation

Les biais sont nombreux et un simple article de quelques lignes ne suffirait à les énumérer tous. Et pourtant, il ne m’est pas si rare d’entendre encore des chefs de projets, des directeurs ou d’autres responsables, balayer du revers de la main une proposition élaborée de test utilisateur en affirmant haut et fort qu’ils le feront eux mêmes, comme si cela était aussi facile que de tirer un penalty au foot.

C’est une véritable erreur de penser qu’une personne non préparée à la conduite de test utilisateur pourra arriver à tirer des résultats sensés d’une méthode qui, à première vue, parait abordable à tout le monde, mais qui, en réalité, nécessite une bonne préparation, ainsi que des techniques de conduite d’entretien et d’analyse plus poussées qu’elles n’en ont l’air à première vue.

Pourquoi cela ?

Il suffit pour se rendre compte de la difficulté de mener un test de lire l’abondante littérature qui y est consacrée. Je ne citerai que deux ouvrages qui ont ma préférence, mais qui en disent suffisamment long sur ce qu’il faut faire et en pas faire en la matière.

• Rocket Surgery Made Easy, de Steve Krug (malheureusement pas traduit en français)
• Méthode de design UX, par Carine Lallemand et Guillaume Gronier. Excellente compilation de nombreuses méthodes UX

N’importe quel esprit intelligent se rendra compte alors de l’inanité de vouloir conduire un test sans connaître un minimum les méthodes qui permettent de recueillir des enseignements valables.

Faut-il être un spécialiste pour faire un test utilisateur ?

La bonne nouvelle est que : non. Bien au contraire ! Tout le monde peut faire des tests à conditions de suivre la bonne méthode. Et c’est même ce que nous recommandons pour peu que les personnes menant les tests aient conscience qu’il s’agit plus de tests de routine, de validation d’interface, d’exploration, que de tests permettant d’élaborer une feuille de route d’optimisation ou de réaliser un audit complet de site internet.

La frontière entre les deux est ténue, mais elle est bien perceptible.

Tester un prototype rapidement réalisé avec 2 ou 3 personnes étrangères à votre société peut être extrêmement enrichissant.

Tester un parcours de commande sur un site ecommerce avec quelques clients (même à distance) peut vous apprendre beaucoup plus que vous ne l’imagineriez.

Oui, une équipe non experte, peut tout à fait mener ce genre de projets. Que vous soyez dans une startup, une PME ou même une petite équipe projet au sein d’un grand compte, faites-le !

Pour tout savoir sur le sujet des tests utilisateurs, découvrez notre recette 5 étoiles by Wexperience ! Pour la télécharger, cliquez ici 👈