Dans le cadre de la formation continue Executive Management des Systèmes d’Information de l’EMSI de Grenoble (École de management des systèmes d’information), sept étudiants (*) ont travaillé sur la problématique de la mesure de la qualité de l’expérience utilisateur. Cet article constitue une synthèse de leurs travaux.
Du point de vue des systèmes d’information, la qualité d’expérience est perçue comme un indicateur « de plus » de la qualité du SI. Essentielle pour garantir la satisfaction des utilisateurs ou des clients, elle n’est cependant pas primordiale pour la majeure partie des DSI, des responsables qualité ou marketing. Cette notion est fortement liée aux autres indicateurs potentiels, telle que la qualité de service. Bien qu’importante et envisagée dans le cadre d’une démarche d’amélioration continue des services, elle est souvent résumée à une simple mesure de la « satisfaction client » et, par conséquent, reste un modèle très théorique et difficile à concrétiser.
En 2014, la qualité d’expérience reste encore un sujet émergent bien qu’elle soit considérée comme un « vecteur innovant d’amélioration des entreprises », selon le Cigref. On peut définir la qualité d’expérience comme l’appréciation générale d’un produit ou d’un service, perçue par l’utilisateur final, c’est-à-dire d’un point de vue entièrement subjectif. Pour décrire le ressenti des utilisateurs finaux sur la qualité du service, la terminologie Quality of Experience (QoE), a été introduite en réponse à l’apparition de la demande croissante de certains nouveaux services, dont le succès avait une forte dépendance avec la perception des utilisateurs finaux. Plusieurs études et recherches révèlent également que la plupart des clients mettent fin à un service avant de se plaindre, s’ils ont connu une expérience perçue comme étant de mauvaise qualité.
Pour les entreprises du secteur privé, il ne s’agit pas tant de répondre de manière exhaustive aux attentes des clients (avec une approche de type « zéro défaut ») que d’y répondre mieux que les concurrents. Dans le secteur public, la qualité permet, notamment, de rendre compte d’un usage maîtrisé des fonds publics pour fournir un service adapté aux attentes des citoyens. L’opposé de la qualité (la non-qualité) possède également un coût. En effet, il s’avère généralement plus coûteux de corriger les défauts ou les erreurs que de « faire bien » dès le départ. Par ailleurs, le coût de la non-qualité est d’autant plus important qu’elle est détectée tardivement.
Il s’agit donc de trouver le juste équilibre permettant d’éliminer au maximum la non-qualité, afin d’obtenir un bon degré de satisfaction de la clientèle, de la fidéliser et de faire des bénéfices, tout en y consacrant un budget raisonnable. L’un des principes de base de la qualité est la prévention et l’amélioration permanente. Cela signifie que la qualité est un projet sans fin, dont le but est de prendre en compte les dysfonctionnements le plus en amont possible (Cf. roue de Deming).
La notion de qualité se réfère en général à l’opinion des clients et à leur satisfaction. Cependant, la satisfaction du client est un mélange qui englobe la disponibilité, la qualité, le prix et l’utilité. L’évaluation d’un service sous ces quatre aspects a une part objective et subjective.
La qualité de l’expérience est une approche contextuelle pour établir et faire respecter des objectifs de niveaux de services efficaces et créer de véritables accords de niveau de service. Elle constitue également un précieux indicateur sur la façon d’optimiser les services fournis par la DSI aux métiers, tout en mesurant l’impact en termes de qualité, ce qui implique que la QoE est un facteur à prendre en compte en amont de la QoS.
La mesure de la QoE, tout en tenant compte de toute la chaîne du processus qui compose le service offert par une entité et cela de bout en bout (client, terminal, réseau, infrastructure de services, etc), peut être influencée par les attentes des utilisateurs et par le contexte. Elle peut donc être mesurée de manière subjective par l’utilisateur final et cette mesure peut varier d’un utilisateur à un autre.
Quels indicateurs pour mesurer la QoE ?
La disponibilité des services
La disponibilité traduit l’aptitude d’un système à être en état de fonctionner. Cette aptitude dépend de la fiabilité du dispositif (le taux et la probabilité de défaillance doivent être faibles), de la maintenance (le temps de réparation doit être faible). Il dépend aussi de la logistique de l’entreprise : procédures de réparation connues, personnel qualifié, composants en stocks ou rapidement disponibles.
La formule de la disponibilité est la suivante :
Disponibilité = (MTBF / (MTBF + MTTR)) X 100
MTTR (mean time to repair) : temps moyen mis pour réparer un système en panne.
MTBF (mean time between failures) : temps moyen entre deux pannes.
La réactivité des services
La réactivité des services correspond principalement aux temps de réponse que l’utilisateur final subit lorsqu’il interagit avec la DSI. La réactivité peut se mesurer selon deux modes :
- réactif, la DSI agit pour résoudre des problèmes,
- proactif, avec l’anticipation des incidents, grâce à une surveillance continue, par exemple par des robots, des sondes…
La cohérence ou uniformité des services
L’uniformité des services est la constance avec laquelle un service est disponible et réactif pour le client final.
L’adéquation des services
Elle nécessite de s’assurer que les services rendus aux clients finaux conviennent à leurs besoins.
La flexibilité et la mobilité
Elles permettrent aux clients finaux d’accroître les niveaux de satisfaction. Pour certains services, par exemple, la mobilité et la réactivité peuvent être considérées comme des critères plus importants pour la qualité de l’expérience.
La sécurité
La confidentialité et la sécurité dans l’échange d’informations avec l’utilisateur final constituent un autre point positif dans la mesure de la QoE.
Pour évaluer la qualité d’expérience d’un service, la perception de l’utilisateur, la MOS (Mean Opinion Score) est souvent utilisée avec les notions de « bon », « moyen », « mauvais », confirmant ainsi la part subjective de la QoE et cela en dépit d’une part objective mesurable, comme par exemple le réseau, le poste de travail, la configuration du logiciel, qui sont des indicateurs de QoS.
À partir de la mesure de la qualité de service, on peut prédire la QoE attendue pour un utilisateur. Lorsque la cible QoE à atteindre est fixée pour un utilisateur, l’IT peut en déduire la QoS à mettre en place pour atteindre le niveau de performance requis pour cette couche de service.
Ainsi, une cible QoE devrait être établie pour chaque service. Cette cible devrait être prise en compte en amont de la conception des systèmes et des processus techniques, ceux-ci étant traduits en objectifs de niveau de service avec des performances mesurables. La QoE étend le concept de la QoS : tandis que cette dernière englobe une partie seulement de la qualité de l’expérience, la QoE a besoin du soutien de la QoS. Inversement, le niveau de la qualité de service a un impact sur le niveau de la qualité de l’expérience.
Partant du constat que la QoE repose sur une part objective et subjective, elle devrait être mesurée de deux façons :
- Avec une note d’opinion subjective, en utilisant des échelles de notation, telle que la Mean Opinion Score (MOS).
- Objectivement, de manière technique, avec des indicateurs sur les points particuliers susceptibles d’affecter négativement la qualité finale d’un service rendu ou d’un autre service qui pourrait en dépendre.
Le groupe d’étudiants de l’EMSI a conduit une enquête dans une quinzaine d’entreprises françaises. Cette enquête a permis de dégager les résultats suivants :
-
- Généralement, le consommateur (ou le futur consom-mateur) est bien pris en compte dans la conception d’un produit ou d’un service. Mais la notion de parcours client reste un concept encore novateur.
- Un manque de proactivité des entreprises, demeurées dans un modèle passéiste où l’on ne vient mesurer le ressenti et la perception des usagers que de façon déconnectée, après une période plus moins longue d’usage du service ou produit. Cette vision apparaît en décalage avec le monde numérique qui accélère le cycle de vie des services et des usages.
- Un déficit de mise en place de mesures objectives de la perception utilisateur. La mesure de bout en bout est rarement pratiquée par les entreprises qui ne prennent en compte que leur propre réseau. En revanche, et c’est typique des entreprises confrontées à la maîtrise d’un réseau complexe, les mesures de QoS sont bien prises en compte, les composants réseau actuels intègrent des outils de mesure de QoS en standard. Mais les entreprises se limitent souvent à leur propre réseau.
- Les DSI ne disposent pas de mesures en production et se raccrochent alors sur les métriques provenant des hot lines. Malheureusement, ces métriques, uniquement basées sur la gestion des incidents, ne donnent pas une bonne vision à l’entreprise du niveau de la qualité de la satisfaction client.
Les deux formes de la qualité
La qualité externe correspond à la satisfaction des clients. Il s’agit de fournir un produit ou des services conformes aux attentes des clients afin de les fidéliser et, ainsi, d’améliorer sa part de marché. Les bénéficiaires de la qualité externe sont les clients d’une entreprise et ses partenaires extérieurs. Ce type de démarche passe ainsi par une nécessaire écoute des clients, mais doit permettre également de prendre en compte des besoins implicites non exprimés par les bénéficiaires.
La qualité interne correspond à l’amélioration du fonctionnement interne de l’entreprise. L’objectif est de mettre en œuvre des moyens permettant de décrire au mieux l’organisation, de repérer et de limiter les dysfonctionnements. Les bénéficiaires de la qualité interne sont les collaborateurs de l’entreprise. La qualité interne passe généralement par une étape d’identification et de formalisation des processus internes réalisés grâce à une démarche participative.
La qualité de service
(*) Djénabou-Mariama Eba (en charge du projet Open Data for Africa dans un organisme international), Frédéric Tarby (responsable informatique régional dans un groupe de BTP), Sébastien Brunel (IT manager dans un cabinet de conseil en RH), Aymeric Sauvage (responsable des SI et de l’aménagement numérique du territoire dans une communauté de communes), Jean Christy (responsable Groupe Expérience utilisateur et validation dans une société spécialisée dans les solutions de capture de mouvements et de fusion de données), Eric Gimenez (administrateur Rational Clearcase dans un groupe industriel) et Patrick Varenne (consultant).