L’évaluation d’un système d’information mixe plusieurs approches. Il est nécessaire de mesurer l’opportunité, la cohérence, l’efficacité et l’efficience.
Comment évaluer un projet système d’information dans sa globalité sans se limiter à son coût direct ? Le DSI peut procéder en quatre étapes. La première consiste à analyser la cohérence interne et l’appréciation d’un projet du projet, c’est-à-dire l’articulation entre les trois niveaux constitutifs du projet : les finalités, les buts, qui sont les moyens retenus pour concrétiser les intentions et, enfin, les objectifs opérationnels, c’est-à-dire les résultats escomptés ou analysables en termes de ‘‘capacité à’’ de l’action. Deuxième étape : mesurer l’efficacité du projet, c’est-à-dire l’écart entre les résultats obtenus et les résultats recherchés. Cet écart s’analyse du point de vue à la fois des finalités, du but et des objectifs. Cette mesure suppose bien sûr que l’on dispose d’indicateurs définissant la situation.
Le troisième volet correspond à la mesure de l’efficience du projet, c’est-à-dire le rapport existant entre la quantité et la qualité des résultats obtenus et les ressources matérielles, humaines et financières mises en œuvre pour les obtenir. Enfin, on s’intéresse dans une quatrième étape à mesurer l’impact du projet à travers les effets, prévus ou non, pervers ou non, mais non explicitement recherchés à travers la poursuite des objectifs, des buts et des finalités du projet.
1. Mesurer la cohérence interne-externe et l’opportunité d’un projet
Il est trivial d’affirmer qu’il n’y a pas de projet système d’information qui puisse obtenir les résultats espérés s’il n’est pas bien construit ou s’il est complètement déconnecté de la réalité dans laquelle il s’insère. La première condition renvoie à la notion de cohérence interne, c’est-à-dire à l’appréciation de l’adéquation entre les objectifs opérationnels poursuivis à travers le projet, les buts que visent les concepteurs du projet et les finalités qui les mobilisent. Rappelons que la finalité définit les intentions des concepteurs du projet, souvent en référence à un système de valeurs ou à un modèle business. Le but définit le pourquoi du projet : s’agit-il d’accroître le chiffre d’affaires ? De contre-attaquer face à des initiatives de la concurrence ? De générer des économies d’échelle avec les autres entités de l’entreprise ? On utilisera donc là des indicateurs de résultats. Quant aux objectifs, ils renvoient à l’acquisition des capacités, de moyens, d’aptitudes et de ressources, nécessaires pour atteindre le but.
La seconde condition renvoie à la notion de cohérence externe. Celle-ci s’apprécie par rapport à l’environnement économique et concurrentiel de l’entreprise. On notera qu’il est difficile de dissocier l’analyse de la cohérence interne de la cohérence externe.
2. Mesurer l’efficacité
L’appréciation de l’efficacité constitue le coeur de l’évaluation d’un projet système d’information. Elle est préalable à l’analyse de l’efficience ou à la détermination de l’impact. La question porte moins sur l’opportunité d’apprécier l’efficacité des actions engagées (la plupart des promoteurs de projets sont d’accord sur ce point) que sur les niveaux auxquels est réalisée l’appréciation de l’efficacité, et sur les moyens d’y parvenir. Cela revient à rechercher si les finalités poursuivies, les buts fixés et les objectifs programmés ont été atteints ou, si c’est possible, à calculer des ratios d’atteintes de ces finalités. On distinguera ainsi trois notions :
- l’efficacité par rapport aux objectifs (la réussite du projet);
- la réussite par rapport aux buts (les résultats);
- les finalités (la dynamique du projet).
L’efficacité par rapport à l’objectif consiste à rechercher dans quelle mesure les objectifs opérationnels visés par les promoteurs du projet ont été atteints. Cette analyse suppose, bien sûr, que deux conditions soient réunies : d’une part, les objectifs doivent avoir été au préalable clairement formulés et explicités et, d’autre part, des indicateurs de résultats doivent avoir été associés aux objectifs.
L’efficacité par rapport au but revient à apprécier si le but recherché par les concepteurs d’un projet a été (ou non) atteint. Pour autant, la tâche n’est pas simple. En effet, trois problèmes doivent être résolus. Le premier concerne la mesure des résultats (quels sont les indicateurs à construire ?).
Le deuxième se rapporte au temps (à partir de quel moment est-il possible, et souhaitable, d’évaluer l’efficacité d’un projet ?). Enfin, le troisième se rapporte à l’interprétation des résultats (peut-on les attribuer seulement aux actions mises en œuvre dans le cadre du projet ?).
L’efficacité par rapport aux finalités s’analyse par rapport à la dynamique du projet. Dans la mesure où cette finalité reflète les intentions des concepteurs du projet et des directions générales des entreprises, les actions mises en oeuvre sont caractérisques de la dynamique du projet.
3. Mesurer l’efficience
Le calcul de l’efficience d’un projet système d’information a pour but de déterminer le rapport existant entre la quantité et la qualité des résultats obtenus et les ressources matérielles, financières et humaines mises en œuvre pour les obtenir, ou, plus simplement, à déterminer le coût de la réussite, des résultats ou du processus adopté. L’analyse de l’efficience apparaît, en quelque sorte, comme un contrepoids à l’appréciation de l’efficacité dans la mesure où elle pondère celle-ci par le calcul des coûts. Car il n’y a pas d’évaluation complète sans prise en compte de cette dimension coûts. Il n’y a en tout cas pas d’évaluation comparative possible sans pondération du taux d’atteinte des finalités, des buts et des objectifs par les coûts des actions engagées. Ainsi, un projet peut atteindre une bonne efficacité à un prix bas et une efficacité moyenne peut correspondre à un coût très élevé.
Sur le plan pratique, l’analyse de l’efficience répond à deux objectifs essentiels : la minimisation des coûts et l’évaluation de l’adéquation du système de financement aux coûts réels. Le calcul de l’efficience est soumis à deux conditions importantes. D’une part, il faut pouvoir déterminer les taux d’atteinte des objectifs, des buts et des finalités, et, d’autre part, pouvoir déterminer les coûts, directs et indirects.
4. Mesurer l’impact
Analyser l’impact d’un projet système d’information ou d’une application existante consiste à analyser les effets, prévus ou non, désirés ou non, mais non explicitement recherchés à travers la poursuite de ses objectifs, buts et finalités. L’analyse de l’impact répond à plusieurs préoccupations dont deux sont essentielles. En premier, le processus évalué n’a-t-il pas produit des effets indésirables ou pervers qui viendraient atténuer l’efficacité et réduire l’efficience du système en provoquant des coûts indirects non comptabilisés ? En second, le système évalué n’a-t-il par eu des effets bénéfiques autres que ceux recherchés qui viendraient en renforcer l’efficience ?
Glossaire
Pertinence : articulation entre objectifs et moyens. Son évaluation passe par la question : « Les moyens mis en œuvre correspondent-ils aux objectifs ? » Cette question est fondamentale en phase de conception du système car il s’agit d’une part d’éviter le surdimensionnement coûteux et d’autre part, de se donner les moyens d’atteindre un certain niveau de satisfaction, ou même plus simplement de garantir la faisabilité du projet.
Efficience : articulation entre moyens et résultats : « Est-ce que les résultats sont suffisants compte tenu des moyens mis en œuvre ? » La performance est jugée en termes d’efficience essentiellement en phase d’exploitation du système. Si elle n’est pas satisfaisante, ce sont des décisions relatives au pilotage (conduite et maintenance du système matériel) ou au management (système humain) qui seront à prendre.
Efficacité : articulation entre résultats et objectifs : Est-on arrivé à ce que l’on avait l’intention de faire, à quel point l’objectif fixé est-il atteint ? Si l’efficacité du système, qui peut être bien souvent jugée grâce à des indicateurs de qualité, n’est pas satisfaisante, les actions envisageables portent sur l’organisation interne du système et sur les différents paramètres de réglage.
Source : Cyber-université Henri Poincaré Nancy : www.cyber.uhp-nancy.fr/