Gestion de la qualité des données

Des analyses pertinentes et des décisions judicieuses grâce à des données fiables

Qu’entend-on par « qualité des données » et « gestion de la qualité des données » ?

La qualité des données est un concept subjectif qui doit être défini individuellement pour chaque entreprise. Il s’agit de l’ensemble des caractéristiques d’un ensemble de données permettant de répondre aux besoins des utilisateurs.
La gestion de la qualité des données désigne l’ensemble des processus et procédures visant à garantir un haut niveau de qualité des données. Cela comprend l’identification, le nettoyage et la mise à disposition des données.

Les principales causes d’une mauvaise qualité des données

Les données ne sont jamais propres et parfaites à 100 %. Cela peut s’expliquer par le fait qu’elles parviennent à l’entreprise par différents canaux. Elles peuvent ainsi être obsolètes, en double ou incohérentes. Pour garantir une qualité des données aussi élevée que possible, il est utile de connaître les principales causes des données erronées. Vous pourrez ainsi éviter à l’avance une mauvaise qualité des données. Voici les principales causes :

• Saisie manuelle des données : dans de nombreuses entreprises, la saisie des données s'effectue manuellement. Cette méthode est toutefois très source d'erreurs. Les données peuvent être saisies au mauvais endroit ou dans un format incorrect, et une faute de frappe ou une inversion de chiffres peut facilement se produire.
• Conversion des données : lors du transfert de données d’un emplacement de stockage à un autre, celles-ci peuvent être perdues ou modifiées par inadvertance. Cela peut s’expliquer, par exemple, par le fait que les données sont enregistrées dans des formats différents ou que leur structure diffère.
• Mises à jour en temps réel : pour prendre les bonnes décisions, il est important de travailler à tout moment avec des données à jour. Mais là encore, des erreurs peuvent survenir si certains enregistrements n’ont pas encore été mis à jour au moment de l’analyse ou s’il n’y a pas eu suffisamment de temps pour vérifier les données.
• Regroupement de données : lorsque des données doivent être regroupées, par exemple lors de consolidations, de fusions d’entreprises ou de changements de système, des erreurs telles que des formats non valides, des doublons et des conflits peuvent également survenir.
• Mises à niveau du système : les mises à jour ou mises à niveau fréquentes de vos logiciels peuvent également entraîner des erreurs, car il est possible que des données soient supprimées ou endommagées lors de ces opérations.
• Collecte aveugle de données : il arrive souvent que les entreprises collectent toutes les données générées. Cela présente un certain intérêt, car ces données pourraient s'avérer nécessaires à l'avenir. Toutefois, cela complique également l'assurance qualité et l'analyse des données. C'est pourquoi il convient, dans la mesure du possible, de ne conserver que les données qui sont réellement nécessaires.

À quoi se mesure la qualité des données ? Les critères

Divers critères vous montrent à quel point la qualité de vos données est élevée et si les données sont adaptées à une tâche spécifique.

• Exhaustivité : tous les ensembles de données nécessaires sont-ils complets ?
  Les données incomplètes peuvent ne pas être exploitables, ou ne l'être que partiellement. Il convient donc de s'assurer qu'un ensemble de données contient tous les attributs nécessaires et que ces attributs contiennent à leur tour toutes les données nécessaires.
• Pertinence : Toutes les données nécessaires aux fins prévues sont-elles disponibles ?
  Toutes les données collectées ne sont pas pertinentes pour vos objectifs. Par conséquent, leur collecte doit être délibérée, afin de ne recueillir que les données strictement nécessaires. Ceci s'applique particulièrement aux données clients, soumises à la réglementation sur la protection des données.
• Exactitude : les données saisies sont-elles correctes et présentées conformément aux exigences ?
  Lorsque vous collectez des données, il est important de veiller à ce qu'elles soient exactes. Elles doivent également présenter le niveau de détail requis. Cela signifie, par exemple, que toutes les décimales nécessaires doivent être enregistrées.
• Actualité : les ensembles de données sont-ils à jour ?
  Au sein d’une entreprise, de nouvelles données sont générées en permanence. Il est donc judicieux de toujours effectuer des analyses à partir de données récentes afin d’identifier rapidement les changements ou les problèmes. Dans la pratique, nous recommandons souvent à nos clients de se baser, pour la prise de décision, sur des données dont la fiabilité est garantie. Selon la situation, il peut par exemple s’avérer judicieux d’utiliser les données de la veille, car les données en temps réel peuvent évoluer en un clin d’œil.
• Validité : La provenance des données est-elle fiable, ou ces données proviennent-elles de sources fiables ?
  La provenance des ensembles de données doit être traçable afin de pouvoir évaluer si les données sont fiables.
• Disponibilité et accessibilité : les utilisateurs peuvent-ils accéder facilement aux données dont ils ont besoin ? Sont-elles disponibles dans le format requis ?
  Par exemple, si les données pertinentes sont réparties entre différents outils ou ne sont pas au bon format, leur accessibilité facile n'est pas toujours garantie.
• Cohérence : les données comportent-elles des contradictions ou des doublons ? Y a-t-il des incohérences par rapport à d’autres données ?
  Les données doivent être univoques, sans contradiction entre elles ou avec d’autres données, sans redondance, et structurées de manière uniforme.

Que peut-on faire pour garantir une qualité élevée des données ?

Pour que les données soient constamment d’une qualité élevée, il faut tout d’abord définir comment mesurer cette qualité. Les données doivent ensuite être analysées, nettoyées et contrôlées à l’aune des critères définis. Ce processus doit être répété régulièrement afin de maintenir une qualité élevée et constante des données et de pouvoir éliminer durablement les sources d’erreurs.

1. Définir des critères

Dans un premier temps, il s'agit de déterminer quels critères doivent être pris en compte pour évaluer la qualité des données. On définit ainsi, par exemple, quelles données doivent être disponibles pour répondre à vos besoins et sous quel format elles doivent être fournies.

2. Profilage des données / Analyse des données :

L'analyse des données sert à détecter les doublons, les incohérences, les erreurs et les informations incomplètes. Cela permet d’évaluer la qualité des données, puis, dans un deuxième temps, de les nettoyer et de les mettre à jour. Par ailleurs, l’analyse des données peut servir à identifier les sources d’erreurs et ainsi à prendre des mesures garantissant que les erreurs détectées ne se reproduiront plus à l’avenir.

3. Nettoyage des données

L'étape de nettoyage des données permet de résoudre les problèmes identifiés lors de l'analyse des données. Cela signifie que les doublons sont supprimés, que les données incomplètes sont complétées et que les incohérences sont corrigées.

4. Surveillance des données :

Les données existantes et nouvelles doivent être vérifiées en continu pour garantir une haute qualité des données de manière permanente.

Conseils pour une bonne gestion de la qualité des données :

1. Déterminer les personnes responsables

Sans personne pour assumer la responsabilité de la qualité des données, il se peut que personne ne se sente concerné par cette question. Il est donc important de désigner des responsables. Selon l’ensemble de données, il peut s’agir de plusieurs personnes, mais aussi d’un seul collaborateur. Les responsables ont pour mission de veiller à ce que les normes définies soient respectées lors de la saisie des données, ainsi qu’à ce que celles-ci soient régulièrement vérifiées et mises à jour.

2. Gérer les lacunes en matière de qualité

Il n'existe pas de qualité des données à 100 %, car des erreurs peuvent survenir à tout moment. Toutefois, en fonction de l'usage prévu, il est possible de déterminer quelles données doivent impérativement être exactes afin de pouvoir effectuer des analyses correctes et, par conséquent, prendre les bonnes décisions.
Notre conseil : il est certes important que le plus grand nombre possible d'enregistrements soient corrects. toutefois, le rapport coût-bénéfice des corrections peut s’avérer défavorable, par exemple lorsque le nettoyage des données prend beaucoup de temps, mais que vous n’en tirez ensuite que peu de profit ou qu’elles n’ont aucune pertinence. Privilégiez donc la correction des défauts de qualité des données essentielles.

3. Améliorer la qualité des données directement à la source

Les solutions de Business Intelligence telles que myPARM BIact vous offrent la possibilité de modifier, de corriger ou de compléter manuellement les données enregistrées. Vous devez toutefois garder à l’esprit que, d’une part, la source des données reste erronée après de telles corrections et que, d’autre part, les corrections manuelles présentent elles aussi un risque élevé d’erreur. De plus, il se peut que des erreurs existantes passent inaperçues. C'est pourquoi il convient, dans la mesure du possible, d'améliorer la qualité des données dès leur source. Le logiciel de BI dispose ainsi de données de très haute qualité.

4. Monitoring continue des données

Plus vous identifiez, corrigez et traitez les erreurs fréquemment, plus la qualité de vos données sera élevée à l'avenir. Il est toutefois important de considérer la qualité des données comme un processus itératif, car de nouvelles erreurs peuvent apparaître à tout moment, les exigences relatives aux données peuvent évoluer, ou encore le volume et la diversité des données générées peuvent augmenter. Le processus de gestion de la qualité des données doit donc être mis en œuvre de manière continue.

Conclusion

Prendre des décisions fondées sur des données plutôt que sur une intuition peut grandement contribuer au succès de votre entreprise. Cela comporte toutefois le risque que les données ayant conduit à une décision soient erronées. C’est pourquoi il est essentiel qu’une bonne gestion de la qualité des données vous garantisse de pouvoir compter à tout moment sur l’exactitude de vos données.

Souhaiteriez-vous découvrir myPARM BI^act dans le cadre d'une démonstration? Contactez-nous dès maintenant pour un rendez-vous!