Les problèmes de qualité des données stockées dans les bases et les entrepôts de données se propagent de façon endémique à tous les types de données (structurées ou non) et dans tous les domaines d’application : données du Web, données gouvernementales, commerciales, industrielles ou scientifiques. Il s’agit en particulier d’erreurs sur les données, de doublons, d’incohérences, de valeurs manquantes, incomplètes, incertaines, obsolètes, aberrantes ou peu fiables. Les conséquences de la non-qualité des données (ou de leur qualité médiocre) sur les prises de décision et les coûts financiers qu’elle engendre sont considérables : l’institut Gartner estime que plus de 25 % des données critiques des plus grandes entreprises mondiales sont erronées. Les problèmes de qualité des données coûtent des millions chaque année à l’économie mondiale. Aussi, dans la plupart des projets de développement centrés sur l’utilisation et l’analyse des données, le nettoyage des données constitue entre 30 et 80 % du budget global et du temps de développement qui sont dédiés à l’amélioration de la qualité des données plutôt qu’à la réalisation du système ou du logiciel .
À l’ère du « Big Data », les sources d’information disponibles se multiplient et les volumes de données potentiellement accessibles augmentent de façon exponentielle. La qualité des données et, plus largement, la qualité des informations et leur véracité ont de fait pris une importance majeure, non seulement au sein des entreprises et dans le monde académique, mais aussi pour le grand public, premier consommateur et producteur d’informations en ligne. Il est devenu essentiel de connaître la qualité des données produites et utilisées, d’une part pour adapter leur usage et, d’autre part, pour ne pas la laisser se dégrader.
Évaluer en continu la qualité des données stockées dans les systèmes d’information, les bases et les entrepôts de données ou encore sur le Web est devenu crucial car il s’agit de :
-
proposer aux utilisateurs des mesures objectives et une expertise critique de la qualité des données qui peuvent servir à une prise de décision ;
-
leur permettre de relativiser la confiance qu’ils pourraient accorder aux données pour qu’ils les utilisent ou les analysent avec précaution.
Si une analyse et une prise de décision peuvent être réalisées sur des données inexactes, incomplètes, ambiguës et de qualité médiocre, on peut alors s’interroger sur le sens à donner à ces résultats et remettre en cause, à juste titre, la qualité des connaissances ainsi « élaborées ».
Une panoplie de solutions aux multiples problèmes de qualité des données vous sera présentée dans cet article. L’objet de cette synthèse est également d’ouvrir la réflexion sur les perspectives de recherche et de développement actuelles permettant d’assurer le contrôle et la gestion de la qualité des données structurées mais aussi, plus largement, la qualité des données accessibles sur le Web.
Nos principales motivations sont de souligner que :
-
l’impact de la non-qualité des données comme sa méconnaissance retentit à chaque étape d’un processus de traitement ou d’analyse des données (modélisation, collecte/import, stockage, gestion, intégration, interrogation, analyse exploratoire, fouille et apprentissage automatique à partir des données) ;
-
plusieurs techniques doivent souvent être combinées pour mesurer et consolider la qualité des données ; et enfin,
-
de nombreuses voies de recherche et de développement restent aujourd’hui « grandes ouvertes » et des innovations sont attendues (certaines sont imminentes), notamment concernant la qualité des données complexes que sont les séries spatio-temporelles et les données multimodales (combinant par exemple, géolocalisation, texte, image, audio ou vidéo).
Comme tout état de l’art, cet article a ses limites : proposer un fil conducteur pour décrire l’évolution des techniques permettant de remédier à la non-qualité des données est d’autant plus difficile que l’exercice est souvent spécifique à l’évolution des besoins et aux problèmes de qualité de données rencontrés dans un domaine ou une application particuliers.
La mesure de la qualité des données s’opère sur de multiples dimensions et elle est relative au contexte et à la finalité d’usage et d’application des données. Typiquement, la définition d’une métrique et son importance seront différentes :
-
selon le mode de collecte ou de production des données. Par exemple, en cas de saisie par formulaire avec des champs textuels libres ou des chaînes de caractères, on recherchera, à évaluer les distributions des chaînes de caractères et celles de leur longueur et à privilégier l’utilisation de listes fermées et de contraintes sur les champs de saisie pour quantifier et limiter les erreurs typographiques ;
-
selon la finalité des données. Par exemple, si la finalité est d’appliquer une série de méthodes d’analyse statistique et d’apprentissage automatique à partir des données, on cherchera à quantifier le nombre de valeurs manquantes, à discerner, parmi les données jugées « hors-norme » (outliers), celles qui sont aberrantes de celles qui sont légitimement exceptionnelles afin de les remplacer ou de les traiter séparément. Il s’agit aussi de transformer la distribution du jeu de données pour qu’elle soit adaptée aux contraintes et aux hypothèses imposées par certaines méthodes d’analyse (par exemple, en normalisant les données et en éliminant les variables corrélées).
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
