Qualité des données

Cet article fait partie de l’offre

Technologies logicielles Architectures des systèmes (215 articles en ce moment)

Cette offre vous donne accès à :

Une base complète et actualisée d'articles validés par des comités scientifiques

Un service Questions aux experts et des outils pratiques

ABONNEZ-VOUS

Quitter la lecture facile

RÉSUMÉ

De plus en plus, sont relevées des situations alarmantes liées à des problèmes de qualité des données stockées dans des bases ou des systèmes d’information commerciaux, industriels, hospitaliers ou universitaires. Cette non-qualité des données, erreurs, incohérences, valeurs manquantes, non fiables ou aberrantes entraîne des coûts financiers considérables. Des solutions fondées et validées existent pour combattre cette problématique récurrente. Cet article recense ces solutions et leurs modes d’action (prévention, diagnostic, détection, correction…), ainsi que l’avancée des recherches en la matière.

Lire l’article

ABSTRACT

Auteur(s)

Laure BERTI-ÉQUILLE : Maître de Conférences, Université de Rennes I

INTRODUCTION

Les problèmes de qualité des données stockées dans les bases et les entrepôts de données se propagent de façon endémique à tous les types de données (structurées ou non) et dans tous les domaines d’application : données gouvernementales, commerciales, industrielles ou scientifiques. Il s’agit en particulier d’erreurs sur les données, de doublons, d’incohérences, de valeurs manquantes, incomplètes, incertaines, obsolètes, aberrantes ou peu fiables. Les conséquences de la non-qualité des données (ou de leur qualité médiocre) sur les prises de décision et les coûts financiers qu’elle engendre sont considérables : de l’ordre de 611 milliards de dollars par an pour l’économie américaine selon un rapport du TDWI (The Data Warehousing Institute) en 2002. Avec la multiplication des sources d’informations disponibles et l’accroissement des volumes de données potentiellement accessibles, la qualité des données et, plus largement, la qualité des informations ont pris une place de premier plan, d’abord, au sein des entreprises et, depuis ces dix dernières années, dans le monde académique [31, 2, 8, 28, 34]. Il n’est plus question de « laisser-faire », c’est-à-dire, utiliser aveuglément les données sans en connaître la qualité et les laisser se dégrader. Il est urgent de proposer des solutions théoriques et pratiques aux multiples problèmes de qualité des données (voir tableau 1).

L’objet de ce dossier est de présenter une synthèse des solutions proposées et les perspectives de recherche actuelles pour le contrôle et la gestion de la qualité des données dans les bases et entrepôts de données.

Lire l’article

VERSIONS

Il existe des versions antérieures de cet article :

Version courante de oct. 2018 par Laure BERTI-ÉQUILLE

PERMALIEN

https://www.techniques-ingenieur.fr/base-documentaire/archives-th12/archives-technologies-logicielles-et-architecture-des-systemes-tiahb/archive-1/qualite-des-donnees-h3700/

Lire l’article

Lire l'article

BIBLIOGRAPHIE

(1) - BARNETT (V.), LEWIS (T.) - Outliers in Statistical Data. - John Wiley and Sons (1994).
(2) - BATINI (C.), CATARCI (T.), SCANNAPICECO (M.) - A survey of data quality issues in cooperative information systems; - tutorial présenté à International Conference on Conceptual Modeling (ER) (2004).
(3) - BREUNIG (M.), KRIEGEL (H.), NG (R.), SANDER (J.) - LOF: Identifying density-based local outliers; - International Conference ACM SIGMOD, p. 93-104 (2000).
(4) - BERTI-ÉQUILLE (L.) - Modelling and measuring data quality for quality-awareness in data mining, - Quality Measures in Data Mining, Studies in Computational Intelligence, F. Guillet and H. Hamilton (eds), Springer (June 2006).
(5) - CARUSO (F.), COCHINWALA (M.), GANAPATHY (U.), LALK (G.), MISSIER (P.) - Telcordia’s database reconciliation and data quality analysis tool; - International Conference on Very Large databases (VLDB), p. 615-618 (2000).

ANNEXES

HAUT DE PAGE

Lire l’article

DÉTAIL DE L'ABONNEMENT :

TOUS LES ARTICLES DE VOTRE RESSOURCE DOCUMENTAIRE

Accès aux :

Articles et leurs mises à jour

Nouveautés

Archives

Formats :

HTML illimité

Versions PDF

Site responsive (mobile)

Info parution :

Toutes les nouveautés de vos ressources documentaires par email

DES SERVICES ET OUTILS PRATIQUES

Questions aux experts

Les meilleurs experts techniques
et scientifiques vous répondent

Articles Découverte

La possibilité de consulter des
articles en dehors de votre offre

Dictionnaire technique multilingue

45 000 termes en français, anglais,
espagnol et allemand

Votre site est 100% responsive,
compatible PC, mobiles et tablettes.

FORMULES

	Formule monoposte	Autres formules
Ressources documentaires
Consultation HTML des articles	Illimitée	Illimitée
Téléchargement des versions PDF	5 / jour	Selon devis
Accès aux archives	Oui	Oui
Info parution	Oui	Oui

Services inclus
Questions aux experts (1)	4 / an	Jusqu'à 12 par an
Articles Découverte	5 / an	Jusqu'à 7 par an
Dictionnaire technique multilingue	Oui	Oui
(1) Non disponible pour les lycées, les établissements d’enseignement supérieur et autres organismes de formation.
	Formule 12 mois monoposte 1 905 € HT AJOUTER AU PANIER	Autres formules (Multiposte, pluriannuelle) DEMANDER UN DEVIS

AJOUTER AU PANIER

DEMANDER UN DEVIS

Sommaire
Sommaire détaillé

INTRODUCTION

1 - LA GESTION DE LA QUALITÉ DES DONNÉES À LA CONVERGENCE DE PLUSIEURS DISCIPLINES

1.1 - Les bases de données
1.2 - Les statistiques et la fouille de données
1.3 - La gestion de processus

2 - APPROCHES GÉNÉRALES ET CAS PRATIQUE POUR DÉTECTER ET CORRIGER LES PROBLÈMES DE QUALITÉ DES DONNÉES

3 - MESURER LA QUALITÉ DU MODÈLE ET DES DONNÉES

3.1 - Évaluer la qualité d’un modèle conceptuel de données
3.2 - Mesurer la qualité d’une base de données relationnelle

4 - PRÉVENTION ET DIAGNOSTIC : TECHNIQUES DE DÉTECTION DES ANOMALIES

4.1 - Vérification de contraintes et gestion des métadonnées associées à la qualité
4.2 - Analyse statistique et fouille de données exploratoire

5 - CORRECTION : NETTOYAGE DES DONNÉES

5.1 - Extension des langages de manipulation des données pour l’extraction et la transformation
5.2 - Standardisation des valeurs d’attributs avec les modèles de Markov
5.3 - Comparatif des outils actuels pour le nettoyage

6 - GÉRER DES PROBLÈMES SPÉCIFIQUES : DOUBLONS, VALEURS MANQUANTES, INCOMPLÈTES ET EXCEPTIONS

6.1 - Jointures approximatives et élimination des doublons
6.2 - Valeurs manquantes
6.3 - Détecter les valeurs aberrantes ou isolées

7 - CONCLUSION

Publicité Devenez annonceur