Références
Présentation
Auteur(s)
-
David COMMARMOND : Chargé de mission, Réseau Acrie
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleINTRODUCTION
La donnée est devenue le « pétrole » du XXIe siècle. Malgré cette formule, de nombreuses entreprises ignorent encore qu’elles possèdent et qu’elles peuvent trouver sur le Web de gigantesques dépôts d’informations et de données sous-exploitées ou dormant. Des entrepôts qui se sont stratifiés au cours des décennies d’évolution technique et qui, peu à peu, au gré de la vie des entreprises, ont connu diverses destinées, parfois disparues, souvent oubliées. Les questions de cybersécurité ont toutefois engagé une réflexion sur le sujet.
Le « grattage Web » peut être entendu et connu sous plusieurs termes ou technologies qui pourraient refléter ce que vous cherchez :
-
screen scraping ;
-
collecte de données et collecte de données automatisée ;
-
Data Mining ;
-
grattage de site Web ;
-
extraction des données ;
-
données Crawling.
L'expertise technique et scientifique de référence
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Management et ingénierie de l'innovation
(450 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Des modules pratiques
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Nettoyer les données2. Organiser ses données
Pour organiser ses données, il faut comprendre les notions de structuré, non structuré et semi-structuré. L’homogénéité des données est un impératif ; c’est dans ce sens que la notion de structuration intervient.
Agréger des données provenant de plusieurs sources amène à être confronté aux notions de formats, Mac, PC, Linux. Dans ce domaine, il existe des milliers de formats plus ou moins compatibles entre eux selon les éditeurs, les versions propriétaires ou libres de droits.
Par ailleurs, la saisie de chaque utilisateur doit être prise en compte : ainsi, Paris, PARIS, paris, apris, sont autant de variantes dans la création d’une rubrique VILLE, Ville, VILLE_France ou VILLE_FRANCE ou PAYS_VILLE, de même que la saisie des données numériques comme 0,1 ; 1,0 ; 1.
La difficulté arrive avec la volonté d’automatiser le processus, quand la mise à jour des données nécessite de reprendre constamment son contenu et que l’agrégation des différentes sources explose le cadre créé. Dans ce domaine, les erreurs sont nombreuses et multiples, l’intégration de nouvelles sources multipliant encore les risques.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Management et ingénierie de l'innovation
(450 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Des modules pratiques
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Organiser ses données
DANS NOS BASES DOCUMENTAIRES
ANNEXES
-
Using Scrapy to acquire online data and export to multiple output files, Matthew J. Holland.
-
Data Mining, explorer les données du Data Warehouse par Alain Fernandez
-
A web scraping toolkit for journalists, Ebook de Kira Schacht
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Management et ingénierie de l'innovation
(450 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Des modules pratiques
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
