Contactez-nous
Notre conseil
Le scraping, des méthodes et des outils au service de la veille
FIC1275 v1 Fiche pratique

Notre conseil
Le scraping, des méthodes et des outils au service de la veille

Auteur(s) : David COMMARMOND

Date de publication : 10 août 2024 | Read in English

Logo Techniques de l'Ingenieur Cet article est réservé aux abonnés
Pour explorer cet article plus en profondeur Consulter l'extrait gratuit

Déjà abonné ?

Présentation

1 - Cadrer sa pratique du scraping

  • 1.1 - De bonnes pratiques

2 - Organiser ses données

3 - Nettoyer les données

4 - Choisir les langages et les outils

5 - Rester dans une utilisation éthique

  • 5.1 - Un rappel sur le droit des données
  • 5.2 - Les Creative Commons

6 - Notre conseil

  • 6.1 - Procédez au nettoyage de vos données
  • 6.2 - Présentez les résultats

7 - Erreurs à éviter

  • 7.1 - Ne présumez pas de vos forces et de votre temps

8 - Glossaire

Sommaire

Présentation

Auteur(s)

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

INTRODUCTION

La donnée est devenue le « pétrole » du XXIe siècle. Malgré cette formule, de nombreuses entreprises ignorent encore qu’elles possèdent et qu’elles peuvent trouver sur le Web de gigantesques dépôts d’informations et de données sous-exploitées ou dormant. Des entrepôts qui se sont stratifiés au cours des décennies d’évolution technique et qui, peu à peu, au gré de la vie des entreprises, ont connu diverses destinées, parfois disparues, souvent oubliées. Les questions de cybersécurité ont toutefois engagé une réflexion sur le sujet.

Le « grattage Web » peut être entendu et connu sous plusieurs termes ou technologies qui pourraient refléter ce que vous cherchez :

  • screen scraping ;

  • collecte de données et collecte de données automatisée ;

  • Data Mining ;

  • grattage de site Web ;

  • extraction des données ;

  • données Crawling.

Logo Techniques de l'Ingenieur

Cet article est réservé aux abonnés.
Il vous reste 93 % à découvrir.

Pour explorer cet article Consulter l'extrait gratuit

Déjà abonné ?


DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v1-fic1275

Lecture en cours
Présentation

Article inclus dans l'offre

"Management et ingénierie de l'innovation"

(450 articles)

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques.

Des contenus enrichis

Quiz, médias, tableaux, formules, vidéos, etc.

Des modules pratiques

Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

Des avantages inclus

Un ensemble de services exclusifs en complément des ressources.

Voir l'offre

6. Notre conseil

6.1 Procédez au nettoyage de vos données

Avoir des données à disposition, c’est bien, mais savoir en tirer les informations principales, c’est essentiel. Vos données ne seront jamais directement exploitables sans une phase préalable de nettoyage. Vous pouvez apprendre à nettoyer vos données à l’aide de cours ou de MOOC disponibles sur Internet.

Réfléchissez aussi aux données que vous diffusez. Profitez de ce moment et processus pour faire un audit de votre présence sur le Web, de votre cybersécurité. Mettez-vous dans la peau d’un concurrent qui s’intéresse à votre segment. Que peut-il déduire de vos informations avec celles provenant de sources extérieures ?

HAUT DE PAGE

6.2 Présentez les résultats

Jusqu’à encore récemment, c’est-à-dire avant l’arrivée de l’intelligence artificielle, le nettoyage et la création de graphiques pouvaient prendre beaucoup de temps. L’arrivée de l’IA a permis de révolutionner cette approche. Toutefois, si les bénéfices sont indubitables, la solution n’est pas parfaite. Des erreurs sont possibles dans le traitement et le résultat obtenu, mais les prochaines évolutions devraient diminuer ce risque dans les mois à venir.

HAUT DE PAGE
Logo Techniques de l'Ingenieur

Cet article est réservé aux abonnés.
Il vous reste 94 % à découvrir.

Pour explorer cet article Consulter l'extrait gratuit

Déjà abonné ?


Lecture en cours
Notre conseil

Article inclus dans l'offre

"Management et ingénierie de l'innovation"

(450 articles)

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques.

Des contenus enrichis

Quiz, médias, tableaux, formules, vidéos, etc.

Des modules pratiques

Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

Des avantages inclus

Un ensemble de services exclusifs en complément des ressources.

Voir l'offre

Sommaire
Sommaire

    1 Bibliographie

    HAUT DE PAGE
    Logo Techniques de l'Ingenieur

    Cet article est réservé aux abonnés.
    Il vous reste 92 % à découvrir.

    Pour explorer cet article Consulter l'extrait gratuit

    Déjà abonné ?


    Article inclus dans l'offre

    "Management et ingénierie de l'innovation"

    (450 articles)

    Une base complète d’articles

    Actualisée et enrichie d’articles validés par nos comités scientifiques.

    Des contenus enrichis

    Quiz, médias, tableaux, formules, vidéos, etc.

    Des modules pratiques

    Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

    Des avantages inclus

    Un ensemble de services exclusifs en complément des ressources.

    Voir l'offre