Qu’est-ce que la notion de web invisible ?
Connaître le fonctionnement des moteurs de recherche web

Malgré la puissance des robots, il n’est pas possible pour les moteurs d’explorer la totalité des pages web. Le web « invisible », appelé également parfois web « profond » ( deep web ), correspond aux pages non localisables ou indexables par les robots.

Plusieurs types de contenus peuvent en faire partie, notamment :

• les pages qui ont été volontairement exclues par le webmaster ; tout éditeur peut en effet décider d’interdire l’indexation de son site – ou d’une partie de son site – par un robot ; il lui suffit de le préciser dans les balises meta des pages ;

• les sites pour lesquels il est nécessaire de s’identifier préalablement (que l’accès soit payant ou non) ;

• les pages qui ne sont pas indexées par les robots...