Présentation
RÉSUMÉ
La capture volumétrique vidéo classique (vidéogrammétrie) est chère (5 k euros par minute minimum). Elle nécessite l’utilisation d’un studio 360° fond monochrome, d’une trentaine - a minima - de caméras “genlockées” (synchronisées à l’image près). Il existe cependant des caméras depth cam à coût abordable qui génèrent des nuages de points (point cloud).
Ce type de technologie (depth cam) peut-il générer des modèles 3D animés suffisamment qualitatifs pour la perception humaine ? Dans quelles conditions ? Quelles sont les améliorations possibles dans le workflow, de la captation à l’affichage d’un maillage (mesh) texturé animé ?
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleAuteur(s)
-
François BOUILLE : Directeur R&D pour le projet Holocap3D - à French Touch Factory, 41, rue du Faubourg Saint Martin 75010 Paris - en partenariat avec les Mines Paris – PSL
INTRODUCTION
Le procédé de Capture volumétrique consiste à scanner en 3D des objets à l’aide d’une matrice composée de plusieurs caméras. Cette méthode permet de capter des objets, tout comme des environnements réels. Le résultat est une représentation tridimensionnelle qui peut être intégrée à du contenu numérique visuel.
La capture volumétrique vidéo ou vidéo volumétrique est une technique qui capture un espace tridimensionnel dans le temps. Ce type de volumographie acquiert des données en mouvement qui peuvent être visualisées sur des écrans classiques ainsi qu'à l'aide d'écrans stéréoscopiques et de visiocasques (casques immersifs).
Cet article est réservé aux abonnés.
Il vous reste 93 % à découvrir.
Déjà abonné ? Se connecter
MOTS-CLÉS
réalité virtuelle réalité augmentée hologramme vidéo capture volumétrique caméra RGBD holoportation
DOI (Digital Object Identifier)
Présentation
Temps réel, direct live, optimisation GPU et IAArticle inclus dans l'offre
"Le traitement du signal et ses applications"
(162 articles)
Actualisée et enrichie d’articles validés par nos comités scientifiques.
Quiz, médias, tableaux, formules, vidéos, etc.
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.
Un ensemble de services exclusifs en complément des ressources.
4. Reconstruction de meshes et texturing
4.1 Filtrage des données
L’objectif n’est pas de faire un inventaire exhaustif des filtres mais d’examiner les principaux. Il est possible d’en imaginer bien d’autres avec d’autre propriétés et des résultats plus ou moins efficaces.
HAUT DE PAGE
La portée des caméra est de 20 m (sur l’axe Z) et, la plupart du temps, nous utilisons un mode de capture large (appelé wfov pour wide field of view) pour avoir le maximum d’envergure sur la scène captée.
Il existe également le mode NFOV pour narrow field of view.
Une fois les données alignées dans l’espace, il faut pouvoir nous débarrasser des données inutiles comme les objets entourant la scène. Par exemple, si l’on capture un comédien, nous souhaitons préserver uniquement le personnage.
Il s’agit là de mettre en place un filtre sur un ou plusieurs point clouds qui supprime les données en dehors d’un volume donné (par exemple un cube).
HAUT DE PAGE
Très efficace pour se débarrasser des données d’occlusion, le filtre fond vert (figure 6) ne reste utilisable, comme pour l’audiovisuel, que dans certaines conditions. Le personnage ne peut pas être vêtu de vert. Les fonds verts 360° sont parfois lourds à monter. Il est préférable de les éclairer, les vêtements blancs dans un fond 360° ont tendance à prendre la couleur verte.
HAUT DE PAGE
Très efficace, ce filtre de contour (figure 7) consiste à supprimer les données situées entre le plan qui nous intéresse et le fond. Il permet de se débarrasser des données d’occlusion sur 4 axes : haut, bas,...
Cet article est réservé aux abonnés.
Il vous reste 95 % à découvrir.
Déjà abonné ? Se connecter
Reconstruction de meshes et texturing
Article inclus dans l'offre
"Le traitement du signal et ses applications"
(162 articles)
Actualisée et enrichie d’articles validés par nos comités scientifiques.
Quiz, médias, tableaux, formules, vidéos, etc.
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.
Un ensemble de services exclusifs en complément des ressources.
BIBLIOGRAPHIE
-
(1) - CHOI (S.), ZHOU (Q.-Y.), KOLTUN (V.) - Robust reconstruction of indoor scenes. - CVPR (2015).
-
(2) - ZHOU (Q.-Y.), PARK (J.), KOLTUN (V.) - Fast global registration. - ECCV http://vladlen.info/papers/fast-global-registration.pdf (2016).
-
(3) - BESL (P.J.), MCKAY (N.D.) - A method for registration of 3D Shapes. - PAMI (1992).
-
(4) - CHEN (Y.), MEDIONI (G.G.) - Object modelling by registration of multiple range images. - Image and Vision Computing, 10(3) (1992).
-
(5) - RUSINKIEWICZ (S.), LEVOY (M.) - Efficient variants of the ICP algorithm. - In 3-D Digital Imaging and Modeling (2001).
-
(6) - PARK (J.), ZHOU (Q.-Y.), KOLTUN (V.) - Colored point cloud registration revisited. - ICCV (2017).
- ...
DANS NOS BASES DOCUMENTAIRES
Azure Kinect DK :
https://azure.microsoft.com/fr-fr/services/kinect-dk/
Spécifications matérielles des kinest Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/system-requirements
https://docs.microsoft.com/fr-fr/azure/kinect-dk/hardware-specification
Synchronisation avec un câble audio :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/multi-camera-sync
Matrice de déformation de Brow Comrady :
https://docs.derivative.ca/Lens_Distort_TOP
ou
https://www.foamcoreprint.com/blog/what-are-calibration-targets
Génération d’un point cloud à partir d’une depth :
https://medium.com/yodayoda/from-depth-map-to-point-cloud-7473721d3f
Fast Point Feature Histogram :
https://pcl.readthedocs.io/projects/tutorials/en/latest/fpfh_estimation.html
Détection de squelette par les Kinect Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/body-sdk-setup
...
Cet article est réservé aux abonnés.
Il vous reste 93 % à découvrir.
Déjà abonné ? Se connecter
Article inclus dans l'offre
"Le traitement du signal et ses applications"
(162 articles)
Actualisée et enrichie d’articles validés par nos comités scientifiques.
Quiz, médias, tableaux, formules, vidéos, etc.
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.
Un ensemble de services exclusifs en complément des ressources.
