Médias immersifs : vidéo 360° & audio 3D - Production : processus, outils, recommandations

Cet article propose une présentation de la partie production des systèmes audiovisuels immersifs. Le terme « immersif » est utilisé dans le cas des médias numériques pour décrire la capacité d’un système à absorber un utilisateur dans une scène audiovisuelle. « Média immersif » peut être lié à du contenu naturel et/ou généré par ordinateur. Dans cet article et les deux autres, [TE 5 690] et [TE 5 694], on s’intéresse essentiellement à la vidéo 360° et à l’audio 3D. L’immersion dans une scène est fortement renforcée par l’interactivité, qui peut aller d’un simple glissement de doigt sur une tablette pour découvrir une scène vidéo à 360° jusqu’à des rotations de la tête d’un utilisateur équipé d’un visiocasque pour naviguer dans la scène, accompagnées ou non de déplacement.

Le Cinéorama, breveté en 1897 par Raoul Brimoin-Sanson, avec écran circulaire balayé par 10 projecteurs cinématographiques synchronisés disposés en cercle, fut le premier procédé de projection d’images à 360°… bien avant le développement professionnel, puis grand public, de la vidéo 360° et des visiocasques à la fin du 20^e, puis au début du 21^e siècle. Pour l’audio 3D, si on considère la stéréo comme un ancêtre, on peut rappeler la retransmission sur lignes téléphoniques d’un opéra par Clément Ader en 1881, avec le Théâtrophone… jusqu’à l’émergence des effets audio en 3D dans les années 1990, dans les PC et les consoles de jeux. Quant à l’un des premiers systèmes immersifs et interactifs, on peut citer le Sensorama, breveté en 1962 par Morton Heilig, qui était un simulateur de balade en moto à travers New York, avec un écran, des générateurs de sons, de vent, d’odeurs… jusqu’aux plus récents des simulateurs de pilotage d’avion ou le simulateur de « vol d’oiseau » immersif Birdly (2016).

Le développement des médias immersifs a été favorisé par l’essor du numérique, en particulier dans le domaine des formats de compression de la vidéo numérique et des réseaux de distribution Internet, ainsi que par la diffusion des jeux vidéo et des dispositifs portables (visiocasques, tablettes et smartphones).

Parmi les applications des médias immersifs 360°, on peut citer la diffusion d’évènements (en parallèle ou non à un flux télévision), la cinématographie linéaire ou interactive, des applications éducatives, la communication interpersonnelle et de groupe (par exemple vidéoconférence, ou avec les jeux en ligne, ou dans un lieu de rencontre virtuel), les visites guidées, le visionnage de contenu à la demande sur visiocasque…

Au-delà de l’intérêt lors de la découverte d’une nouvelle technologie, la vidéo 360° et l’audio 3D créent une sensation de présence dans un espace (dans une autre dimension), de liberté (de choix du point de vue), d’implication dans une histoire. Toutefois, les médias immersifs sont sujets à des contraintes : la nécessité de normes et de plateformes de distribution, la capacité des réseaux pour transmettre le volume important de données, la perte de repères de l’utilisateur et le malaise sensoriel qui éventuellement en découle…

Malgré un regain d’intérêt en particulier dans les années 2010, les contraintes techniques, économiques et d’usage n’ont pas permis la progression espérée. Cette série des trois articles propose donc un panorama des éléments techniques relatifs aux médias immersifs vidéo et audio, ainsi qu’aux systèmes et processus de production et de distribution, pouvant rendre possible un nouvel essor.

Le premier article, [TE 5 690], en définit d’abord les composantes : le contenu omnidirectionnel (vidéo à 360° et audio 3D), le continuum du réel au virtuel et ses divers degrés (AR, MR, AV, VR) avec les facteurs d’immersion et d’interactivité, les interfaces utilisateurs (visiocasque, binaural…). Dans une deuxième partie il détaille les fonctions et les techniques : l’acquisition, le traitement, le codage et formatage, la distribution et l’utilisation. La dernière partie précise les normes de codage et de formatage.

La lecture de ce premier article est indispensable pour la bonne compréhension des deux articles suivants. De nombreux renvois entre les trois articles sont insérés dans chacun des articles.

Ce second article concerne la partie production dans les systèmes audiovisuels immersifs. Il est composé de quatre parties :

• la 1^ère partie décrit le workflow, le processus de production et de postproduction des médias vidéo à 360° et audio 3D ;

• la 2^e partie présente et détaille les outils associés à la captation (caméras 360°, microphones) puis au traitement de ces médias immersifs ;

• la 3^e partie propose des recommandations et bonnes pratiques pour l’acquisition et la création de vidéo 360° et d’audio 3D ;

• la 4^e partie spécifie des formats de production vidéo 360° et audio 3D.

Le troisième article,  [TE 5 694], décrit les formats, profils et normes utilisés pour la distribution en fichier et/ou sur réseau, en l’illustrant par deux études de cas.