Présentation

Article

1 - PRINCIPES ET COMPOSANTES – DÉFINITIONS

2 - FONCTIONS, SYSTÈMES ET TECHNIQUES

3 - NORMALISATION DES MÉDIAS OMNIDIRECTIONNELS ET IMMERSIFS

  • 3.1 - Formats de production
  • 3.2 - Formats de codage/compression (coding)
  • 3.3 - MPEG-I : Représentation codée des médias immersifs
  • 3.4 - Métadonnées de médias immersifs

4 - CONCLUSION

5 - LISTE DES ABRÉVIATIONS & ACRONYMES/GLOSSAIRE

Article de référence | Réf : TE5690 v1

Principes et composantes – Définitions
Médias immersifs et réalité virtuelle : vidéo 360° et audio 3D - Principes. Systèmes, techniques, normes

Auteur(s) : Jean-Noël GOUYET

Relu et validé le 01 févr. 2024

Pour explorer cet article
Télécharger l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !

Sommaire

Présentation

RÉSUMÉ

Cet article est le premier d’une série de trois, concernant les systèmes audiovisuels immersifs. Il en définit d’abord les composantes : le contenu omnidirectionnel (vidéo à 360° et audio 3D), le continuum du réel au virtuel et ses divers degrés avec les facteurs d’immersion et d’interactivité, les interfaces utilisateurs (visiocasque, binaural…). Dans une deuxième partie il détaille les fonctions et les techniques : l’acquisition, le traitement, le codage et formatage, la distribution et l’utilisation. La dernière partie précise les normes de codage et de formatage pour la distribution, en particulier celles de l’ensemble MPEG-I Immersive Media (OMAF…).

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

ABSTRACT

Immersive media: 360 video & 3D audio - Basics. Systems, techniques, standards

This article is the first of a series of three about immersive audiovisual systems. It first defines their components: the omnidirectional content (360° video and 3D audio), the continuum from reality to virtuality and its various degrees with the immersion and interactivity factors, the user interfaces (visiocasque, binaural...). In a second part it details the functions and techniques: captation, processing, coding and formatting, delivery and use. The last part specifies the coding and formatting standards for delivery, in particular those of the MPEG-I Immersive Media suite (OMAF...).

Auteur(s)

  • Jean-Noël GOUYET : Ingénieur-formateur et consultant en techniques et gestion des médias numériques - Ancien chargé d'études à la Direction de la Recherche de l'INA

INTRODUCTION

Cet article propose un panorama des « médias immersifs » et des systèmes associés de production et de distribution. Le terme « immersif » est utilisé dans le cas des médias numériques pour décrire la capacité d’un système à absorber totalement un utilisateur dans une scène audiovisuelle. « Média immersif » peut être lié à du contenu naturel et/ou généré par ordinateur. Dans cet article [TE 5 690] et les deux suivants [TE 5 692] et [TE 5 694]), on s’intéresse essentiellement à la vidéo 360° et à l’audio 3D. L’immersion dans une scène est fortement renforcée par l’interactivité, qui peut aller d’un simple glissement de doigt sur une tablette pour découvrir une scène vidéo à 360° jusqu’à des rotations de la tête d’un utilisateur équipé d’un visiocasque pour naviguer dans la scène, accompagnées ou non de déplacement.

Le Cinéorama, breveté en 1897 par Raoul Brimoin-Sanson, avec écran circulaire balayé par 10 projecteurs cinématographiques synchronisés disposés en cercle, fut le premier procédé de projection d’images à 360°… bien avant le développement professionnel puis grand public de la vidéo 360° et des visiocasques à la fin du 20e, puis au début du 21e siècle. Pour l’audio 3D, si on considère la stéréo comme un ancêtre, on peut rappeler la retransmission sur lignes téléphoniques d’un opéra par Clément Ader en 1881, avec le Théâtrophone… jusqu’à l’émergence des effets audio en 3D dans les années 1990, dans les PC et les consoles de jeux. Quant à l’un des premiers systèmes immersifs et interactifs, on peut citer le Sensorama, breveté en 1962 par Morton Heilig, qui était un simulateur de balade en moto à travers New York, avec un écran, des générateurs de sons, de vent, d’odeurs… jusqu’aux plus récents des simulateurs de pilotage d’avion ou le simulateur de « vol d’oiseau » immersif Birdly (2016).

Le développement des médias immersifs a été favorisé par l’essor du numérique, en particulier dans le domaine des formats de compression de la vidéo numérique et des réseaux de distribution Internet, ainsi que par la diffusion des jeux vidéo et des dispositifs portables (visiocasques, tablettes et smartphones).

Parmi les applications des médias immersifs 360°, on peut citer : la diffusion d’évènements (en parallèle ou non à un flux télévision), la cinématographie linéaire ou interactive, des applications éducatives, la communication interpersonnelle et de groupe (par exemple vidéoconférence, ou avec les jeux en ligne, ou dans un lieu de rencontre virtuel), les visites guidées, le visionnage de contenu à la demande sur visiocasque…

Au-delà de l’intérêt lors de la découverte d’une nouvelle technologie, la vidéo 360° et l’audio 3D créent une sensation de présence dans un espace (dans une autre dimension), de liberté (de choix du point de vue), d’implication dans une histoire. Toutefois, les médias immersifs sont sujets à des contraintes : la nécessité de normes et de plateformes de distribution, la capacité des réseaux pour transmettre le volume important de données, la perte de repères de l’utilisateur et le malaise sensoriel qui éventuellement en découle…

Malgré un regain d’intérêt en particulier dans les années 2010, les contraintes techniques, économiques et d’usage n’ont pas permis la progression espérée. Cette série des trois articles propose donc un panorama des éléments techniques au niveau des médias numériques vidéo et audio, au niveau des systèmes et des processus de production et de distribution, pouvant rendre possible un nouvel essor.

Cet article est le premier de la série de trois. Il est composé de trois parties :

  • la première partie définit d’abord les composantes des systèmes audiovisuels immersifs : le contenu omnidirectionnel (vidéo à 360° et audio 3D), le continuum du réel au virtuel et ses divers degrés : AR (Augmented Reality), MR (Mixed Reality), AV (Augmented Virtuality), VR (Virtual Reality), avec les facteurs d’immersion et d’interactivité, les interfaces-utilisateurs (visiocasque, binaural…) ;

  • dans la deuxième partie, il détaille les fonctions et les techniques : l’acquisition, le traitement, le codage et formatage, la distribution et l’utilisation ;

  • la dernière partie précise les normes de codage et de formatage, en particulier celles de l’OMAF (Omnidirectional MediA Format) dans l’ensemble de normes MPEG-I (Immersive Media).

La lecture de ce premier article est indispensable pour la bonne compréhension des deux articles suivants. De nombreux renvois entre les 3 articles sont insérés dans chacun des articles.

Le second article [TE 5 692], détaille les étapes du processus de production et de postproduction et les outils associés. Il propose ensuite quelques recommandations et bonnes pratiques de production ainsi que des exemples de formats de production.

Le troisième article [TE 5 694], décrit les formats, profils et normes utilisés pour la distribution en fichier et/ou sur réseau. Il analyse ensuite les aspects liés à la « consommation » de produits audiovisuels immersifs, tels que les interfaces et le malaise sensoriel. Après un panorama d’applications et de cas d’usage, il évalue les facteurs de qualité vidéo et audio et ceux de la qualité d’expérience.

Nota

Le lecteur trouvera en fin d’article une liste des principaux acronymes et abréviations utilisés tout au long de ce document. De nombreux termes et le texte de quelques figures ont été conservés en anglais (en caractères italiques), soit parce qu’ils sont couramment utilisés dans le milieu professionnel, soit pour éviter toute ambiguïté de la traduction française qui en est proposée, soit enfin pour aider à la lecture des spécifications ainsi que d’autres documents en anglais.

Pour le lecteur peu initié à la vidéo à 360° et à l’audio 3D, des sites Web sont référencés, en fin de la partie « Pour en savoir plus », où il pourra en visionner et en écouter quelques exemples.

Cet article est réservé aux abonnés.
Il vous reste 92% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

KEYWORDS

360°-video   |   3D audio   |   reality   |   virtuality   |   immersive audiovisual

DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v1-te5690


Cet article fait partie de l’offre

Le traitement du signal et ses applications

(156 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Lecture en cours
Présentation

1. Principes et composantes – Définitions

Dans cette section sont introduites diverses définitions relatives aux principes et aux composantes constituant les systèmes immersifs de la vidéo 360°, de l’audio 3D et de la Réalité-Virtualité. On pourra aussi se référer à de nombreux documents qui en proposent, en particulier (§ 3.1) ...

Cet article est réservé aux abonnés.
Il vous reste 94% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

Cet article fait partie de l’offre

Le traitement du signal et ses applications

(156 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Lecture en cours
Principes et composantes – Définitions
Sommaire
Sommaire

BIBLIOGRAPHIE

  • (1) - PRICE (D.) -   VR Industry Forum – Lexikon.  -  Version 1.0 2017-07-01 https://www.vr-if.org/wp-content/uploads/Lexicon-VRIF.pdf – Comprehensive Lexicon. https://www.itu.int/en/ITU-R/study-groups/workshops/2016-VR/Documents/VR%20Industry%20Forum%20ITU%20Presentation%20101716.pptx (2017).

  • (2) - VR Industry Forum -   Guidelines.  -  Version 2.3. https://www.vr-if.org/guidelines/ (2021).

  • (3) - OCULUS -   VR Glossary .  -  https://creator.oculus.com/learn/vr-glossary

  • (4) - The VR Glossary -   The ultimate resource for virtual reality terminology.  -  http://www.vrglossary.org/

  • (5) - BRENNESHOLTZ (M.) -   Definitions and Characteristics of Augmented and Virtual Reality Technologies.  -  https://members.cta.tech/ctaPublicationDetails/?id=0207a0dd-5058-e811-bd6d-0003ff52710a&reload=timezonehttps://vrroom.buzz/sites/default/files/cta-2069_pdf.pdf – CTA-2069 and other words for VR, AR and MR. May 2019 (+ Photos AR-MR). 11 July 2018. https://www.displaydaily.com/article/display-daily/cta-2069-and-other-words-for-vr-ar-and-mr...

NORMES

  • Audio Definition Model – Metadata Specification. https://tech.ebu.ch/docs/tech/tech3364v2_0.pdf - EBU TECH 3364 - June 2018

  • Digital Audio Compression (AC-4) Standard ; Part 1 : Channel based coding. https://www.etsi.org/deliver/etsi_ts/103100_103199/10319001/01.02.01_60/ts_10319001v010201p.pdf - ETSI TS 103 190-1 - 2015-06

  • Digital Audio Compression (AC-4) Standard ; Part 2 : Immersive and personalized audio. https://www.etsi.org/deliver/etsi_ts/103100_103199/10319002/01.01.01_60/ts_10319002v010101p.pdf - ETSI TS 103 190-2 - 2015-09

  • MDA ; Object-Based Audio Immersive Sound Metadata and Bitstream. https://www.etsi.org/deliver/etsi_ts/103200_103299/103223/01.01.01_60/ts_103223v010101p.pdf - ETSI TS 103 223 - 2015-04

  • Information technology – Coding of audio-visual objects – Part 12 : ISO base media file format. https://www.iso.org/standard/74428.html - ISO/IEC 14496-12 - 2020-09

  • Information technologies – JPEG systems – Part 6 : JPEG 360. https://www.iso.org/standard/75846.html - ISO/IEC 19566-6 - 2019-07

  • ...

1 Sites Internet : Vidéo 360°/Audio 3D

Cette liste de sites Web est destinée aux lecteurs peu familiers avec des expériences de vidéo 360°-I et/ou d’audio 3D. A noter que :

  • les plateformes de distribution mélangent souvent des produits en vidéo 360°-I et en infographie (ComputerGraphics CG/VR) ;

  • certains des produits de vidéo 360°-I peuvent être visionnés directement sur un écran (PC, tablette, smartphone), d’autres nécessitent l’utilisation d’un visiocasque ou d’une visionneuse avec smartphone.

Exemples de vidéos 360° (et/ou d’infographie VR)

Discovery VR (360 Videos)

https://www.youtube.com/playlist?list=PLiCk2I6PXl5qm0CTvO6zXt3k33GTmcIvk&app=desktop

ARTE VR/360/AR

https://www.arte.tv/sites/webproductions/category/vr/

BBC News in 360 Video

https://www.youtube.com/playlist?list=PLS3XGZxi7cBXqnRTtKMU7Anm-R-kyhkyC

https://bbcnewslabs.co.uk/projects/360-video-and-vr/

http://www.bbc.co.uk/connectedstudio/projects/virtual-reality

360 Videos BBC

https://www.youtube.com/playlist?list=PL5A4nPQbUF8Bc6Z3bCRyC1Wb1kZ8jFNO4

Paris...

Cet article est réservé aux abonnés.
Il vous reste 93% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

Cet article fait partie de l’offre

Le traitement du signal et ses applications

(156 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS