Présentation

Article

1 - DISTRIBUTION

2 - APPLICATIONS ET USAGES

3 - UTILISATION

4 - QUALITÉ

5 - CONCLUSION

6 - LISTE DES ABRÉVIATIONS & ACRONYMES/GLOSSAIRE

Article de référence | Réf : TE5694 v1

Conclusion
Médias immersifs et réalité virtuelle : vidéo 360° et audio 3D - Distribution. Usages. Qualité

Auteur(s) : Jean-Noël GOUYET

Relu et validé le 01 févr. 2024

Pour explorer cet article
Télécharger l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !

Sommaire

Présentation

RÉSUMÉ

Cet article est le troisième et dernier article d’une série de trois, concernant les systèmes audiovisuels immersifs. Il décrit d’abord les formats et les normes nécessaires au codage et au formatage des médias immersifs (vidéo 360°, audio 3D), en vue de leur distribution. Deux cas d’étude illustrent d’une part le streaming ou le téléchargement de contenu 360°, et d’autre part l’association contenu 360° et télévision en direct. Puis, l’article présente un panorama d’applications et cas d’usage et décrit les interfaces-utilisateurs nécessaires à l’utilisation des expériences audiovisuelles immersives. Il explicite enfin les facteurs de la qualité vidéo et audio, ainsi que ceux de la qualité d’expérience.

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

ABSTRACT

Immersive media: 360 video & 3D audio - Delivery. Use cases. Quality

This article is the third and last one of a series of three about immersive audio-visual systems. It first describes the formats and standards needed to encode and format immersive media (360° video, 3D audio) for distribution. Two case studies illustrate on the one hand the streaming or downloading of 360° content, and on the other hand the association of 360° content and live TV. Then, the article presents a panorama of applications and use cases and describes the user interfaces required to "consume" immersive audio-visual experiences. Finally, it explains the factors of video and audio quality, as well as thoses of the quality of experience.

Auteur(s)

  • Jean-Noël GOUYET : Ingénieur-formateur et consultant en techniques et gestion des médias numériques - Ancien chargé d'études à la Direction de la Recherche de l'INA

INTRODUCTION

Cet article propose une présentation des parties distribution et utilisation des systèmes audiovisuels immersifs. Le terme « immersif » est utilisé dans le cas des médias numériques pour décrire la capacité d’un système à absorber un utilisateur dans une scène audiovisuelle. « Média immersif » peut être lié à du contenu naturel et/ou généré par ordinateur. Dans cet article et les deux autres, [TE 5 690] et [TE 5 692], on s’intéresse essentiellement à la vidéo 360° et à l’audio 3D. L’immersion dans une scène est fortement renforcée par l’interactivité, qui peut aller d’un simple glissement de doigt sur une tablette pour découvrir une scène vidéo à 360° à des rotations de la tête d’un utilisateur équipé d’un visiocasque pour naviguer dans la scène, accompagnées ou non de déplacement.

Le Cinéorama, breveté en 1897 par Raoul Brimoin-Sanson, avec écran circulaire balayé par 10 projecteurs cinématographiques synchronisés disposés en cercle, fut le premier procédé de projection d’images à 360°… bien avant le développement professionnel puis grand public de la vidéo 360° et des visiocasques à la fin du 20e puis au début du 21e siècle. Pour l’audio 3D, si on considère la stéréo comme un ancêtre, on peut rappeler la retransmission sur lignes téléphoniques d’un opéra par Clément Ader en 1881, avec le Théâtrophone… jusqu’à l’émergence des effets audio en 3D dans les années 1990, dans les PC et les consoles de jeux. Quant à l’un des premiers systèmes immersifs et interactifs, on peut citer le Sensorama, breveté en 1962 par Morton Heilig, qui était un simulateur de balade en moto à travers New York, avec un écran, des générateurs de sons, de vent, d’odeurs… jusqu’aux plus récents des simulateurs de pilotage d’avion ou le simulateur de « vol d’oiseau » immersif Birdly (2016).

Le développement des médias immersifs a été favorisé par l’essor du numérique, en particulier dans le domaine des formats de compression de la vidéo numérique et des réseaux de distribution Internet, ainsi que par la diffusion des jeux vidéo et des dispositifs portables (visiocasques, tablettes et smartphones).

Parmi les applications des médias immersifs 360°, on peut citer la diffusion d’événements (en parallèle ou non à un flux télévision), la cinématographie linéaire ou interactive, des applications éducatives, la communication inter-personnelle et de groupe (par exemple vidéoconférence, ou avec les jeux en ligne, ou dans un lieu de rencontre virtuel), les visites guidées, le e-marketing, le visionnage de contenu à la demande sur visiocasque…

Au-delà de l’intérêt lors de la découverte d’une nouvelle technologie, la vidéo 360° et l’audio 3D créent une sensation de présence dans un espace (dans une autre dimension), de liberté (de choix du point de vue), d’implication dans une histoire. Toutefois, les médias immersifs sont sujets à des contraintes : la nécessité de normes et de plateformes de distribution, la capacité des réseaux pour transmettre le volume important de données, la perte de repères de l’utilisateur et le malaise sensoriel qui éventuellement en découle…

Malgré un regain d’intérêt en particulier dans les années 2010, les contraintes techniques, économiques et d’usage n’ont pas permis la progression espérée.

La série des trois articles propose donc un panorama des éléments techniques relatifs aux médias immersifs vidéo et audio, ainsi qu’aux systèmes et processus de production et de distribution, pouvant rendre possible un nouvel essor.

Le premier article, [TE 5 690], en définit d’abord les composantes : le contenu omnidirectionnel (vidéo à 360° et audio 3D), le continuum du réel au virtuel et ses divers degrés (AR, MR, AV, VR) avec les facteurs d’immersion et d’interactivité, les interfaces utilisateurs (visiocasque, son binaural…). Dans une deuxième partie, il détaille les fonctions et les techniques : l’acquisition, le traitement, le codage et formatage, la distribution et l’utilisation. La dernière partie précise les normes de codage et de formatage.

La lecture de ce premier article est indispensable pour la bonne compréhension des deux articles suivants. De nombreux renvois entre les trois articles sont insérés dans chacun des articles.

Le second article [TE 5 692] concerne la production pour les systèmes audiovisuels immersifs. Il décrit d’abord d’une part le workflow, le processus de production et de postproduction des médias incluant la vidéo à 360° et l’audio 3D, et d’autre part les outils associés à la captation (caméras 360°, microphones) puis au traitement de ces médias immersifs. Il propose ensuite des recommandations et bonnes pratiques pour l’acquisition et la création vidéo et audio. La dernière partie spécifie des formats de production vidéo et audio.

Ce troisième et dernier article, est composé de quatre parties :

  • la première partie décrit les formats, les normes et les systèmes utilisés pour la distribution en fichier et/ou sur réseaux, en l’illustrant par deux études de cas ;

  • la deuxième partie présente un panorama d’applications et de cas d’usage ;

  • la troisième partie analyse les aspects liés à l’utilisation de produits audiovisuels immersifs, tels que les interfaces de visionnage et d’écoute, ainsi que le malaise sensoriel ;

  • la quatrième partie évalue les facteurs de qualité vidéo et audio et ceux de la qualité d’expérience.

Nota 1

le lecteur trouvera en fin d’article une liste des principaux acronymes et abréviations utilisés tout au long de ce document. De nombreux termes et le texte de certaines figures ont été conservés en anglais (en caractères italiques), soit parce qu’ils sont couramment utilisés dans le milieu professionnel, soit pour éviter toute ambiguïté de la traduction française qui en est proposée, soit enfin pour aider à la lecture des spécifications ainsi que d’autres documents en anglais.

Nota 2

des produits ou services spécifiques peuvent être cités dans cet article uniquement à titre d'illustration et ne représentent pas une promotion, une recommandation ou une approbation de l’auteur de ce document. Tous les articles ou sites spécialisés les évaluant (indiqués en référence dans la partie annexe « Pour en savoir plus ») n’engagent donc que leurs auteurs respectifs.

Cet article est réservé aux abonnés.
Il vous reste 94% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

KEYWORDS

quality   |   360°-video   |   3D audio   |   immersive audiovisual   |   immersive media   |   delivery   |   use cases

DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v1-te5694


Cet article fait partie de l’offre

Le traitement du signal et ses applications

(157 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

5. Conclusion

Ce dernier article a décrit les formats, profils et normes utilisés pour la distribution en fichier ou en streaming sur réseaux, en l’illustrant par deux études de cas. Il a ensuite analysé les aspects liés à l’utilisation de produits audiovisuels immersifs, tels que les interfaces et le malaise sensoriel. Après un panorama d’applications et cas d’usage, il a évalué les facteurs de la qualité vidéo et audio ainsi que ceux de la qualité d’expérience. L’engouement et le battage médiatique, en particulier dans les années 2016-2018, autour de l’expérimentation et de l’utilisation de la vidéo 360° et de l’audio 3D dans différents domaines dont le broadcasting, a toutefois mis en relief les facteurs freinant ou empêchant le développement des applications et des systèmes audiovisuels immersifs  :

  • une qualité visuelle/auditive trop réduite ;

  • le manque au départ de normes internationales de codage/formatage des médias audiovisuels immersifs ;

  • le manque de workflows bien établis de production-distribution ;

  • des débits requis importants via les réseaux ;

  • des plateformes de distribution d’applications non compatibles entre elles ;

  • le malaise potentiel lors de l’utilisation de telles applications (cybersickness, motion sickness) ;

  • une adoption faible par les utilisateurs finaux (port du visiocasque, durée réduite d’expérience conseillée) ;

  • le coût élevé de production par minute ;

  • un retour sur investissement incertain.

Ces contraintes ont, par exemple, entraîné mi-octobre 2019 l’arrêt de deux initiatives, celle de la plateforme Daydream VR de Google et celle de la production de contenu en réalité virtuelle par la BBC ...

Cet article est réservé aux abonnés.
Il vous reste 94% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

Cet article fait partie de l’offre

Le traitement du signal et ses applications

(157 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Lecture en cours
Conclusion
Sommaire
Sommaire

BIBLIOGRAPHIE

  • (1) - Report ITU-R BT.2420-0 -   Collection of usage scenarios and current statuses of advanced ilmmersive audio-visual systems.  -  https://www.itu.int/dms_pub/itu-r/opb/rep/R-REP-BT.2420-2018-PDF-E.pdf (2018).

  • (2) - ISO/IEC N17685 -   Proposed Draft 1.0 of TR : Technical Report on Architectures for Immersive Media.  -  https://mpeg.chiariglione.org/standards/mpeg-i/technical-report-immersive-media/text-pdtr-isoiec-23090-1-immersive-media (2018).

  • (3) - WIEN (M.) et al -   Standardization Status of Immersive Video Coding.  -  https://www.researchgate.net/publication/331077673_Standardization_Status_of_Immersive_Video_Coding (2019).

  • (4) - Fraunhofer HHI -   VVC Overview.  -  https://www.hhi.fraunhofer.de/en/departments/vca/technologies-and-solutions/h266-vvc/h266-vvc.html

  • (5) - WANG (Y.-K.) -   An Overview of Omnidirectional MediA Format (OMAF). Qualcomm, VCIP.  -  https://fr.scribd.com/presentation/382477965/m41993-OMAF-overview-20171210-d06 – An Overview of the OMAF Standard for 360° Video. March 2019 https://www.researchgate.net/publication/333068234_An_Overview_of_the_OMAF_Standard_for_360_Video...

NORMES

  • The relative timing of the sound and vision components of a television signal. https://tech.ebu.ch/docs/r/r037.pdf - EBU Rec. R37-2007 - February 2007

  • Universal Mobile telecommunications System (UMTS) ; LTE ; Codec for Enhanced Voice Services (EVS) ; Performance characterization https://www.etsi.org/deliver/etsi_TR/126900_126999/126952/12.00.00_60/tr_126952v120000p.pdf - ETSI TR 126 952 3GPP TR 26.952 - 2015-01 2019-06

  • Universal Mobile telecommunications System (UMTS) ; LTE ; IP Multimedia Subsystem (IMS) ; Multimedia telephony ; Media handling and interaction. https://www.etsi.org/deliver/etsi_ts/126100_126199/126114/14.03.00_60/ts_126114v140300p.pdf - ETSI TS 126 114 3GPP TS 26.114 - 2017-04

  • Universal Mobile telecommunications System (UMTS) ; LTE ; Transparent end-to-end Packet-switched Streaming Service (PSS) ; Progressive Download and Dynamic Adaptive Streaming over HTTP (3GP-DASH). https://www.etsi.org/deliver/etsi_TS/126200_126299/126247/15.04.00_60/ts_126247v150400p.pdf - ETSI TS 126 247 3GPP TS 26.247 - 2018-10

  • Universal Mobile telecommunications System (UMTS) ; LTE ; EVS Codec General Overview. https://www.etsi.org/deliver/etsi_ts/126400_126499/126441/12.00.00_60/ts_126441v120000p.pdf - ETSI TS 126 441 3GPP TS 26.441 - 2014-10

  • ...

Cet article est réservé aux abonnés.
Il vous reste 93% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

Cet article fait partie de l’offre

Le traitement du signal et ses applications

(157 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS