Les laboratoires Deluxe parlent du HDR et du Dolby Vision

La série encore inédite "Iron Fist" est le premier programme de Netflix conçu pour le Dolby Vision dès le tournage. Le directeur de la photo Manuel Billeter travaille pour le HDR dès le départ, et non en vue d’un réétalonnage d’une version SDR. Mais le cas d’étude pour la postproduction était "Daredevil", qui a été réétalonné pour le HDR par Tony d’Amore, étalonneur chez Deluxe à Los Angeles. Les journalistes étaient placés dans une salle de postproduction à New York et Tony d’Amore montrait une session d’étalonnage, à distance, expliquant le processus Dolby Vision.

La légitimité de la réputation de Deluxe quant au HDR ? La société a travaillé sur plus de 100 titres HDR, dont, dans ses bureaux de New York, la saison 2 de "Marco Polo", qui est présentée comme le premier programme diffusé en Dolby Vision.

Tony d’Amore a présenté le logiciel essentiel de matriçage de contenu (content mapping), qui analyse l’image, génère les métadonnées qui permettent d’afficher correctement les images et redéfinit les niveaux de luminance afin de satisfaire les capacités spécifiques des téléviseurs équipés en Dolby Vision. Le moniteur de référence utilisé par Deluxe pour l’étalonnage HDR est le Dolby Pulsar, dont la luminance atteint 4 000 nits (ou candela/m²), ce qui dépasse de loin les possibilités des moniteurs grand public. Quand bien même, il n’atteint pas la limite maximale des spécifications du HDR, qui peut diffuser jusqu’à 10 000 nits. Pour comparer, Martin Zeichner, étalonneur chez Deluxe, indique que le Rec 709 autorise des pics de luminance de 100 nits et que les projecteurs de spectacle au laser peuvent atteindre 1 600 nits. L’astuce est de générer des métadonnées qui permettent de diffuser correctement les images dans des conditions de diffusion variées.

« Nous anticipons l’avenir, au cas où quelqu’un aurait un jour un téléviseur de 4 000 nits, nous étalonnons pour ça. », dit d’Amore. « Même si vous avez un téléviseur de 600 nits, le matriçage pousse les limites de l’appareil que vous regardez. En général, tout ce qui dépasse 500 nits va être vraiment impressionnant. »

Quelle luminance est trop forte ? Les hautes lumières spéculaires du Pulsar sont parfois littéralement éblouissantes, rendant difficile une vision nette sur l’écran très brillant dans la pièce sombre. En réponse à la question de StudioDaily sur la possible émergence de meilleures pratiques afin de limiter les niveaux de luminance, Tony d’Amore répond que le HDR nécessite simplement de s’y habituer. « Tous les directeurs de la photo avec qui j’ai travaillé jusqu’à présent sur les programmes que j’ai faits en HDR ont dit la même chose. La première réaction en général était "je n’aime pas ça, c’est trop lumineux, ça m’aveugle", mais ce qu’on remarque, c’est que plus on le regarde, plus les yeux s’habituent, et ça devient réaliste. »

StudioDaily est resté après la démonstration pour poursuivre la conversation avec Martin Zeichner et Jay Tilin, responsable des services Montage pour Deluxe et Company 3 à New York, sur l’expérience de Deluxe quant à l’implémentation de son workflow HDR.

StudioDaily : Pour l’étalonneur et le prestataire de postproduction, en quoi cela complique-t-il le workflow en ce qui concerne la gestion des couleurs – s’assurer du respect de l’espace colorimétrique, des normes qui permettent de travailler correctement en HDR ? Et, par ailleurs, quand un directeur de la photo qui n’est pas familier avec cette technologie vient à l’étalonnage, que faites-vous pour qu’ils se sente à l’aise et puisse rester créatif à cette étape ?

Jay Tilin : Ces deux questions sont liées. Commençons par le commencement…

Martin Zeichner : Pour nous, tout a commencé en février 2015. Nous avions fait la première saison de "Marco Polo" en 2014 et nous nous préparions à faire la deuxième saison. Dolby savait que Netflix voulait que la deuxième saison de "Marco Polo" soit étalonnée pour le HDR. Alors, ils nous ont invités dans leurs bureaux de New York pour voir le moniteur Pulsar et un moniteur Maui, pour voir vers quoi on allait.

JT : C’était les présentations. Ba da boum ! Voici le HDR, voilà ce qu’il peut faire, ce qu’il peut être.

MZ : Ils avaient un épisode de la première saison de Marco Polo qui avait été ré-étalonné pour le HDR. Je connaissais la version standard SDR et c’était une surprise intéressante de voir ce que ça pouvait donner en HDR. A partir de là, nous avons été invités à conduire nos propres recherches, en relation avec les ingénieurs de Dolby. Nous avons eu beaucoup de discussions entre nous, et avec les producteurs de Marco Polo, des directeurs de la photo… Et Netflix. Et nous avions pleins de questions. Nous avons trouvé des moyens de résoudre nous-mêmes ces problèmes, ou de définir les questions que nous aurions besoin de poser aux ingénieurs de Dolby.

JT : Nous avons parlé des objectifs à atteindre, de ce que nous voulions obtenir, puis démarré nos propres recherches. Nous sommes retournés à nos études, sur les caméras, en quoi la quantification (bit rate) et la résolution intervenaient dans le processus, en quoi l’environnement de visionnage intervenait, et avons cherché à nous documenter autant que possible sur ce que le processus impliquerait, avant même de toucher aux outils avec lesquels nous pourrions créer des images.

MZ : Et avant même le tournage de la deuxième saison.

JT : Avant le démarrage de la production. Tout cela, je pense, parce que nous voulions réduire l’impact, pour les directeurs de la photo et les réalisateurs, de la nature compliquée de ce que cela pouvait représenter. Nous avons appris sur les LUTs et l’espace colorimétrique PQ et sur ce que nous allions obtenir d’une caméra enregistrant dans ces espaces colorimétriques. Nous avons mobilisé nos équipes de recherche des laboratoires Efilm (filiale de Deluxe NdT) dans les domaines de l’image et de la couleur, et la production de "Marco Polo" avait déjà décidé de tourner avec la caméra parfaite pour le HDR, la Sony F55, qui est une vraie caméra 16 bits. Ils travaillaient déjà en Raw. Ils avaient déjà, en fait, tourné en HDR pour la saison 1.
Nous avons alors consulté tous les revendeurs et tous les fabricants et conduit des recherches et récolté autant d’information que possible, non seulement pour comprendre le HDR, mais aussi pour le rendre le plus simple possible pour les créatifs. Nous ne voulions pas surcharger le directeur de la photo s’il ne le souhaitait pas ou n’en avait pas besoin. Le directeur photo veut savoir à quoi son image va ressembler. Nous prenions en charge les détails techniques.

MZ : Nous voulons partir des détails techniques pour résoudre des problèmes esthétiques et présenter une image aux directeurs de la photo et aux producteurs exécutifs, qui ne sont pas nécessairement concernés par nos problèmes. Il y avait trois directeurs de la photo (…) qui travaillaient avec moi environ une semaine pour chaque épisode, et j’ai trouvé que, à fur et à mesure du temps, ils étaient de plus en plus volontaires à exploiter le HDR. Au départ, ils étaient assez conservateurs, puis ont eu de plus en plus envie d’exploiter le HDR. C’est ce que Dolby attendait. Ils voulaient que "Marco Polo" devienne leur vitrine HDR.

Ce n’est pas seulement que les directeurs de la photo n’ont pas vu ce type de rendu sur un téléviseur, ils ne l’ont pas non plus vu en salle. Ce que la caméra est capable de capturer en termes de dynamique, nous ne l’avons simplement pas…

JT : Nous n’en avons pas tiré tous les avantages. C’est un point important. Les caméras numériques modernes sont par essence capables de capturer le contenu utile au HDR.

MZ : Même si les images ne sont pas vues comme ça.

JT : Les données sont là. Les caméras capturent la profondeur de bits suffisante.

MZ : On peut même dire que la réalité est HDR, et que tout ce que nous avons vu jusqu’à présent n’en est qu’une ombre.

Du fait de l’espace colorimétrique.

MZ : Parce que nous sommes limités par nos téléviseurs et moniteurs. Maintenant que les téléviseurs peuvent en offrir plus, nous pouvons leur fournir plus.

Est-ce que Resolve est votre environnement exclusif en HDR ?

MZ : J’ai aussi travaillé en HDR avec Baselight. L’autre plateforme d’étalonnage avec laquelle je suis familier, c’est l’Autodesk de Lustre, mais je n’ai pas encore vu leurs outils HDR.

JT : Je crois qu’ici, à New York, c’est principalement Resolve, mais en général, c’est Resolve et Baselight.

Alors, c’est aussi simple que de dire à Resolve « OK, maintenant on travaille en Dolby Vision » ?

MZ : Si c’était si simple… Je crois que la science des couleurs et les ingénieurs ont posé les bases pour Resolve et Baselight en HDR comme une pratique d’un autre genre, la balle est maintenant dans le camp des étalonneurs. Ce n’est pas un processus simple. C’est un processus encore en développement.

Mais ça doit paraître simple pour le client, vous vous réservez tout ça…

JT : Oui, c’est notre but.

MZ : Mais ça représente beaucoup de travail de le rendre aussi simple.

Et de leur donner les images qui correspondent à ce qui sera diffusé.

MZ : De sorte qu’ils puissent dire : « Oh, je n’aime pas ça. Que peux-tu faire avec ça ? », et que je puisse répondre : « Je peux faire ça… Ou ça… », comme un virtuose.

JT : Tu te demandes aussi comment ça marche pour une société de service, et d’un point de vue économique. Dolby a fait un travail incroyable pour développer un système aussi simple d’utilisation que possible. Mais maintenant, nous sommes arrivés aux questions qui touchent aux finalités commerciales qu’ils n’ont pas comprises, en fait. Quand tu entres dans la salle d’étalonnage avec l’étalonneur et le directeur photo, que tu étalonnes et crées de belles images, c’est certainement un premier objectif, mais ce n’est que le premier pas.

MZ : Au crédit de Dolby, ils voulaient bien apprendre. Ils étaient très ouverts aux suggestions que nous avons faites. Dolby vient du son, et il leur fallait changer de direction. Il leur a fallu recruter des spécialistes de la couleur et des ingénieurs de la vidéo pour s’attaquer à ça, et ils ont fait un boulot incroyable.

JT : Ils ont déjà mis au point la technologie, et nous devions trouver une façon de l’implémenter, ce dont Tony parlait, cette unité de matriçage de contenu (Content Mapping Unit – CMU). On ne la voit pas ici, c’est une boîte noire qui est branchée quelque part, là, derrière, avec un logiciel Dolby. Ils nous ont donné le logiciel, et nous avons dû construire le hardware, l’électronique autour, pour l’exploiter et concevoir son implémentation dans la salle. Et différents moniteurs de formats d’onde. Comment Martin voit-il le signal et juge ce sur quoi il travaille ?

MZ : Finalement, il y a eu deux CMU, et Dolby a été un peu surpris que nous en demandions un deuxième. Il y a un CMU online, capable de rendre les images en temps réel, qui exploite les métadonnées de la station d’étalonnage, mais la sortie ne peut générer que du 1920 X 1080. Il y a un autre CMU, qu’ils appellent CMU offline ou CMO, qui n’est pas tributaire de la résolution, mais qui ne travaille pas en temps réel. On peut avoir un rendu 4K en Rec 709 d’un élément HDR PQ avec les métadonnées, mais pas en temps réel. Ils n’avaient pas prévu son utilité pour une société de prestation comme la nôtre. Et en fait, des gens vont demander une version QuickTime du programme pour le montrer à leurs producteurs exécutifs. Ils ne peuvent pas voir de version HDR. Ils doivent pouvoir regarder une version Rec 709 ou sRGB.

JT : Nous avons aussi besoin de contrôler la qualité du signal de sortie, ce qu’ils n’avaient pas anticipé avant que nous ayons ce dialogue. En plus du document visuel que nous créons, il y a un fichier de métadonnées, un fichier XML, qui contient des informations sur l’ensemble du programme, et c’est ce matriçage (mapping).

MZ : L’idée c’est que si vous avez un rendu HDR, qui représente par exemple 4,5 Téraoctets pour un programme d’une heure, et le fichier XML, qui fait quelques Mégaoctets, vous pouvez changer des choses, avec le logiciel approprié, comme vous le voulez.

JT : Mais il n’existe rien de disponible, même commercialement, qui puisse lire le fichier et les métadonnées, ne serait-ce que pour un contrôle qualitatif de ces métadonnées pour s’assurer, par exemple, que Resolve les génère correctement. Nous avons trouvé des erreurs dans le processus logiciel, mais seulement grâce à ce logiciel additionnel, qui nous a permis d’auditer le processus. Dolby a été super là-dessus, mais ils nous ont dit "Nous n’avions jamais pensé à ça. Vous avez raison, il faut le faire."

MZ : Et il y avait d’autres problèmes, comme le titrage. A quel niveau doivent être les sous-titres ? Comment gérer le titrage si vous n’avez qu’un moniteur Pulsar ? Le titrage est fait à part, dans une autre salle. Quand nous avons commencé, la SMPTE n’avait pas encore standardisé la courbe de gamma du Rec 709. Ce n’est que récemment, avec la sortie du Rec 1884, que la courbe de gamma du Rec 709 a été normalisée. Et puis il y a le problème des effets spéciaux (VFX). Le monde du VFX a adopté, ces dernières années, un espace colorimétrique totalement différent, linéaire (scene linear), qui nous est apparu très utile. De ce fait, je vois ces deux univers différents - la production d’effets spéciaux et l’étalonnage - échanger des informations, du savoir et des technologies.

Est-ce que le département effets spéciaux vous fournit des plans "bruts", "plats", que vous étalonnez ensuite ?

MZ : Ma compréhension de la chose est que les effets spéciaux nous fournissent une image qui utilise des LUTs pour procéder à leurs effets, qui correspond aux éléments (plates) que j’ai dans ma timeline, de sorte que quand j’étalonne ces éléments, cet étalonnage peut être utilisé pour tout ce qu’ils font en VFX. Ensuite, ils vont me fournir les caches (mattes), ou tout autre élément dont j’aurai besoin, pour étalonner les éléments composites truqués.

JT : Un processus standard – et ça n’a rien à voir avec le HDR, bien que ça le complique un peu – veut que le département VFX, en plus de créer des éléments pleine résolution dans l’espace colorimétrique original, nous fournisse de plus un fichier proxy pour validation, qui est monté dans la séquence, et en général, ils veulent que ça raccorde avec les rushes. Alors, nous leur fournissons les LUTs et les CDL qui ont été définies au traitement des rushes afin qu’ils puissent les appliquer à leurs rushes. On n’obtiendrait pas encore des rushes HDR à ce stade. C’est un processus standard de workflow VFX que nous respectons assez souvent, pour les séries et les longs métrages.

MZ : Ce que je trouve intéressant, c’est que les gens ont tendance à oublier la quantité de travail qu’a impliqué l’élaboration de ce workflow, et pensent « Tu devrais pouvoir simplement exploiter ce même workflow. » Ça ne marche pas vraiment. Il y a d’autres détails qui peuvent poser problème. Nous en avons rencontrés.

JT : Il y a un autre aspect à ne pas négliger. Nous travaillons avec une grande profondeur de quantification – des fichiers de 12 ou 16 bits – et le standard SMPTE pour le HDR, le Rec 2020, appelle le 4K. Maintenant, ce n’est pas nécessaire, mais je prédis qu’il n’y aura pas de contenu HDR qui ne soit pas 4K. Quant il s’agit de séries télévisées, si on parle d’environ huit heures de programme, il y a les sources, les rendus, il y a toutes ces différentes choses, pour à peu près 4 To pour une heure. Ça monte très vite. Il y avait donc des améliorations structurelles à réaliser.
Notre réseau de stockage atteint plusieurs Pétaoctets aujourd’hui, pour assurer tous les programmes qui doivent rester en ligne. Je ne veux pas spécialement souligner cela, mais c’est une part importante du processus pour une société de postproduction. Tous nos concurrents et partenaires connaissent le même problème. Où faisons-nous ces évolutions de structure et comment s’arrange-t-on avec ça ?

Le HDR ne met pas la barre vraiment beaucoup plus haut que l’UHD/4K ?

JT : Si, en termes de profondeur de quantification. L’UHD étant quantifié sur 10 bits et le HDR sur 12 ou 16 bits, je pense que ça représente une augmentation d’environ 50 % du volume d’information.

Ce n’est pas rien. Quand pensez-vous que la postproduction en HDR sera parfaitement au point, sans bug ?

MZ : Nous pouvons surement répondre à n’importe quelle demande, mais je pense qu’il y a toujours des choses à mieux comprendre.

JT : C’est une technologie immature. De nouvelles technologies émergent constamment, qui impliquent plus de recherche et d’étude. Quand nous avons eu fini la saison 2 de "Marco Polo", Martin et moi pensions que ça y était, nous y étions. Et maintenant, nous venons d’embarquer sur un nouveau projet, qui nous a posé quelques problèmes. Bon. Etudions le problème calmement, et résolvons-le.

MZ : Ça n’arrivera probablement pas avant que le HDR soit obsolète.

Comme vous le disiez, nous avons ici un moniteur de 4 000 nits et les spécifications du HDR montent à 10 000 nits.

MZ : Et les normes n’ont pas encore été fixées. Il y a un schisme entre ce que Dolby veut faire avec le Dolby Vision et ce que les autres veulent faire avec leur version de HDR. Il y a le HDR10, le HLG (Hybrid Log-Gamma, développé par la BBC et la NHK). J’ai quelques idées sur ce qui va en sortir, mais nous ne savons pas encore vraiment ce que vont être les standards définitifs. Et ça nous préoccupe beaucoup. Une fois ces standards définis, il nous faudra peut-être apprendre un tas de choses nouvelles et résoudre des problèmes techniques.

Quand j’ai vu ces bandes démos avec des directeurs de la photo, ils avaient plein de questions. Peut-être qu’ils regardent un téléviseur Sony. « OK, c’est notre moniteur HDR, et ici, c’est notre moniteur spécial qui a une bande passante encore plus large, de sorte que les couleurs soient un petit peu plus saturées et un peu plus brillante », et le directeur de la photo est déstabilisé. « Je ne sais pas sur quoi le spectateur va voir le programme. » Vous parlez avec les directeurs de la photo, est-ce une crainte communément partagée ?

MZ : Les directeurs de la photo sont pris au milieu de tout ça. Ils subissent la pression des marchands, la pression des producteurs qui s’inclinent devant la demande des diffuseurs comme Netflix qui veulent diffuser du contenu HDR. Ils subissent aussi la pression des fabricants et loueurs de caméras, qui leur montrent ce que les nouvelles caméras peuvent faire, pour acheter et faire acheter de nouvelles caméras, pour travailler avec les nouvelles caméras qu’ils louent. Je pense que les directeurs de la photo travaillent avec leur propre gamut. Certains sont très excités par cette nouvelle technologie et d’autres sont très conservateurs. Les étalonneurs aussi utilisent un gamut compris entre ceux qui disent « je n’aime pas ça » et ceux qui foncent tête baissée.

JT : En ce qui concerne la confusion des directeurs de la photo, je pense que Dolby s’est vraiment intéressé au problème. C’est un des avantages du Dolby Vision. L’une des principales fonctionnalités du processus Dolby, pour l’utilisateur final, est qu’ils vont paramétrer chaque moniteur ou téléviseur qui reçoit une puce Dolby Vision, et avec les métadonnées que nous créons ici dans cette salle, il sera matricé correctement, en fonction des limites ou des possibilités de cet écran. La vision du directeur de la photo et de l’étalonneur sera transposée dans cet écran, de sorte qu’il y ait, en retour, moins de confusion.

MZ : Pour les directeurs de la photo, ça restera à prouver…

JT : C’est une question de confiance.

MZ : Je dirais qu’au fil du temps, beaucoup de progrès a été fait. Du temps de la télévision analogique en définition standard, les différences entre les moniteurs étaient bien plus importantes qu’aujourd’hui.

J’avais rendu visite au distributeur The Criterion Collection à l’époque des débuts du DVD. Ils avaient un joli moniteur Sony XBR, qui leur servait de référence, mais ils avaient aussi un vieux téléviseur des années 1970. Ils regardaient leurs DVD sur le premier, mais voulaient aussi pouvoir les regarder sur le second.

JT : C’était pareil avec le mixage audio. Dans un studio d’enregistrement, vous aviez de magnifiques enceintes, mais il y avait aussi un petit haut-parleur de voiture, pour voir comment ça sonnait là-dedans.

C’est un point important, de rappeler au directeur de la photo que ce n’est pas idiot comme processus, on ne va pas donner au téléviseur quelque chose qu’il ne sait pas gérer.

JT : Et tout se joue entre Dolby, et disons, le HDR10, qui n’a pas de matriçage dynamique.

MZ : Dolby a introduit l’idée d’un espace colorimétrique défini par la scène, par opposition à un espace chromatique défini par l’appareil de diffusion. Et c’est un point essentiel de la discussion, parce que c’est la scène qui est importante, pas le téléviseur ou le moniteur. On paramètre le moniteur et on fait en sorte que la scène soit correctement diffusée.

JT : Ils évoluent, mais Dolby ne m’a rien révélé. Qui sait ce qu’ils ont encore dans leurs cartons ?

• Lire la version intégrale, en anglais, sur le site SudioDaily.

• Lire ou relire l’entretien accordé par Arri à ICG Magazine, sur le HDR.

Propos recueillis par Bryant Frazer, article traduit de l’américain par Laurent Andrieux pour l’AFC