Replay: Nous pourrions penser que nous savons ce qui compose notre perception des images, telles que la résolution, la couleur et les pixels, mais que se passe-t-il s’il y a beaucoup plus que cela? Le rédacteur en chef de RedShark, David Shapton, nous livre ses réflexions sur la question.

Il est juste de dire que je ne suis pas le plus jeune écrivain de l’équipe RedShark. Il est également juste de dire que ma vue et mon ouïe ne sont pas ce qu’elles étaient. Je n’avais certainement pas l’habitude de porter des lunettes de lecture, et je ne disais pas « pardon » aussi souvent quand j’étais plus jeune.

J’ai toujours été fasciné par le processus de perception, vous pouvez donc comprendre pourquoi je considère souvent mes propres processus et comment ils ont changé au fil des ans.

Parce qu’ils ont certainement changé.

Je sais que je ne peux rien lire sur mon téléphone sans lunettes à moins qu’il ne soit de type ridiculement grand. Mes lunettes corrigent cela mais c’est un compromis – surtout parce que j’ai aussi de l’astigmatisme – une quantité et un angle différents dans les deux yeux. (L’astigmatisme est l’endroit où votre lentille oculaire n’est plus complètement sphérique. Oui, c’est vrai, j’ai des lentilles anamorphiques !)

Même si mes lunettes sont bonnes, elles ne fonctionnent que sur une plage très étroite. Fâcheusement, ma télévision est juste assez loin pour qu’elle ne fonctionne pas complètement à cette distance. Je pourrais, bien sûr, avoir des varifocales ou simplement plusieurs paires de lunettes.

Donc, vous pourriez raisonnablement penser que je ne me soucie pas beaucoup des images. Si ma vue n’est pas excellente, alors pourquoi est-ce important. Étrangement, j’ai constaté que c’est le contraire, et personne n’est plus surpris de cela que moi.

Je me trompe peut-être complètement à ce sujet, mais je pense qu’il se passe plus de choses ici que ce qui se passe avec les organes sensoriels.

Plus qu’une résolution

Soyons précis à ce sujet. Je pense qu’il y a plus dans une image que ce qui peut être résolu par vos yeux, et il y a plus dans un enregistrement audio que ce qui peut être capté directement par les oreilles. Pour le dire techniquement, je pense qu’il y a un effet macro, ou un épiphénomène, en plus du phénomène visuel ou auditif original.

Je suis désolé d’avoir à utiliser un mot comme épiphénomène dans une publication familiale, mais c’est le meilleur mot pour décrire ce qui se passe à mon avis.  Cela a différentes significations, mais celle que je vais utiliser est « Un épiphénomène est un phénomène secondaire qui se produit parallèlement ou parallèlement à un phénomène primaire ». Je sais que c’est assez vague, mais je vous expliquerai plus tard.

Nous avons tendance à considérer la reproduction d’images comme une question de résolution. En supposant que le projecteur ou l’écran d’affichage soit au point, nous devrions pouvoir juger de la netteté de l’image avec nos yeux. Mais s’il y avait autre chose dans l’image qui nous donnait des indices sur ses caractéristiques? Quelque chose au-delà du simple état de ses pixels.

Permettez-moi de vous donner un exemple : l’effet vernier.

Qu’est-ce qu’une échelle de vernier ?

Une échelle de vernier est un moyen de grossir de très petites différences en ayant deux échelles de mesure parallèles entre elles, mais l’une est légèrement plus courte que l’autre. Ou cela peut être l’effet que vous obtenez lorsque des lignes presque parallèles se croisent. Un très petit mouvement parallèle peut provoquer un grand mouvement du point où ils se croisent. Vous pourriez soutenir que certains modèles d’interférence sont le résultat d’un effet vernier.

Ma raison de mentionner l’effet vernier est qu’à mon avis, il s’agit d’un effet macro avec des conséquences très réelles.

L’effet vernier et le moiré sont les deux faces d’une même pièce. Vous voyez des motifs de moiré lorsque deux motifs ou plus finement espacés se chevauchent de manière à interférer les uns avec les autres. Au lieu de voir deux couches d’un maillage fin, vous voyez un motif où le matériau physique des deux mailles s’aligne de votre point de vue. Le moiré lui-même est lié à l’aliasing – les effets indésirables qui proviennent de la visualisation d’images à travers une « grille » d’échantillonnage. Les deux effets sont généralement indésirables, et les deux se produisent beaucoup plus fréquemment que nous ne le réalisons. L’aliasing est présent dans n’importe quelle image numérique: c’est juste qu’elle n’est normalement pas « exposée » car elle est entourée de détails et de complexité.

Je vais vous expliquer ce que je veux dire par là. Vous voyez normalement un aliasing lorsqu’il y a une ligne droite qui n’est ni parallèle ni perpendiculaire à la grille de pixels. Plus il est proche d’être purement parallèle ou orthogonal à l’horizontale, plus le repliement visible est mauvais. C’est, à sa manière, un autre exemple de l’effet vernier. Une seule ligne presque verticale mais décalée de deux pixels en haut aura deux plis très nets. Réduisez le décalage angulaire d’un pixel et la ligne change radicalement pour n’afficher qu’un seul pli net: un mouvement minuscule peut donc faire une différence significative et visible sur l’apparence de la ligne.

Mais chaque courbe ou ligne de l’une de vos images numériques affichera un aliasing si vous zoomez suffisamment. La plupart du temps, vous ne le voyez pas si la résolution est suffisamment élevée (c’est peut-être le plus grand avantage des résolutions plus élevées: elles ne réduisent pas le repliement mais le réduisent et donc en réduisent la visibilité), mais il est néanmoins présent dans toutes les images numériques.

Je ne dis pas ce qui suit comme un fait, ni même comme une théorie viable. Je ne suis tout simplement pas sûr. J’aimerais savoir ce que tu en penses.

Effets de macro

Je pense qu’il y a des effets de macro dans les images que nous ne voyons pas directement, qui informent néanmoins notre perception et nous donnent des informations supplémentaires sur l’image. Je vais l’appeler « métadonnées intrinsèques naturelles ». Il est là dans chaque image reproduite. La nature et la quantité de celui-ci dépendent de la résolution.

En tant qu’humains, nous ne percevons pas directement à travers le médium des pixels. Le travail d’une bonne image numérique est de rendre ses pixels constitutifs invisibles.

Mais le fait que je puisse faire la différence entre une image HD, une image 4K et une image 8K même lorsque je ne porte pas les bonnes lunettes, me suggère qu’il y a un effet macro de l’image que je capte. Je trouve que c’est plus évident avec les images en mouvement que les images fixes. Ça pourrait donner un indice. Il peut même s’agir d’un effet pour lequel nous n’avons aucune explication actuelle. Ce ne serait pas surprenant – le domaine de la vidéo numérique, en particulier de la très haute résolution, est très jeune. Nous sommes dans un nouveau territoire ici.

Et ce n’est pas seulement avec la vidéo.

Il y a quelques années, mon audition a été endommagée lorsqu’un feu d’artifice a explosé près de mon oreille. J’étais plutôt découragé. Non seulement je ne pouvais pas suivre les conversations dans des environnements bruyants, mais je ne pouvais plus lancer les sons correctement. En tant que musicien, c’était dévastateur.

Mais cela s’est beaucoup amélioré. On m’a dit que ce ne serait probablement pas le cas, mais c’est le cas, et de manière mesurable – je fais des tests réguliers avec des écouteurs de haute qualité. Mon audition est maintenant au même niveau que n’importe qui de mon âge: pas parfaite, mais très fonctionnelle.

En dehors du moment où mon audition était au plus mal (quand je pensais au moins pouvoir économiser de l’argent sur ma prochaine chaîne Hi-Fi), j’ai trouvé que je pouvais encore entendre assez bien pour repérer la différence entre les systèmes HiFi à prix moyen et coûteux. Cela n’aurait pas dû être possible, mais, encore une fois, je l’ai testé. Je suis habitué à évaluer l’audio de manière professionnelle, et je pense que cela a aidé, mais si je ne pouvais pas entendre les nuances dans les systèmes de musique que je critiquais, alors vous auriez aussi bien pu avoir un chien pour écrire les critiques.

Je pense, encore une fois, qu’il pourrait y avoir des « signaux » dans l’audio reproduit qui agissent comme des « aides » pour les auditeurs. Un exemple pourrait être (et c’est l’équivalent audio de moiré, je suppose) des fréquences plus élevées que ce que je pouvais entendre à l’époque « battre » ensemble pour faire des fréquences plus basses. Cela arrive tout le temps, mais nous ne le percevons pas comme quelque chose de distinct du son global. Mais peut-être le faisons-nous inconsciemment, de la même manière que nous n’avons rien à faire de conscient pour savoir, assez précisément, d’où vient un son.

Simon Wyndham, le rédacteur en chef de RedShark, m’a mentionné quelque chose qui, je pense, ajoute du poids à ce qui précède. Il m’a rappelé que lorsqu’une image ou une vidéo haute résolution est sous-échantillonnée à une résolution inférieure, elle sera très souvent meilleure que si elle avait été prise avec une qualité inférieure. J’ai vu cela plusieurs fois, mais je l’ai remarqué pour la première fois lorsque le drame hospitalier américain ER a commencé à être tourné en HD. Je n’avais pas de téléviseur HD à l’époque, mais l’amélioration, même en regardant en SD, était frappante. Je l’ai remarqué avant même de savoir que l’émission était passée au tournage en HD. Vous voyez le même effet lorsque vous regardez 4K sur un moniteur HD et 8K sur un moniteur 4K. Le principe général qui explique cela est que si vous commencez avec plus d’informations lorsque vous sous-échantillonnez, vous obtiendrez un meilleur résultat. Mais je me demande s’il se passe d’autres choses ici.

Parfois, à haute résolution, vous pouvez voir des structures qui ne sont tout simplement pas visibles à une qualité inférieure. Je ne parle pas seulement d’objets minuscules qui sont plus petits qu’un pixel (résolution inférieure), mais de structures beaucoup plus grandes. Imaginez un grand carré dont les limites sont plus étroites qu’un pixel mais qui sont captées par des prises de vue à plus haute résolution. Il est très probable que si ceux-ci sont enregistrés en, disons, 4K, ils seront toujours visibles lorsqu’ils seront sous-échantillonnés. Cela peut être un cas particulier, mais ce processus peut être présent tout le temps dans la plupart des images. Sans être assez évidentes pour que nous le remarquions consciemment, ces géométries cachées pourraient déclencher un drapeau dans notre processus cognitif qui dit « détail ».

Je me trompe peut-être complètement à ce sujet et je n’écris normalement pas sur des choses à moins d’en être à peu près sûr. Mais je fais une exception ici car ces effets pourraient être réels. Si c’est le cas, les implications en seraient énormes.

Les lecteurs de RedShark sont très astucieux. J’aimerais savoir ce que tu en penses.