nnDYKOREL - Dynamische Kontrast Regelung von Namor Noditz

Ich präsentiere mein neues Projekt:

nnDYKOREL - Dynamische Kontrast Regelung von Namor Noditz

Bild01.jpg

Hintergrund:

Schon zu oft habe ich mich darüber geärgert, dass Filmmaterial zuweilen nicht den vollen Kontrastumfang des Wiedergabegeräts nutzt.

Warum dies so ist, kann an anderer Stelle diskutiert werden, jedenfalls gefällt mir ein kontrastreiches Bild meist besser als einen flaues und mattes.

Diverse Kontrastverstärker in Playern, Videoprozessoren und Wiedergabegeräten können helfen, arbeiten aber durchwegs intransparent und sind nur sehr eingeschränkt konfigurierbar.

Zuletzt habe ich erfolglos Shader gesucht und getestet, dadurch bin ich aber zumindest zu Schluss gekommen, dass ich mir meine "Dynamische Kontrast Regelung" mittels Shader selbst programmieren werde, die genau das tut was ich mir vorstelle.

Demo-Video

Im folgenden Demo-Video zeige ich Euch wie der Shader arbeitet.

Darin könnt ihr die wesentlichen Funktionen Live sehen:

- Laufende Erkennung der dunkelsten und der hellsten Pixel im Bild und entsprechende Anpassung der Tonwertkurve in Echtzeit.

- Ermittlung der mittlerer Helligkeitstufen und dynamische Anpassung der Helligkeit

- Bilder mit guter Helligkeitsverteilung (zB. im Demo-Video das Tai Chi Training im Park) bleiben unverändert.

- Unverzögerte Anpassung der Parameter für die Tonwertkurve bei Szenenwechseln und zeitlich geglättet innerhalb einer Szene um Bildpumpen zu vermeiden.

- knapp 20 frei konfigurierbare Parameter, um das Verhalten von subtil bis extrem zu konfigurieren

- Presets, um die Bedienung einfacher zu gestallten.

- Transparente und anschauliche Visualisierungen der Parameter erlauben eine Optimierung der Parameter.

1. Grundkonfiguration

Anm.: Dieser Shader ist in der Shader-Spracher HLSL erstellt. Der Code ist prinzipiell nicht an Reshade gebunden. Reshade bietet jedoch eine komfortbable Einbindung in MPC und ein praktisches GUI zum Anpassen der Parameter.

Wurde der Shader fehlerfrei geladen, gelangt man mit der Taste POS1 in das Reshade-GUI.

Am Start-Reiter ist nnDYKOREL in der Shader-Liste zu aktivieren. Darauf hin werden in darunter alle Parameter des Shaders angezeigt.

Dieser Shader hat zwei grundlegende Einstellungen in der Kategorie "Allgemeines".

a) Ansicht:

Wie die Bildausgabe angezeigt wird

• Normal: Bearbeitetes Bild
• Original: Unverändertes Bild
• Debug1: Bearbeitetes Bild mit Histogramm
• Debug2: Debug Ansicht. Vergleich Vorher-Nachher
• Debug3: Debug Ansicht. Marker im Bild

b) Preset:

Die Parameter werden wie im Preset hinterlegt gesetzt.

• AUS: Orignalbild
• Konservativ: Bildkomposition erhalten
• Standard: Optimierung ohne störende Effekte
• Mittel: etwas Aggressiver - Banding und Clipping möglich
• Stark: Starke Effekte - Banding, Clipping!
• Benutzer: Alle Parameter können frei eingestellt werden.

Diese Preset sind hardcoded und nicht direkt änderbar!

Nur das Preset "Benutzer" ist frei einstellbar.

Reshade, speichert die Konfiguration jedes Shaders als Profil ab. Über diesen Mechanismus lassen sich somit unterschiedliche Benutzer-Presets realisieren.

pasted-from-clipboard.png

Wer sich nicht mit den details der Konfiguration beschäftigen möchte sollte mit den vorbereiteten Presets auch schon ein gutes Ergebnis erzielen können.

2. Statische Parameterkonfiguration

Beginnen wir mit der statischen Parameterkonfiguration. Diese ist für die praktische Nutzung nicht relevant, aber hilft beim Verständnis.

Wählt man als Arbeitsweise "Statisch" wirken nur die hier angezeigten 4 statischen Parameter.

Diese 4 Parameter, die wir hier manuell einstellen, werden im "Dynamik Modus" automatisch ermittelt. Die Wirkung auf die Tonwertkurve ist jedoch die gleiche!

pasted-from-clipboard.png

Anm.: Allen Parametern sind Tool-Tip-PopUps hinterlegt, darin habe ich versucht bestmöglich und kompakt zu erklären was jeder Parameter tut.

Als Beispiel der Tool-Tip für den Parameter "Schwarzwert"

pasted-from-clipboard.png

Betrachten wir vorab noch das erste Bild oben im ersten Post. Dieses zeigt eine der Debug-Ansichten.

• Das linke Film-Bild ist das Original -Bild, so wie es am Ende der Verarbeitungskette vom Player kommt - also vorher war auch schon MadVR an der Reihe. Der Shader kommt also ganz am Ende dran!
• Das rechte Film-Bild ist dann logischerweise das Ergebnis, das hoffentlich optimierte und kontrastreichere Bild.
• Jetzt zur oberen Reihe der Einblendungen

  
  

  • Das 2D-Histrogramm. Je Bildzeile (mit etwas reduzierterer Auflösung) wird ein Helligkeits-Histogramm ermittelt und dieses Bild erstellt (für jedes neue Frame wird alles neu berechnet!)
  • Die 1D-Histrogramme (PDF, Häufigkeitsverteilung der Pixelhelligkeit). Oben für das Original-Bild und darunter für das Ergebnis-Bild
  • Die CDF des Original-Bilds (Visualisierung der Perzentillen)
  • Drei Häufigkeitsverteilung mit 21 festgelegten Perzentillen (0,1%, 1%, 2%, etc.) .
    Oben: gemittelte History der letzten Frames,
    Mitte: Aktuelles Frame,
    Unten: Gewichtete Mittelung zwischen History und aktuellem Frame
  • 3 vertikale Balken mit Markern (Limiter) in unterschiedlichen Farben
    Schwarzwert-Balken
    Weisswert-Balken
    Grauwert-Balken
  • ganz Rechts der vertikale Balken für die Visualsiierung der Szenen-Erkennung
• Unter dieser Reihe befinden sich noch 3 Zeilen mit der Helligkeitsdarstellung der beiden 1D-Histrogramme und der CDF.

Zunächst fokusieren wir auf die 1D-Histrogramme. Ich denke es ist klar, dass diese die Häufigkeitsverteilung der Helligkeit der Pixel darstellen. Links dunkel, rechts hell. Je höher die Balken desto mehr Pixel mit dieser Helligkeit gibt es im Bild.

Als Beispiel sehen wir uns die Histrogramme aus dem Tauchervideo an.

pasted-from-clipboard.png

Wir erkennen im oberen Bild, dass nur etwa 50% des Kontrastumfangs genutzt wird. Gut - für eine Unterwasseraufnahme mag das Bild korrekt sein, für uns ist das jetzt aber ein gutes Beispiel, was man an extra Kontrast herausholen kann.

Im oberen Histo sehen wir einen dünnen grauen Balken, diesen können wir mit dem Schieberegler "Schwarzwert" nach links und nach rechts verschieben. Schieben wird diesen nach rechts, schneiden wir den ungenützen Bereich oder noch mehr ab. Das Ergebnis sehen wir Live im unteren Histo.

Gleiches gilt für den hellen Bereich. Diesen können wir mit dem Schieberegler "Weisswert" beschneiden. Visualisiert durch den weisen Balken im Histo.

Mit dem blauen Balken können wir einen beliebigen Grauwert wählen und so die Verteilung im Ergebnis-Histo an den Ort des grünen Balkens verschieben.

Das Ergebnis unser Manipulation wird auch Live (im Standbild oder im laufenden Film) im Ergebnisbild angezeigt!

Als weitere Visualisierung können diese 4 Werte auch im FIlmbild angezeigt werden, hiermit erkennt man dann gut, wo geklippt wird, oder wo welcher Grauwert im Bild ist.

Zur besseren Sichtbarkeit ist der Weisswert im Original-Bild schwarz und der Schwarzwert weiss dargestellt.

Anm.: Folgendes zeigt stark übertriebene Settings, um diese Visualisierung zu verdeutlichen.

bild2.jpg

Jetzt haben wird die Grundlagen geschaffen, um uns die Parameter für die dynamische Bildanpassung anzusehen.

3) Dynamisch / Dunkler Bereich

Beginnen wir mit der Automatik für den dunklen Bildbereich, bzw. dem Schwarzwert.

- Alle anderen Bildanpassungen sind noch deaktiviert.

- Als Preset ist "Benutzer" eingestellt und

- als Arbeitsweise "Dynamisch".

- Zum Testen stellen wir die Wiedergabe auf PAUSE.

bild3.jpg

Im Histo des Originalbildes erkennen wir, dass es keine dunklen Pixel in diesem Bild gibt.

Wir haben nun 3 Parameter, um den dunklen Bildbereich anzupassen.

a) Dynamischer Schwarzwert:

Hier geben wir dem Algo vor, wo er den Schwarzwert bezogen auf die Häufigkeitsverteilung im ersten Ansatz platzieren soll.

- Der Wert "0" bedeutet: Setze den Schwarzwert auf den dunkelsten Pixel der gefunden wurde.

- Der Wert "1" bedeutet: Platziere den Schwarzwert auf die 0,1% Perzentille, usw.

Im Tool-Tip zu Parameter steht die ganze Wahrheit:

pasted-from-clipboard.png

Wählen wir zB den Wert 5. Dann werden die dunkelsten 5% der Pixel schwarz geklippt und die Luminanz der Pixel im Bereich zwischen dem Schwarzwert und dem Grauwert (Blauer Balken) werden aufgedehnt.

Praxistauglich sind die Werte 0 bis 2!

Aber es kann ja sein, dass ein Bild ganz beabsichtig keine dunklen Pixel hat, dann führt diese Vorgangsweise zu einer falschen Darstellung.

Daher gibt es nun zwei Parameter um die Schwarzwertabsenkung zu zähmen.

b) Limit absolut

Damit wir der Schwarzwert niemals über den dort eingestellten Wert abgesenkt. 10 bis 50 (auf der 255er-Skala) sind hier gute Werte.

c) Limit Streckung

Dies limitert die maximale Aufdehnung bzw. Streckung des dunklen Bildbereich, also dem Bereich zwischen dem Schwarzwert und dem später bestimmten Grauwert.

Dies ist insbesondere für SDR relevant. Da bei SDR die Luminanzauflösung recht beschränkt ist, führt eine zu starke Streckung schnell zu deutlich sichtbaren Banding!

Ein Wert von 10 bedeutet das die Streckung auf 10% limitiert wird. Der Wert 100 erlaubt Streckungen bis 100% - also ein Verdoppelung des Luminanzbereichs.

Dieser Algo wird im ersten der drei Balken (hier grün eingerahmt) visualisiert.

pasted-from-clipboard.png

Die Höhe des Balkens zeigt die vorgesehene Streckung aufgrund des Parameters "Dynamischer Schwarzwert".

Der gelbe Marker zeigt das Limit aufgrund des Parameters "Limit absolut".

Und der rote Marker zeigt das Limit aufgrund des Parameters "Limit Streckung".

Zur Wirkung kommt in diesem Fall also der rote Marker, der die Streckung auf 10% limitiert.

4) Dynamisch / Heller Bereich

Der Algo für den hellen Bereich funktioniert prinzipiell genauso wie der dunkle Bereich.

pasted-from-clipboard.png

Mit "Dynamischer Weisswert" geben wir dem Algo vor, wo er den Weisswert bezogen auf die Häufigkeitsverteilung im ersten Ansatz platzieren soll.

- Der Wert "20" bedeutet: Setze den Weisswert auf das hellste Pixel der gefunden wurde.

- Der Wert "19" bedeutet: Platziere den vauf die 99,9% Perzentille - also 0,1% der Pixel dürfen heller sein und clippen, usw.

Mit "Limit absolut" wird der Weisswert niemals unter den dort eingestellten Wert abgesenkt. 210 bis 250 (auf der 255er-Skala) sind hier gute Werte.

Mit "Limit Streckung" wird die maximale Aufdehnung bzw. Streckung des hellen Bildbereichs, also dem Bereich zwischen dem Weisswert und dem später bestimmten Grauwert festgelegt.

Ein Wert von 10 bedeutet das die Streckung auf 10% limitiert wird. Der Wert 100 erlaubt Streckungen bis 100% - also ein Verdoppelung dieses Luminanzbereichs.

Dies wird mit dem zweiten Balken (hier grün eingerahmt) visualisiert. Hier greift wieder das rote Limit, die maximale Streckung.

pasted-from-clipboard.png

4a) Dynamisch / Heller Bereich - HighLight-Kicker

Es gibt im hellen Bereich noch ein drittes Limit (der hellblaue Marker). Dieser berücksichtig den Bereich des HighLight-Kickers. Da im HLKicker-Bereich möglichst keine großen Flächen, sondern nur Spitzlicher plaziert werden sollten, habe ich folgende Parameter ergänzt:

pasted-from-clipboard.png

Der Parameter "HLKicker Level" gibt an, ab welcher Helligkeit der HighLight-Kicker beginnt, Farbabweichungen oder Banding zu zeigen.

Der Parameter "HLKicker Wolken-Limit" gibt an, welcher Prozentsatz an Pixel im HLKicker-Bereich zulässig sind. Der Wert von 3 bedeutet in diesem Fall, dass maximal 2% der Pixel in diesem Bereich sein dürfen. Damit bleiben Wolken und große Flächen im kalibrierten Bereich und Spitzlicher können die native Helligkeit des Beamers nutzen.

Das "HLKicker Wolken-Limit" ist auch im Histo als hellbauer Marker eingezeichnet:

pasted-from-clipboard.png

^{5) Dynamisch / Mitten Bereich}

^{pasted-from-clipboard.png}

Mit dem Parameter "Dyn. Grauwert" werden mehrere Dinge festgelegt (=Blauer Marker im obigen Histogramm)

1.) Unterhalb des "Dyn. Grauwert" wird Richtung Schwarz gestreckt und oberhalb Richtung Weiss.

2.) Der "Dyn. Grauwert" kann verschoben werden. D

Die Helligkeit des "Dyn. Grauwert" im bearbeiteten Bild wird im unterem Histogramm als grüner Marker angezeigt.

a) "Arbeitsweise" = "Dyn.Shift": Damit wird die Helligkeit des "Dyn. Grauwert" um einen konstanten Wert verschoben.

"Verschiebung"=0 => keine Verschiebung der "Dyn. Grauwert" bleibt unverändert

"Verschiebung"<0 => der "Dyn. Grauwert" wird konstant um diesen Wert abgedunkelt

"Verschiebung">0 => der "Dyn. Grauwert" wird konstant um diesen Wert aufgehellt

b) "Arbeitsweise" = "DynDyn.Shift": Damit wird die Helligkeit des "Dyn. Grauwert", dynamisch verschoben.

Diese wird mit diesen Parameter festgelegt:

pasted-from-clipboard.png

"Grauwert-Ziel"

Liegt der "Dyn. Grauwert" unter dem "Grauwert-Ziel" wird dessen Helligkeit erhöht.

Liegt der "Dyn. Grauwert" über dem "Grauwert-Ziel" wird dessen Helligkeit reduziert.

"Dynamische Verschiebung" gibt an wie stark versucht wird das "Grauwert-Ziel" zu erreichen.

Und "Limit Streckung" begrenzt die Aufdehnung.

Visualisiert wird dies in den Histogrammen aber auch im dritten vertikalen Balken rechts oben.

Bei 1917 ist es nun so, dass der Himmel zunächst unter dem "Grauwert-Ziel" liegt und daher aufgehellt wird, dann wird er heller und daher abgedunkelt.

Generell erhöht dies den Kontrast im Bild. In diesem Fall ist das aber ev. ungünstig.

Das Verhalten lässt sich über die Parameter abmildern oder ganz deaktivieren.

Die Idee dahinter ist:

- der Kontrast in einem dunklem Bild profitiert von einer Aufhellung der mittleren Helligkeit

- der Kontrast in einem hellen Bild profitiert von einer Absenkung der mittleren Helligkeit

^{6) Dynamisch /Zeitverhalten}

^{Das Zeitverhalten kann über zwei Parameter angepasst werden.}

^{pasted-from-clipboard.png}

^{Je größer der Wert für die Aktualisierungsgeschw., desto langsamer ist die zeitliche Glättung.}

^{0: Ohne Glättung (Frame-By-Frame)}

^{Für die Szenenerkennung wird die Änderung von Frames zu Frame gemessen. Ist der Wert über der Schwelle "Szenenerkennung" wirken Änderungen sofort, sonst greift die zeitliche Glättung.}

^{Der Messbalken in der Debug-Ansicht oben ganz rechts, zeigt die aktuelle Messung und die Schwelle.}

^{7) Installation}

1) Reshade für MPC-HC installieren. Keine extra Shader notwendig!

Mit MPC-BE sollte es in gleicherweise funktionieren.

2) nnDYKOREL.fx in den MPC-HC/Reshade/Shaders Ordner kopieren

3) MPC-HC starten

4) Film starten !

5) Reshade Einblendung erscheint => Pos1 drücken

6) Reshade Register "Start". Alle Shader die geladen wurden sind in der Liste. => nnDYKOREL aktivieren => fertig

Anmerkungen

- Ohne MadVR muss ein Film laufen, damit man das Reshade-GUI nutzen kann!

- Kann Reshade seine Settings nicht Speicher, kann es helfen reshade.exe direkt in den Programmordner von MPC zu kopieren und dort die Installation als Admin zu starten.

^{Siehe auch:}

Thread

Bildmanipulation mit Reshade

Bevor ich weitere eigene Shader zur Bildoptimierung entwickle, sehe ich mir aktuell an, ob ich eventuell doch mit den bereits vorhanden Shader das Auslangen finde.

Reshade ist eine Postprocessing Plattform für Videoplayer und PC-Games. Damit können Custom-Shader der Community sehr einfach integriert und konfiguriert werden.

Es gibt hier bereits sehr viele Shader mit interessanten und auch verrückten Effekten. Aber auch ein paar Shader für die klassische Bildmanipulation.
Jedenfalls hat man damit…

Namor Noditz

Nov 30th 2024

^{Die Evaluierungs-Version des Shaders kann per PM bei mir angefragt werden.}

Anleitung 4

Quote from FoLLgoTT

Hier noch ein wenig Feedback. Ich habe jetzt mal einige Szenen durchgeschaut. Die Kontrastverstärkung sieht meist sehr gut aus. Ab und zu ist mir das Profil "Standard" aber bereits zu viel, da es Rauschen und Kompressionsartefakte stärker sichtbar macht.

Ich teste weiter...

Danke!

Dann ist das Profil "Konservativ" ev. besser für Dich, oder du versuchst dich an "Benutzer"

Mehr Kontrast => Mehr Rauschen und Banding ist leider immer die Konsequenz.

Freue mich wenn wir die Parameter weiter optimieren!!

Ziel wäre ein Profil das immer passt.

Wenn du zu den Screenshots noch die Debug-Graphen zeigst, können wir das einfacher analysieren.

Update:

1) Kommt beim Starten ein Fehler "too much iterations ..." ist die Grafikkarte zu schwach.

Es gibt jetzt unter dem Download-Link eine LowRes-Version. Diese läuft auch mit ganz schwachen Grafikkarten.

Hat aber eine geringer Auflösung der Histogramme und zeigt das Histrogramm des veränderten Bildes nicht an.

2) Dies sind die aktuellen Settings der Profile.

Vorschläge zur Optimierung nehme ich gerne entgegen!

pasted-from-clipboard.png

4) Bedienung des Shaders bei PAUSE

Reshade lässt sich nur bedienen, wenn neue Frames kommen, also wenn der Film läuft.

Einzig mit MadVR geht es auch bei PAUSE, da MadVR anscheinend auch pbei Pause Frame-Updates sendet

5) Reshade Installation

- Minimale Installation (ohne extra Shader) reicht.

- Gelegentlich hat Reshade Probleme in seine Konfig-Files im MPC-Ordner zu schreiben. Dann werden die Shader-Settings nicht gespeichert und es startet jedes mal das Tutorial neu. Ursache ist mit noch nicht bekannt.

6) Reshade-Konfig-Fensters

Die Position und Größe des Reshade-Konfig-Fensters lässt sich mit der Maus verändern

7) Reshade-Hotkeys

Der aktive Shader lässt sich via HOT-Key ein- und ausschalten (Register Einstellungen)

Profil-Umschaltung via Hot-Key ist noch nicht implementiert!

8) Evaluation Version

Diese schaltet nach ca. 10min in die Debug-Ansicht.

Reload, Film-Neustart oder Player-Neustart setzt den Timer zurück.

9) HL-Kicker

Da dieser Shader den hellen Bildbereich nach oben schieben kann, kommt es zusammen mit dem HL-Kicker vermehrt zu störenden Effekten bei Himmel und Fenster-Aufnahmen.

Daher gibt es im Shader die Möglichkeit den HLKicker-Bereich nur zu nutzen, wenn die Fläche an hellen Elementen unter einem konfigurierbaren Prozentsatz liegt.

zB.

- Spitzlichter (Lichter, Kerzen, etc.) < 3% => dürfen den HL-Kicker-Bereich nutzen

- Himmel, Fenster >>3% => bleiben unterhalb des HL-Kicker-Bereich und somit ohne Farbverfälschungen.

Quote from FoLLgoTT

"Blade Runner 2049" und "Indi"

Auch hier scheint der "Dyn. Grauwert" 14=90% zu hoch zu sein. Das streckt den hellen Bereich dann zu sehr.

"Dyn. Grauwert" 10=50% ist es aber auch nicht. Probier auch hier mal 10 bis 12. Oder ein geringeres Limit für die Streckung setzen.

Quote from FoLLgoTT

Rauschen und Kompressionsartefakte

In MadVR "Reduce Banding Artefakts" hilft sehr recht gut gegen dieses Rauschen, macht aber bei schlechtem Material Treppen.

Quote from pillepalle123

Mit einem anderen Programm kann man den Shader nicht einbinden, oder?

aktuell nicht, da ich die GUI von Reshade verwende.

Stottern oder Performance-Beeinträchtigungen konnte ich aufgrund des Shaders noch nie beobachten.

RTX4070

Die LowRes-Version auch schon versucht?

ReShade hat auch eine Performance-Einstellung, dann kann man aber die Settings nicht mehr ändern. Auf der Settings-Seite ganz unten zu aktivieren.

Quote from FoLLgoTT

Das reduziert doch nur Banding und kein Rauschen. Hatte bei mir auch keine Wirkung darauf. Oder meintest du eine der anderen Artefaktoptionen?

Wirkt bei mir auch deutlich auf das Rauschen.

Quote from FoLLgoTT

Bei "Benutzer" scheinen sie ganz anders eingestellt zu sein als bei "Standard" z.B.

Siehe #12

Quote from FoLLgoTT

Gibt es eine Möglichkeit, die Parameter mit einem Presets zu setzen und dann weiter zu verändern?

In der nächsten Version (kommt die nächsten Tage)

Update 2024-12-25

Release Notes

1) Fade2Black

Neuer Parameter "Limit Fade2Black".

Ist das hellste Pixel unter dieser Schwelle, wird das gesamte Bild auf Schwarz gesetzt.

Das ist notwendig, da Schwarzblenden oftmals nicht ganz schwarz sind oder ein Rauschen enthalten, und dies das Fade2Black Laser-Dimmerung blockiert

Jetzt funktioniert das Laser-Abschalten auch bei nicht 100% schwarzen Blenden unverzögert und der JVC Laser-Dimming Mode 3 ist für mich erstmals nutzbar.

2) HL-Kickler

Diese Funktion wurde optimiert. Bilder bei welchen schon original große Flächen im HL-Kicker Bereich liegen werden jetzt besser behandelt.

3) Szenenerkennung

Wurde optmiert. Sollten noch Auffälligkeiten (Pumpen oder Helligkeitsspürunge) auffallen bitte mit Zeitstempel berichten.

4) Preset-Parameter

Die Presets wurden ein wenig angepasst.

Insbesondere wurde der Parameter "Dyn. Grauwert" von 14 (90%) auf 12 (70%) reduziert.

5) Presets anpassbar

Die Presets können jetzt am Beginn der fx-Datei angepasst werden.

Die Reihenfolge der Parameter entspricht jeder im GUI. Der erste Parameter in der Liste ist "Dyn. Schwarzwert"

pasted-from-clipboard.png

Die neue Version

<nnDYKOREL_v20241225_Eval.zip>

liegt wieder in meinem Download-Bereich.