Der Computer als intermedialer Synthesizer – Instrumente zwischen Text, Bild und Klang

von Deniz

Was alles kann „digitaler Synthesizer“ heutzutage bedeuten? Ein analoger Synthesizer erzeugt und formt Klang – Oszillatoren schwingen, Filter schneiden Frequenzen, Hüllkurven steuern musikalische Verläufe. Im modularen Synthesizer wird daraus ein offenes System: Module werden per Patch-Kabel verbunden, Signale zirkulieren zwischen ihnen, werden umgeleitet, rückgekoppelt oder als Steuerung verwendet. Das Besondere am modularen Synthesizer liegt dabei weniger in einem fertigen Klang als im Prinzip der Verbindung.

Der Computer folgt einer ähnlichen Logik – nur dass hier nicht nur Klangsignale, sondern auch Text, Bild und andere Medien miteinander verknüpft werden können. Was im analogen Modularsystem das Patchkabel ist, kann im Computer eine Schnittstelle, ein Protokoll oder eine Übersetzungsfunktion sein. Software wird so zur Patchbay zwischen Medien.

Damit stellt sich die Frage: Wie viel Synthesizer steckt im Computer? Eine naheliegende Antwort wäre, ihn zunächst als Behälter für Softsynths zu verstehen: man öffnet Plugins, spielt ihre Klänge, tweakt Parameter, kombiniert Sounds. Eine andere Perspektive: Der Computer selbst ist ein intermedialer Synthesizer – eine Blackbox, in der sich Text, Bild und Klang gegenseitig modulieren und ineinander übersetzen lassen.

Patchen als Prinzip

Im analogen Modular-Synthesizer sind Klang und Steuerung nicht getrennt. Control Voltage (CV), mit der Module kommunizieren, kann hörbar werden, sobald sie in den Audiobereich steigt. Diese Möglichkeit, dass Steuerung hörbar und Klangmaterial steuernd wird, macht den modularen Synthesizer nicht nur zu einem Instrument, sondern zu einer Struktur, die sich über Klang und Musik hinaus denken lässt.

Vom Klang zum Metamedium

Schon in den 1970er Jahren beschrieben Alan Kay und Adele Goldberg den Computer als ein Metamedium, das andere Medien in sich aufnehmen, nachbilden und neu zusammensetzen kann. Lev Manovich hat dafür später den Begriff der deep remixability geprägt: In Software werden nicht nur Inhalte gemischt, sondern auch die Verfahren und Formen, durch die sie überhaupt entstehen.

Gerade darin liegt für mich eine Nähe zum Synthesizer. Der Computer verarbeitet nicht nur Klang, sondern bringt Text, Bild, Klang und Steuerung in einer gemeinsamen Umgebung zusammen. Sie lassen sich ineinander übersetzen, umformen und miteinander verschalten. Max Mathews formulierte schon 1963, der Computer könne prinzipiell jede wahrnehmbare Klangform erzeugen. Für mich steckt darin ein Gedanke, der über Klang hinausweist: dass die medial wahrnehmbare Form bei der künstlerischen Arbeit mit einem Computer nicht feststeht, sondern immer transformierbar bleibt.

Die Intermedialität zeigt sich für mich dabei auf zwei Ebenen. Zum einen können musikalische Prinzipien wie Modulation, Sequenzierung oder Sampling auf andere Medien übertragen werden, ohne dass diese klingend sein müssen. Zum anderen gibt es direkte Übersetzungen, bei denen ein Medium in ein anderes überführt wird: Bild wird zu Klang, Musik zu Text, Zeichnung zur Klang-Partitur.

Modularer Synthesizer als Denkmodell

Besonders interessant wird es dort, wo musikalische Prinzipien auf ein anderes Medium übertragen werden – ohne dass am Ende dabei überhaupt ein Klang entstehen soll.

Allison Parrishs „The Nonsense Laboratory“ behandelt Sprache wie einen modularen Synth. Phonetik, Rechtschreibung und Wortkörper werden moduliert, gedehnt und umgeordnet – als wären sie Oszillatoren oder Filter. Das Ergebnis bleibt aber Text, keine Musik. Die verschiedenen Module mischen Wortklänge neu, schreiben Texte lautlich um oder setzen virtuelle Mundbewegungen wie in einem phonetischen Sequencer zusammen. Anschaulich kann ich das anhand des folgenden kleinen Experiments mit dem Mouthfeel Tuner machen: Hier verändert man einen Text so, „dass sich die Wörter beim Sprechen anders im Mund anfühlen“.

Bild und Video-Synthesizer

Im Visuellen gibt es Ähnliches. Der Paik/Abe Video Synthesizer übertrug bereits Ende der 1960er Jahre das Synthesizer-Prinzip auf Video. Nam June Paik wollte das Bild so formbar machen wie Klang. Heutige Tools wie Vsynth für Max/MSP führen das weiter: Video ist das patchbare Signal – Generatoren und Modulatoren arbeiten hier mit Bildsignalen statt mit Audio. Im folgenden Patch wird diese Audio-Video-Analogie besonders anschaulich: Drei Instanzen eines visuellen Waveform-Generators speisen einen Mixer, in dem ihre Wellenformen addiert werden – ähnlich wie bei der additiven Klangsynthese.

Während im Nonsense Laboratory oder in Vsynth-Patches musikalische Prinzipien auf andere Medien übertragen werden, gibt es Software-Tools, die konkrete Eigenschaften oder Strukturen eines Mediums — etwa Bildwerte, Bewegungen oder Klangparameter — in Strukturen eines anderen Mediums übersetzen.
UP I C, entwickelt von Iannis Xenakis ab den 1970er Jahren, sollte Zeichnung zum direkten kompositorischen Werkzeug machen. Zeit, Tonhöhe und Klangfarbe ließen sich dabei unmittelbar grafisch gestalten. Die X-Achse war die Zeit, die Y-Achse die Tonhöhe, die Form der Linie bestimmte Klangfarbe und Lautstärke.
UPISketch greift diese Ideen auf eigene Weise auf. Im folgenden Video zeichne ich mehrere Linien gespickt mit verschiedenen Stimmen-Samples in das XY-Feld ein.

Das Max-for-Live-Tool resynesthiz scannt Bilder spaltenweise und überträgt ihre Pixelhelligkeiten auf 1000 Sinusoszillatoren, deren Verteilung sich über das gesamte Frequenzspektrum erstreckt. Ein Bild wird so zu einer spektralen Partitur: Helligkeiten, Formen und Dichten erscheinen visuell und zugleich als additive Klangstrukturen.

Im Unterschied zu resynesthiz setzt PIXELSYNTH von Olivia Jack auf eine deutlich einfachere und unmittelbar zugängliche Form der Bild-zu-Klang-Übersetzung. Ein Cursor scannt von links nach rechts über ein Bild – helle Pixel lösen Töne aus, die vertikale Position bestimmt die Tonhöhe, die Helligkeit die Lautstärke. .

Eigenwillige Instrumente

Zwischen Denkmodell und Übersetzung von Eigenschaften können eigenwillige Instrumente entstehen. Für mein Konzeptalbum AOA habe ich ein Python-Tool entwickelt, das Text und Audiomaterial in eine visuelle Buchstabenlandschaft setzt. Dabei steuert der Spectral Flux – also die Veränderung im Klangspektrum – die Platzierung blauer Buchstaben, die Spectral Flatness – ob ein Klang eher rauschhaft oder eher tonhaft wirkt – die gelben Buchstaben, und die Onset Strength – die Stärke klanglicher Einsätze und Impulse – die schwarzen Buchstaben. So entsteht ein Patchfeld zwischen Text, Klangspektrum und Bild.

Intermedial denken, modular patchen

Was wird für die Vermittlung von Kunst und Musik fruchtbar, wenn man von modularen und intermedialen Ideen ausgeht? Und was heißt es, über Preset-Browsing und fertige Instrumente hinaus eigene modulare Werkzeuge zu erfinden? Diesen Fragen gehe ich in einem folgenden Blogartikel mit VCV Rack als praktischem Werkzeug nach. Anhand konkreter Patches wird es unter anderem darum gehen, individuelle generative Sequencer zu entwickeln, die Audiomaterial, MIDI-Instrumente und Video miteinander verschalten und so praktisch an die Idee des Computers als intermedialem Synthesizer anschließen.

Zum Ausprobieren und Weiterlesen

Text-Synth/Modular-Synth:

The Nonsense Laboratory – Text-Synth/Text-Resampler (Essay über Allison Parrish’s Machine Poetics)
Synth Secrets – Introduction to Synthesis

Video-Synths:

Vsynth – Modularer Video-Synth für Max/MSP
Paik/Abe Video Synthesizer – Historischer Kontext

Bild-zu-Klang-Übersetzung:

Xenakis‘ UPIC-System
UPI SKETCH – Klang Zeichnen
resynesthiz – Spektraler Bild-Scanner
PIXELSYNTH – Bild-zu-Klang-Synth im Browser

Texte zu Computer und Medien: