Das digitale Bild wird adaptiv: In portablen
Medien und interaktiven Anwendungen wird
zunehmend Prozessor- und Sensortechnik
verbaut, die es ermöglicht, Bilder an ihre
Umwelt anzupassen und dabei auf Eingaben
und Situationen in Echtzeit zu reagieren.
Bild, Körper und Raum werden miteinander
verschaltet und synchronisiert, mit
langfristigen Folgen für die menschliche
Wahrnehmung, für Handlungen und Entscheidungen. Die erweitert en Möglichkeiten
bedingen neue Abhängigkeiten von
Technologien und von den ästhetischen
und operativen Vorgaben jener, die diese
Technologien gestalten und bereitstellen.
Adaptivität
Reihe
Begriffe des
digitalen Bildes
Adaptivität
Herausgegeben von
Matthias Bruhn
Kathrin Friedrich
Lydia Kähny
Moritz Queisner
München, 2021
Open Publishing LMU
1
2
7
8
9
3
4
10
5
11
6
12
1
2
3
4
5
6
Teilnehmer*innen einer Wahlkampfveranstaltung von Hillary Clinton
nehmen ein Selfie auf, 2016.
Der Pokémon-Go-Spieler Chen Sanyuan nutzt das ortsbasierte AugmentedReality-Spiel auf einer Vielzahl von Smartphones, 2020.
Konzept zur adaptiven Ausrichtung eines Schallkopfes mit dem Ultraschallbild unter Verwendung einer Mixed-Reality-Brille, 2018.
Prototyp des ‚Routefinder‘, eines am Handgelenk getragenen Navigationssystems für den Straßenverkehr, ca. 1926.
‚Legible City‘ (Jeffrey Shaw / Dirk Groeneveld, 1989) ist eine interaktive Installation, bei der Nutzer*innen auf einem stationären
Fahrrad die virtuelle Simulation einer Stadt durchfahren können.
Radiografisches Planungsbild für eine stereotaktische (rahmenbasierte) Gehirnoperation, 1971.
7
8
9
10
11
12
Das sogenannte ‚Integrated Visual Augmentation System‘ annotiert das
Sichtfeld von Soldat*innen der US Army, 2021.
Das Fluoroskop von Thomas Edison zeigt den Körper als Bewegtbilder
in Echtzeit, 1896.
Virtuelle Erkundung der Marsoberfläche als 3D-Simulation mit einer
Mixed-Reality-Brille, 2015.
Presenter-Oberfläche der Sportanalyse-Software Tactic Advanced,
2020.
Patentzeichnung eines Anwendungsszenarios für eine Mixe-RealityBrille, 2015
Digitale Zusammenarbeit am 3D-Modell in der Anwendung ‚Mesh‘, 2021.
Inhalt
Editorial
Bildnachweis vorige Doppelseite
1
2
3
4
5
6
7
8
9
10
11
12
Barbara Kinney, 2016 (CC BY-NC-SA 2.0).
Lam Jia-ying, 2020.
Michael Pogorzhelskyi, Moritz Queisner, 2018 (CC-BY-NC).
„Weird and wonderful gadgets and inventions”. British Library Business & IP Centre, London 2008. Collection of Maurice Collins (Foto:
Maurice Collins).
Ausstellungsansicht: De Balie, Amsterdam, Netherlands, 1990
(Foto: Adam Savitch).
Lars Leksell: Stereotaxis and Radiosurgery. An Operative System,
Springfield, Illinois: Charles C Thomas Publisher 1971, fig. 26A,
S. 38.
Courtney Bacon, US Army, 2021.
William J. Morton and Edwin W. Hammer: The X-ray or Photography of
the Invisible and its value in Surgery, New York: American Technical
Book Co. 1896 fig. 54.
Jet Propulsion Laboratory, California Institute of Technology, 2015.
RT Software, 2020.
United States Patent Application 20150016777 A1, Rony Abovitz et
al., Planar Waveguid Apparatus with Diffraction Element(s) and
System Employing Same, January 15, 2015, sheet 107.
Microsoft Mesh hands-on demo | New platform to deliver collaborative
mixed reality experiences;
https://youtu.be/lhKn9mjy_QM [Stand 06/2021].
7
Was sind adaptive Bilder?
11
Szenarien adaptiver Bildgebung
19
Coworking auf dem Trecker.
Das menschliche Auge und die
Digitalisierung in der Landwirtschaft
49
Der angepasste Blick.
Personalisierte Werbung in Zeiten
maschinellen Lernens
67
Adaptivität – die Zukunft
digitaler Bildgebung?
79
Editorial
In der Science Fiction wird in regelmäßigen Abständen die
Vorstellung beschworen, dass die Menschheit eines Tages von
intelligenten, lebendigen Bildern umgeben sein wird. Fast
immer ist diese Zukunft holografisch, sie ist farbig und plastisch greifbar. Zwar bleibt meist im Verborgenen, wie die
oftmals menschenähnlichen Gestalten erzeugt werden oder
mit ihrer Umwelt kommunizieren, aber sie können sprechen,
sich im Raum bewegen und von allen Seiten angeschaut
werden. Sie erfassen ihr Gegenüber und vermögen darauf zu
reagieren. Besonders im Film wirken solche Zukunftsvisionen
auf den ersten Blick plausibel, weil darin die Probleme der
räumlichen Wiedergabe kaschiert sind; oftmals werden sogar
eigens Glitches oder Unschärfen eingebaut, um die holografischen Avatare von der übrigen Szenerie zu unterscheiden, die
ja derselben Trickkiste entstammt.
Dass Bilder auf ihre Umwelt reagieren, sich mit ihr austauschen können, klingt seit einigen Jahren nicht mehr nach
allzu ferner Zukunft: Prozessoren, Displays und Sensoren
sind leistungsstärker, kleiner und kostengünstiger geworden.
Darstellungen auf Smartphones und in VR-Brillen können
auf Körperpositionen und -bewegungen, auf Gesten und
Affekte reagieren, individuelle Perspektiven einkalkulieren
und reale Ansichten um orts- und zeitabhängige Informationen anreichern. Auf diese Weise werden die physische
Umwelt und die digitale Sicht auf sie miteinander verschaltet,
und je ruckelfreier und unmerklicher dies geschieht, umso
wahrscheinlicher werden dadurch auch Handlungen unterstützt oder beeinflusst.
Die digitalen Umgebungen eines räumlichen und verkörperten Computing bieten mehr als eine virtuelle Spielwiese;
7
professionelle Entwurfs- und Fertigungsprozesse, medizinische
Operationen, bildgesteuerte Arbeitsprozesse in der Landwirtschaft, Aus- und Weiterbildungsveranstaltungen könnten auf
bildlichem Wege gesteuert und vernetzt werden, mit realen
Ergebnissen auf der anderen Seite der digitalen Schnittstelle.
Umso mehr stellt sich die Frage, wie die betreffenden
Bilder entstehen, wie und durch wen sie programmiert und
generiert werden. Es entsteht hier eine neue Art von Bildern,
die nur noch in Abhängigkeit von ihrer Umwelt und von den
entsprechenden Technologien zu denken sind. Schon der
Versuch, sie zu dokumentieren und zu beschreiben, gestaltet
sich aufgrund ihres dynamischen, zeitabhängigen Charakters
als schwierig, und es ließe sich fragen, ob die Bezeichnung
‚Bild‘ überhaupt noch ausreichend ist angesichts der Technologien, auf denen sie beruhen.
Auch der Begriff der ‚Adaptivität‘ als solcher wird durch
das neue Anpassungsvermögen von Bildern herausgefordert
und bedarf der Klärung: ‚Maßgeschneiderte’ Kleidungsstücke oder Angebote, die auf ein Kundenprofil ‚abgestimmt’
sind, haben einen durchweg positiven Klang. Es würde sich
wohl auch niemand an einem Wort wie ‚Adapter’ stoßen.
Anders steht es dagegen bei Verhaltens- und Sehweisen (und
das wäre nicht zuletzt bei interaktiven Bildern von Bedeutung), etwa wenn ein ‚konformistischer’ Mensch seine Gesinnung den gesellschaftlichen Erwartungen unterordnet; oder
wenn die evolutionsbiologische Anpassung an Räume oder
Nischen einer Spezies das Überleben ermöglicht.
Solche sozialen oder ökologischen Wortbedeutungen
mögen wegführen von dem Phänomen, das in den folgenden
Beiträgen erstmals umfassender beschrieben werden soll.
Doch es gibt sehr wohl Verbindungen zwischen ihnen und der
Adaptivität von Bildern – z.B. wenn Gesichter oder Bewe8
gungsprofile von automatisierten, vorgeblich ‚lernfähigen‘
Systemen erfasst und überwacht werden, die zuvor mit
bestimmten Daten trainiert worden sind. Sobald Bilder auf
technischem Wege mit Haltungen und Handlungen verknüpft werden, sind sie Teil eines größeren technischen und
gesellschaftlichen Geflechts, in dem Adaptivität kein trivialer
Begriff mehr ist. Das gilt umso mehr, wenn sich die Verhältnisse umkehren und digitale Bildmuster oder Bildwelten zum
Vorbild und Maßstab menschlichen Handelns werden.
Es ist keine Neuigkeit, dass Bilder an ästhetische Erwartungen oder an Situationen und Kontexte angepasst werden –
ein auswechselbarer Hintergrund im Fotostudio nimmt eine
solche Anpassung vor, im Grunde auch jedes Porträt, das nach
Ähnlichkeit strebt. Aber wie das Selfie, das durch Telefonie
und Internet mehr ist als nur Selbstporträt, meint auch Adaptivität einen weiteren Schritt. Nun sind es die Bilder selber,
die sich ihrer Umgebung wie eine zweite Haut anpassen und
gleichsam auf diese einwirken.
Der vorliegende Band soll diesen Fragen in einem Querschnitt von Fallbeispielen nachgehen und dabei auch deutlich
machen, wo und in welchem Umfang ‚adaptive Bilder‘ bereits
in unseren technisierten Alltag, in unsere Arbeitswelt eingedrungen sind, welche Möglichkeiten und Gefahren sie mit sich
bringen. Indem ‚Adaptivität‘ den gemeinsamen Nenner der
Betrachtungen bildet, wird nicht nur eine möglicherweise
neue Art von Bildern zusammengeführt, sondern auch eine
Zwischenbilanz formuliert, die selbst dann noch die Lektüre
lohnen möge, wenn die technische Entwicklung davongeeilt
oder unerwartete Wendungen genommen haben sollte.
Matthias Bruhn, Kathrin Friedrich,
Lydia Kähny, Moritz Queisner
Matthias Bruhn, Kathrin Friedrich, Moritz Queisner
Was sind adaptive Bilder?
In der medizinischen Diagnostik, in der Architekturplanung,
in der industriellen Produktion oder in der Unterhaltungsbranche fungieren digitale Visualisierungen im wachsenden
Maße als zentrale Schnittstellen der Interaktion; neben
der reinen Informationsvermittlung haben sie längst auch
steuernde Funktion. Mit der zweiten Welle der Digitalisierung
– die oftmals mit dem Begriff einer ‚Industrie 4.0‘1 verbunden wird – vollzieht sich derzeit ein Paradigmenwechsel,
der die Möglichkeiten und Praktiken digitaler Bildgebung
grundlegend verändert. Sensor- und Display-Technologien,
aber auch intelligente Software-Umgebungen greifen in die
Beziehungen zwischen Menschen und Computern ein und
rekonfigurieren insbesondere den Umgang mit der physischen
Umgebung. Handlungsabläufe, Körper und Verhaltensweisen werden zunehmend digital erfasst, mit ihrer Umgebung
korreliert und an digitale Netze angeschlossen.2 Während
der Übergang von analogen zu digitalen Bildern seit den
1970er Jahren die Modi des Umgangs mit Bildern bereits in
vielfältiger Weise verändert hat, konfrontiert diese zweite
Digitalisierungswelle viele Nutzer*innen mit einer neuen
Generation von Werkzeugen, die menschliches Denken und
Handeln auf bildlichem Wege nicht nur begleiten, sondern einrahmen, vorspuren oder sogar antizipieren.3 Am deutlichsten
1
2
3
Der Begriff Industrie 4.0 wurde erstmals 2013 im Perspektivenpapier der von der deutschen Bundesregierung initiierten
Forschungsunion Wirtschaft – Wissenschaft geprägt und wurde als
gleichnamiges Projekt Teil der Hightech-Strategie der Bundesregierung. Siehe: Forschungsunion Wirtschaft – Wissenschaft,
Perspektivenpapier Forschungsunion. Wohlstand durch Forschung
– Vor welchen Aufgaben steht Deutschland?, 2013.
Mark Andrejevic, Mark Burdon: Defining the Sensor Society. In:
Television & New Media, 2014, Heft-Nr. 16, S. 19–36; Jordan
Crandall: The Geospatialization of Calculative Operations.
Tracking, Sensing and Megacities: Theory, Culture & Society 6,
2010, Nr. 27, S. 68–90; Mark B. N. Hansen: Feed-forward. On
the future of twenty-first-century media, Chicago 2015.
Die Untersuchung des Übergangs vom digitalen zum adaptiven Bild
steht im Mittelpunkt des Projekts ‚Adaptive Bilder. Technik und
Ästhetik situativer Bildgebung‘ an der Staatlichen Hochschule
für Gestaltung in Karlsruhe. Das Vorhaben erforscht die besondren
ästhetischen, technischen und operationalen Aspekte adaptiver
Bildlichkeit.
11
werden die Folgen dieses Wandels in der Medizin, wo sich
bildgebende Technologien tief in die ärztliche Praxis hinein
auswirken, etwa indem sie diagnostische Entscheidungen
unterstützen oder chirurgische Eingriffe anleiten,4 sowie
im Kontext militärischer Einsätze, in denen computer- und
robotergestützte Waffentechnologien maßgeblich durch
visualisierte Sensordaten gelenkt werden, bei denen Bilder die
primäre, oft sogar die einzige Grundlage für Handlung und
Wahrnehmung bilden.5
In der Unterhaltungsindustrie ermöglichen immer ausgefeiltere Techniken der Foto- und Videobearbeitung die
Verknüpfung videobasierter Inhalte mit computergenerierten
Bildern, die sich sowohl auf der Daten- als auch der Bildebene auswirkt, ohne jedoch für die Nutzer*innen sichtbar zu
werden. Streaming-Dienste wie Netflix suchen nach neuen
Möglichkeiten, Werbeeinnahmen zu generieren, indem sie
computergenerierte Werbebilder direkt in Shows und Filme
einbetten. Die Platzierung von Produkten durch Integration
und Überlagerung von Objekten in einer laufenden Video- oder
Fernsehübertragung ist zu einem gebräuchlichen Werkzeug
der personalisierten Werbung geworden. Im Unterschied zu
bisherigen Formen der Produktplatzierung wird der Prozess
automatisiert, indem durch den Einsatz maschinellen Lernens
entsprechende Objekte und Bereiche identifiziert werden, die
sich für die Einblendung von digitalen Bildern oder Objekten innerhalb einer Szene eignen. Das Rendering virtueller
Inhalte in das Video kann inzwischen in Echtzeit erfolgen,
so dass die platzierten Objekte auf Grundlage individueller
Nutzungsprofile ausgewählt und angepasst werden können
(Abb. 1). Anbieter sind so in der Lage, in Kombination mit dem
Zugriff auf riesige Mengen an Kundeninformationen, visuelle
Inhalte zu generieren und anzubieten, die vermeintlich den
4
5
Kathrin Friedrich und Sarah Diner: Virtuelle Chirurgie. In: Dawid
Kasprowicz und Stefan Rieger. (Hg.): Handbuch Virtualität, Wiesbaden
2019; https://doi.org/10.1007/978-3-658-16358-7_19-1;
Moritz Queisner: Medical Screen Operations: How Head-Mounted Displays Transform Action and Perception in Surgical Practice. In:
Media Tropes, 1, 2016, Heft 6, S. 30–51.
Nina Franz und Moritz Queisner: The Actors Are Leaving the Control
Station. The Crisis of Cooperation in Image-guided Drone Warfare.
In: Luisa Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.):
Image action space. Situating the screen in visual practice,
Berlin/Boston 2018, S. 115–132.
Abb. 1, Rendering virtueller Inhalte in ein Video basierend auf automatisierter Bildanalyse (mit freundlicher
Genehmigung von Mirriad Inc., https://youtu.be/npW0OTWOWLE, 2019).
Konsumgewohnheiten der Zuschauenden entsprechen, indem sie Seh- und Konsumpräferenzen, Alter, Geschlecht oder
Standort ermitteln und auf der Bildebene integrieren.
Eine solche personalisierte Werbung auf Basis der Metriken digitaler Mediennutzung, beschleunigt nicht nur den
Niedergang des klassischen Werbespots der Fernseh-Ära.
Derartige Entwicklungen verdeutlichen zudem das Ausmaß,
mit dem die aktuelle massenmediale Bildproduktion durch
Softwaretechnologien automatisiert und gesteuert wird. Inhalte werden bis auf die Ebene des Einzelbildes und bis zum
individuellen Seherlebnis der Nutzer*innen choreographiert
und angepasst. So können etwa Markennamen in visuelle
Leerstellen eines Nachrichtenstreams eingeblendet, Produkte
in eine Filmszene eingefügt und Plakatwände in einem Fußballstadion mit virtuellen Bannern so überlagert und erweitert
werden, dass Personen oder Objekte im Vordergrund nicht
verdeckt werden (Abb. 2). Digital erzeugte Sportwerbung
passt sich dabei an die Datenprofile des Publikums, die jeweiligen Spielsituationen und geografischen Regionen oder die
13
Abb. 2, Virtuelle Plakatwerbung in einem Fußballstadion
(mit freundlicher Genehmigung von Supponor Ltd.; https://
youtu.be/AJtLAYmdgTw, 2018).
Abb. 3, Kund*innen können mit der Augmented-Reality-App
Ikea Place das Aussehen und die Passform von (virtuellen)
Ikea-Möbeln im physischen Raum ihres Wohnzimmers simulieren. (Mit freundlicher Genehmigung von Inter IKEA
Systems B.V.; https://youtu.be/UudV1VdFtuQ, TC:0:47).
Perspektive der Kameras vor Ort an. Auch bei Casting- oder
Gameshows kann Werbung auf vermeintliche Publikumspräferenzen zugeschnitten werden – bis hin zu den Kaffeetassen
der Jury, die virtuell mit Markennamen versehen werden,
welche sich wiederum aus den Online-Shop-Bestellungen der
aktuellen Zuschauer*innen ableiten lassen. All das geschieht
in Echtzeit. Trotz solcher subtiler Werbebotschaften wird
jedoch auch das Publikum immer geschickter darin, Produktplatzierungen zu erkennen und Werbung zu umgehen.
Mit dem Konzept der virtuellen Produktplatzierung und
-ersetzung sollen wirtschaftliche Interessen daher mit der
Situation und dem Kontext ihrer Präsentation verschmelzen
und untrennbar mit Medieninhalten verbunden werden.
Eine weitere Form bildbasierter Anpassungsprozesse geht
weit über den gemeinhin definierten Bereich des digitalen
Bildes hinaus und reicht tief in den physischen Raum hinein.
Augmented-Reality-Apps wie Ikea Place ermöglichen es Verbraucher*innen, mittels der Kamera ihres Smartphones oder
Tablets optisch ihre Wohnung zu vermessen, um maßstabsgetreu im Kamera-Stream des Geräts Ikea-Möbel zu visualisieren. So soll die Kundschaft das Aussehen und die Passform
von neuen Möbeln bereits vor dem Kauf und in der eigenen
Umgebung simulieren können. Die App rendert dazu in Echtzeit die virtuellen 3D-Objekte passend zum Maßstab und zur
Topografie der heimischen Umgebung. Natürlich ist die App
mit der Bestandsdatenbank von Ikea verbunden und liefert
zusätzliche Informationen zu den Möbeln. Durch die Veränderung der Kameraperspektive können Nutzer*innen innerhalb der grafischen Oberfläche der App virtuelle Möbel in der
eigenen Wohnung platzieren und positionieren (Abb. 3).
Auch in diesem Fall produzieren und aktualisieren bildgebende Technologien Inhalte im Hinblick auf soziale
14
15
Kontexte und kommerzielle Interessen. Hinzu kommt die
Anpassung an den Realraum. Sensor- und Bildgebungstechnologien erlauben es, diesen zu erfassen und zu verarbeiten,
Bewegungen in Echtzeit zu verfolgen und in geometrische
Formen zu transformieren, sodass die räumliche Umgebung
instantan berechenbar wird. Virtuelle Objekte lassen sich
maßstabsgetreu einsetzen. Visualisierungen mit Augmented-Reality-Apps wie Ikea Place werden von der Perspektive
der Benutzer*innen abhängig gemacht, die ihrerseits in einen kontinuierlichen Anpassungsprozess zwischen Bild und
Raum eingebunden werden, indem die Darstellung Blickwinkeln und Bewegungen folgt.
Hier zeigt sich eine Entwicklung, die in der Bild- und
Medienforschung bisher nur marginale Beachtung gefunden hat: Während Bilder das Objekt und seine Darstellung
oftmals räumlich voneinander trennen, scheinen Anwendungen wie Ikea Place computergenerierte Bilder mit der
physischen Welt zu verschmelzen. Ihr Beispiel zeigt, wie die
Objekte, Standpunkte und Nutzungen einer digitalen App in
ein größeres raumzeitliches Bezugssystem gebracht werden,
das topografische Gegebenheiten einbeziehen und auf
Positionen und Aktionen mit unterschiedlichen Datenvisualisierungen reagieren kann. In Kombination mit entsprechender Rechenleistung und Sensorik sowie der immer genaueren
Vorhersagbarkeit von menschlichen Verhaltensweisen durch
maschinelles Lernen entsteht die nächste Generation digitaler
Werkzeuge und Anwendungen zur situativen und kontextspezifischen digitalen Bildgebung. Aus der technischen
Anpassung von Bild, Handlung und Raum geht allmählich ein
neuer Typus visueller Medien hervor, für den hier der Begriff
des adaptiven Bildes vorschlagen wird.
16
Matthias Bruhn, Kathrin Friedrich,
Lydia Kähny, Moritz Queisner
Szenarien adaptiver Bildgebung
Es dürfte kein Zufall sein, dass adaptive Bildformen be sonders in ökonomisch bedeutsamen Sektoren wie der
Sport- und Unterhaltungsbranche, in der industriellen Fertigung oder Medizintechnik, aber auch im militärischen
Bereich als vielversprechende Entwicklungen angepriesen
werden. Auf technologischer Ebene ist den Anwendungen
relativ leicht anzusehen, dass sie die erweiterten Möglichkeiten der digitalen Bildverarbeitung in Echtzeit und deren
vielfältige interaktive Verknüpfung nutzen. Auf ästhetischer
Ebene hingegen zeitigen sie Auswirkungen auf das Wahrnehmen, Denken und Handeln, die noch nicht ansatzweise
erforscht sind. So ist z.B. keineswegs sicher, ob alltägliche
Routinen durch die betreffenden Medien wirklich unterstützt
oder nicht eher behindert werden.
Mit dem Ziel, das Phänomen der Adaptivität genauer zu
beschreiben und gemeinsame Charakteristika adaptiver Bilder
zu skizzieren, wird im Folgenden eine Reihe von Fallstudien
und Szenarien vorgestellt. Diese sind sowohl emblematisch
für Praktiken und Kontexte adaptiver Bilder als auch hilfreich für die Ausarbeitung theoretischer Überlegungen. Sie
belegen, in welchem Ausmaß digitale Bilder in Kombination
mit Erfassungs-, Anzeige- und Übertragungstechnologien
Handlung und Wahrnehmung beeinflussen und steuern. Für
sich genommen, mögen die einzelnen Beispiele noch keine
neue belastbare Grundlage bieten, doch in der Summe lassen
sie Praktiken der digitalen Bildgebung erkennen, die unter dem
Oberbegriff des adaptiven Bildes systematisiert werden können.
19
Josephine Rais (CC BY-NC-ND)
21
Annotation: Museale Räume
erfahrbar machen
Schon seit den frühen 1990er Jahren haben Museen damit
begonnen, ihre physischen Sammlungen digital ‚begehbar‘
zu machen, etwa durch browserbasierte virtuelle Rundgänge. Fraglich geblieben ist dabei aber, was diese medialen
Übersetzungsschritte ins Digitale gegenüber dem Original
an Mehrwert bieten. Unbestrittenermaßen eröffnen digitale
Reproduktionen, wie sie etwa Google Arts & Culture zu Verfügung stellt, mehr Menschen Zugänge zu musealen Räumen.
Auch zeigen diese virtuellen Museen die Werke im musealen
Kontext, etwa in einer bestimmten Hängung oder baulichen
Umgebung. Darüber hinausgehend bleibt ihre Wirkmacht
aber überschaubar – gegenüber dem Original spielen sie nur
eine nachgeordnete Rolle. Virtual-Reality-Anwendungen erweitern die digitale Erfahrbarkeit inzwischen, indem sie die
Begehbarkeit von Werken in ‚3D‘ und in realer Skalierung
ermöglichen. Besucher*innen können sich innerhalb volumetrisch vermessener Ausstellungsräume frei bewegen, als
wären sie tatsächlich vor Ort. Diese körperliche Erfahrung
bietet eine neue Qualität der digitalen Reproduktion, wie etwa
in den Sammlungen der Smithsonian Institution oder des British Museum.
Im Gegensatz zu virtuellen Reproduktionen verknüpft
der Einsatz von Augmented Reality digitale Bilder mit dem
Realraum. Leistungsstarke Methoden der Vermessung und
Mustererkennung ermöglichen eine direktere Interaktion mit
digital erzeugten Ansichten von Räumen und Objekten. Betrachter*innen können durch das Ausrichten des Kamerabilds eines
Tablets oder Smartphones die reale Situation mit grafischen
Ebenen überlagern, die sich in Echtzeit an den erfassten Aus22
schnitt anpassen. Diese individuellen Darstellungssituationen
ermöglichen narrative Strategien, in denen der museale Raum
auf andere Art und Weise erfahrbar wird. So können etwa
unterschiedliche historische Zustände auf das physische Werk
bezogen werden. Beim hier gezeigten Pergamonaltar können
fehlende Elemente und Farbvarianten des Hochreliefs, dessen
Fragmente heute auf der Berliner Museumsinsel ausgestellt
sind, und den Kampf der Giganten gegen die griechischen
Götter zeigen, virtuell rekonstruiert werden.
23
Josephine Rais (CC BY-NC-ND)
25
Protest: Politische Teilhabe an der
Schnittstelle zwischen physischem und
digitalem Raum
Praktiken adaptiver Bildgebung finden sich auch im öffentlichen Raum und mit dezidiert politischem Anspruch. Im
Zuge der Black-Lives-Matter-Bewegung wurde etwa das
Pedestal Project1 von der NGO Color of Change2 initiiert. Für
das Projekt wurde eine Augmented-Reality-App entwickelt,
mit der 3D-Modelle von Bürgerrechtler*innen virtuell auf
leere Sockel ‚gestellt‘ werden können. Auf den leeren Plattformen fanden sich zuvor Statuen von Südstaaten-Generälen oder
anderen Personen, die sich rassistisch geäußert oder verhalten
haben und die bei den Black-Lives-Matter-Protesten gestürzt
wurden. Die App ermöglicht es, freie Sockel in der Nähe zu
orten und auf diese passgenau eine virtuelle Statue von Aktivist*innen des ‚movement for racial justice‘ zu platzieren,
gemäß dem Slogan „The Pedestal Project is an Augmented
Reality experience that lets you replace symbols of racism
with symbols of equality.“3 Zudem können in der App politische Botschaften der Aktivist*innen angehört werden.
Das Pedestal Project nutzt adaptive Bildpraktiken, um ein
öffentliches Bewusstsein für die Forderungen der Black-LivesMatter-Bewegung zu verbreiten. Gleichzeitig wird die Teilhabe am öffentlichen Raum und die Vorstellung einer gleichberechtigten Erinnerungskultur ermöglicht. Nutzer*innen
der App können eine ortsbezogene digitale Öffentlichkeit
kreieren und Symbolwelten des öffentlichen Raums mit
neuen Bedeutungsebenen und Bildpolitiken belegen. Die
digitale Visualisierung von Aktivist*innen und damit auch
die Verbreitung ihrer politischen Forderungen über soziale Medien ist ein buchstäblich visionärer Faktor, der den
26
1
2
3
Entwurf einer gleichberechtigten und weniger diskriminierenden Zukunft auf bildlichem Wege vorantreibt. Eine
politisch-aktivistische Nutzung von Augmented Reality
macht deutlich, dass durch das raumkonsistente Hinzufügen
virtueller Elemente in reale Umgebungen politische Statements und auch alternative Vorstellungsräume vermittelt
werden können, die sich explizit nicht in den bestehenden
hegemonialen Diskurs fügen.
27
https://thepedestalproject.com [Stand 05/2012].
https://colorofchange.org [Stand 05/2012].
https://thepedestalproject.com/about [Stand 05/2012].
Josephine Rais (CC BY-NC-ND)
29
Therapie: Wie Visualisierungen
therapeutisch wirksam werden
Der Begriff virtuelle Therapie (auch Virtual-Reality-Therapie
oder Cybertherapie genannt) bezeichnet den Einsatz von
VR-Szenarien und Head-Mounted-Displays (HMD) zum
Zweck der Expositionstherapie.4 Patient*innen mit Höhenangst werden beispielsweise dazu angeregt, sich mit Szenarien
zu beschäftigen, die unangenehme oder beängstigende Emotionen auslösen.5 Solche Therapieanwendungen versprechen,
Ängste und Stresssymptome durch die virtuelle Konfrontation
mit einer gefürchteten Situation zu reduzieren, während sich
Patient*innen gleichzeitig mit Therapeut*innen unterhalten.
Im Vergleich zur traditionellen Verhaltenstherapie ist der
Einsatz von VR und HMD entscheidend für das Grundprinzip virtueller Therapie. Die Visualisierung in der virtuellen
Realität unterscheidet sich grundlegend von 2D- und sogar
stereoskopischen Bildformen, da die Bilder auf Bewegungen
und Positionswechsel reagieren. Virtual-Reality-Headsets
ermöglichen es, translatorische Bewegungen (vorwärts und
rückwärts, auf und ab, links und rechts) und rotatorische
Bewegungen (seitliches Kippen, vorwärts und rückwärts,
links und rechts) innerhalb einer virtuellen Szenerie zu
synchronisieren. Auf diese Weise werden Nutzer*innen
oder Patient*innen Teil des Bildes, in dem sie eine Szene dreidimensional, aus jeder Perspektive und im realen Maßstab
erleben können. In der Theorie wird dies schon lange, oft
mit Nachdruck, als der letzte Schritt ‚von der Beobachtung
zur Teilnahme‘ und ‚vom Bildschirm zum Raum‘ vorweggenommen. Wenn der Körper aktiver Teil der Visualisierung
wird, können virtuelle Räume sensomotorisch und idealerweise immersiv erlebt werden. Dieses Anpassungsprinzip
zwischen Sensomotorik, Imagination und Emotion macht
sich virtuelle Therapie zu eigen.
Ist es Patient*innen geistig und körperlich möglich, in die
virtuellen Szenarien einzutauchen, können Emotionen ausgelöst und therapeutisch verarbeitet werden. Dabei ist die
mediale Synchronisation von Körperempfinden, visueller
Wahrnehmung und emotionaler Einfühlung besonders wichtig,
um das Gefühl des Eintauchens zu erzeugen.6 Diese interaktive Rückkopplungsschleife soll in einer Weise wirksam
werden, dass ein therapeutischer Erfolg erzielt werden kann.7
30
31
6
4
5
Max North und Sarah North: Virtual Reality Therapy. In: Encyclopedia
of Psychotherapy, 2002, Heft-Nr. 2, S. 889–893.
Daniel Freeman et al.: Automated psychological therapy using immersive virtual reality for treatment of fear of heights. A singleblind, parallel-group, randomised controlled trial. In: Lancet
Psychiatry, 2018, Heft-Nr. 5, S. 625–632.
7
Ken Hillis: Digital sensations: Space, identity, and embodiment in
virtual reality. Minneapolis, 1999, S. 1–29; William Sherman und
Alan Craig: Understanding virtual reality: Interface, application,
and design. San Francisco 2003, S. 6–17.
Kathrin Friedrich: Therapeutic Media. Treating PTSD with Virtual
Reality Exposure Therapy. In: MediaTropes, Jg. 6 2016, Heft-Nr. 1,
S. 86–113.
Josephine Rais (CC BY-NC-ND)
33
Lernen: Verkörperter Wissenserwerb in
der chirurgischen Ausbildung
Mithilfe eines am Kopf getragenen, transparenten Displays
können Betrachter*innen ihre sichtbare Umgebung mit visuellen Informationen überlagern. Ermöglicht wird dies durch die
kontinuierliche topografische Erfassung der Umgebung, mit
der Körper, Objekte und Strukturen in ein gemeinsames Koordinatensystem überführt werden. Visuelle Einblendungen
können so dynamisch an die Perspektive der Betrachter*innen
angepasst werden und auch Bewegung, etwa der Hände, einbeziehen. Zudem lässt sich die Position und Skalierung dieser
digitalen Bilder mit dem Realraum synchronisieren. Während
Bild und Umwelt in der Regel nur nebeneinander oder nacheinander betrachtet oder benutzt werden können, rücken sie in
einer Mixed Reality nun weiter zusammen.
Diese Verknüpfung von Sensorik und Motorik steht für
eine zunehmende Konvergenz von Bild und Handlung. Sie fordert aber nicht allein die technischen Möglichkeiten in einem
Höchstmaß heraus (z.B. durch die umfassende Verwendung
von Tracking- und Tracing-Technologien), sondern auch die
Gestaltung einer entsprechenden Bildästhetik, die Struktur
und Dynamik miteinander verbinden muss – etwa mithilfe
von Eigenschaften wie Farbe, Kontrast, Textur, Kontur, Licht
oder Transparenz. Daran anschließend stellt sich die Frage,
wie diese Visualisierungstechniken eingesetzt werden können,
um Arbeitssituationen in ihrer Materialität und Räumlichkeit
erfahrbar zu machen. Hier liegen vor allem Anwendungen und
Prozessen nahe, bei denen Pläne oder Karten mit räumlichen
Bilder und Realraum verknüpft werden, etwa zum Zwecke der
Navigation, in der Architekturplanung oder in industriellen
Arbeitsabläufen, bei denen die Pläne und Karte mit räumli34
chen Ansichten oder mit abstrakten Handlungsanweisungen
verknüpft werden und der Blick den permanenten Abgleich
zwischen Bild und physischer Umwelt sucht.
Auch wenn digitale Bilder oftmals räumliche Parameter
enthalten und wiedergeben, müssen sie nicht unbedingt auf
einen Realraum bezogen sein. Transparente Displays ermöglichen diese Verknüpfung und eröffnen damit neue Sehweisen
und Interaktionsmöglichkeiten. So lassen sich etwa Lern- und
Ausbildungssituationen neu konzipieren, in denen normalerweise zwischen Bildschirmanweisung und Arbeitsbereich
hin- und her gewechselt werden muss. Um die Anordnung
und Funktionen chirurgischer Instrumente auf einem Operationstisch nachzuvollziehen, können Lernende bildbasierte
Anweisungen und Objekte auf die tatsächlichen Werkzeuge
und Handlungen beziehen.
Gegenüber existierenden bildbasierten Vermittlungsformen, wie Schautafeln oder Videos werden Arbeitssituationen hier aus individueller Perspektive, in realer Skalierung
und mit dem eigenen Körper nachvollziehbar. Mixed Reality
Darstellungen schließen so mutmaßlich eine Lücke zwischen
Theorie und Praxis. Durch die verkörperte Wahrnehmung
und Interaktion kann Wissen effektiver in Können überführt
werden. Jedoch verlangt die Verschaltung von Echtzeit-Bildgebung, transparenten Displays und bildbasierter Interaktion von den Nutzer*innen ein neues anwendungsbezogenes
Bildwissen, das über eine analytische Wahrnehmung oder
Interpretation hinausgeht und die physischen Folgen ihrer
Bild- und Medienoperationen mitdenkt. Hier liegt die nächste
Herausforderung für die Bildanalyse, die neue Konzepte für
die Gestaltung und Interaktion dieser Bilder vorlegen muss.
35
Josephine Rais (CC BY-NC-ND)
37
Werbung: Die Personalisierung des
öffentlichen Raums
Der jüngste Hype um Mixed Reality und Augmented Reality
prophezeit nicht zum ersten Mal einen Durchbruch der
sogenannten ‚Reality‘-Technologien. Ihr Versprechen ist seit
Jahrzehnten nahezu unverändert: Während Bildgebungsverfahren, wie wir sie heute kennen, Darstellung und Dargestelltes in der Regel räumlich voneinander trennen, sollen
neuartige Raumcomputer, die in Smartphones, Brillen und
womöglich bald auch in Kontaktlinsen zu finden sind, Körper und Handlung auf bildlichem Wege mit dem Raum
fusionieren. Nachdem das digitale Bild zeitweilig mit dem
Verlust der Referenz auf konkrete Orte oder die materielle
Welt verbunden worden ist, zeichnet sich hier nun durchaus
eine Konvergenz zwischen Virtualität und Physikalität ab. Die
Möglichkeiten der Vermessung des Raumes in Echtzeit haben
die physische Umgebung computierbar gemacht, so dass
Bilder mit physischen Objekten oder Strukturen in räumliche
Beziehung gesetzt werden können. Als Resultat wird die Welt
als Hybrid sichtbar, überlagert von einem Schirm digitaler
Artefakte. Woraus besteht diese Schicht? Wie sehen wir durch
sie? Und wie handeln wir mit ihr?
Die Verknüpfung von räumlicher Umgebung und digitaler
Mediennutzung steht heute mehr denn je im Mittelpunkt möglicher Anwendungsszenarien. Was im Kontext ortsbezogener
Datenprofile längst als kommerzielles Data-Mining betrieben
wird und Suchanfragen oder Werbeanzeigen beeinflusst, wird
im Kontext der Mixed Reality zu einer Personalisierung der
gesehenen Umwelt. Die Vorstellung eines geteilten öffentlichen Raums tritt dabei insofern in der Hintergrund, als dass
dieser zunehmend als Projektionsfläche für individualisierte
Medieninhalte genutzt wird. Wie verändert sich die Interaktion
im Stadtraum, wenn soziale Medien die Flächen der Browserfenster verlassen und mit realen Orten und Personen
verschmelzen?
Folgt man den Vorstellungen und Verheißungen der großen Technologiekonzerne, scheint diesmal die ‚Realität‘ selbst
zur neuen Superplattform zu werden. Technologisch, so wird
suggeriert, sei die Realisierung dieser „größten Herausforderung unserer Zeit“8 nur noch einen Steinwurf entfernt –
entsprechend groß sind vor allem die ökonomischen
Erwartungen. Außerhalb der Marketingblase herrscht jedoch
weniger Zuversicht: Es ist bei Weitem nicht nur eine computertechnische Frage, ob und wie sich Medieninhalte auf
die physische Umwelt beziehen lassen.9 Ob visuelle Formen
und Formate denkbar sind, mit denen digitale Medieninhalte auf reale Personen oder Objekte bezogen werden, ist vielmehr und zuallererst ein Bildproblem. So scheiterten Projekte
wie Googles ‚Glass‘ nicht etwa an der Technologie oder ihrer
Bedienbarkeit, sondern daran, dass die dort dargestellten
Bilder keinen räumlichen Bezug auf das Sichtfeld der Nutzer*innen hatten und lediglich ihre Position einbezogen. Die
Rolle des Bildes bleibt also selbst dann prekär, wenn die
zunehmende Dichte und Verbreitung von Sensoren den öffentlichen Raum in eine weltumfassende dreidimensionale Karte
verwandelt hat. Wer entwirft das ‚Reality‘-Betriebssystem
für diese bildlich gesteuerten Umgebungen? Und brauchen
wir in Zukunft nach der ‚Netzneutralität‘ auch eine ‚Reality
Neutrality‘?
38
39
8
9
Mark Zuckerberg auf Facebook; https://www.facebook.com/zuck/posts/
10112933648910701 [Stand 04/2021].
Emily Eifler: You’re doing Mixed Reality wrong, 2017; https://medium.
com/@blinkpop/youre-doing-mixed-reality-wrong-d32aa54ae8af [Stand
05/2021].
Die skizzierten Szenarien erlauben es, drei
grundlegende Merkmale adaptiver Bilder zu
identifizieren, die hier als deren ästhetische,
operative und räumliche Dimension bezeichnet
werden.
Die ästhetische Dimension
Aus ästhetischer Sicht verändert adaptive Bildgebung die
Modi der Bildproduktion und Imagination, indem sie scheinbar unvermittelte Formen der Bearbeitung und Visualisierung bereitstellt. Die zentrale gestalterische Herausforderung
besteht hier in einer permanenten Anpassung von Bild und
Raumzeit, begleitet von neuen Formen und Effekten der Darstellung, welche deren Verschmelzung sowohl ermöglichen
als auch thematisieren: Welche Gestaltungsstrategien im
Umgang mit Farbe und Kontrast, Lichteffekten und Texturen,
Piktogrammen und Beschriftungen werden daraus hervorgehen? Welche Interaktionsmuster werden durch adaptive
Bilder nahegelegt, um den eingeschränkten Zugang zum
physischen Raum zu umzugehen, etwa bei Visualisierungen
mit mehreren Beteiligten?
Aus der Geschichte bildlicher Darstellungen ist bekannt,
dass Gestaltung und Wahrnehmung in einem engen Wechselspiel miteinander stehen, das sich über bestimmte Zeiträume
durch bestimmte ‚Stilformen‘ bemerkbar macht, etwa durch
wiederkehrende Muster, Farben, Proportionen oder Abläufe.
Die zentralperspektivische Konstruktion, die das Blickfeld
einem starren geometrischen Raster unterwirft, fällt ebenso
darunter wie das konfokale Bild von Fotografie, Film und
Video.10 Auch im Bereich der digitalen und interaktiven
Medien lassen sich in der Rückschau sehr schnell solche Stilphänomene ausmachen, sei es bei historischen Beispielen
interaktiver Kunst,11 bei erfolgreichen interaktiven Spielen12
oder bei wissenschaftlich-technischen Bildgebungsverfahren,
die auf professionelle Anforderungen und Traditionen
10
40
11
12
Erwin Panofsky: Perspektive als symbolische Form, Leipzig 1927;
Hubert Damisch:The origin of perspective, Cambridge 1994 (Orig.
1987); James Elkins: Poetics of perspective, Ithaca, NY 1995;
Anne Friedberg: The virtual window. From Alberti to Microsoft,
Cambridge 2006; Margarete Pratschke: Windows als Tableau. Die
Bildgeschichte grafischer Benutzeroberflächen, Zürich 2011;
Bernhard Siegert: (Nicht) Am Ort. Zum Raster als Kulturtechnik.
In: Thesis, 2003, Heft-Nr. 3, S. 93-104.
Söke Dinkla: Pioniere Interaktiver Kunst von 1970 bis heute.
Myron Krueger, Jeffrey Shaw, David Rokeby, Lynn Hershman,
Graham Weinbren, Ken Feingold, Karlsruhe-Ostfildern 1997.
Inge Hinterwaldner: Das systemische Bild. Ikonizität im Rahmen
computerbasierter Echtzeitsimulationen, Paderborn/München 2010.
41
Rücksicht nehmen müssen.13 Gestalterische Mittel und
Entscheidungen wirken sich hier auf allen Ebenen aus, von
bildgebenden Algorithmen bis hin zu grafischen und haptischen Interfaces.14
Dies verlangt nach einer neuen Form von Kritik, aber auch
nach einer handlungs- und anwendungsorientierten Theorie
des Bildes, die neben Fragen der Abbildung, Darstellung und
Sichtbarmachung oder der Evidenz und Objektivität von Bildgebungen auch die Interaktion und damit einen permanenten
Wandel der Form mit einbezieht. Auch wenn sie die technische Entwicklung als Bedingung zugrunde legt, muss sich
eine solche Theorie auf der anderen Seite nicht in naiver oder
affirmativer Technikgläubigkeit ergehen. Während der potenzielle Verlust der Unterscheidung von Bild und Wirklichkeit
ein Leitmotiv der Kulturkritik seit dem frühen 20. Jahrhundert gewesen ist und schon die frühen Formen der Telepräsenz,
der Simulation und der Immersion als Beleg für eine psychophysische Entfremdung genommen wurden, waren auch die
späteren medien- und kulturtheoretischen Beiträge etwa von
Jean Baudrillard und Vilém Flusser durchaus ambivalent,
was das Versprechen einer totalen Visualisierung durch elektronische Medien angeht.15 Um als technische Avantgarde
akzeptiert zu werden, mussten die neuen Medien in einer
Weise zum Einsatz kommen, die auch das Denken verändert
und einen eigenen Sinn produziert.
Kunstgeschichte und Visual Culture Studies haben außerdem
seit den 1980er Jahren einen Begriff von ‚Visualität‘ hervorgebracht, der die moderne Optik und Sinnesphysiologie als
13
14
15
Siehe z.B. Lisa Cartwright: Screening the body. Tracing medicine's
visual culture, Minneapolis 1997; Joseph Dumit: Picturing personhood. Brain scans and biomedical identity, Princeton, NJ 2004;
Kelly Joyce: Magnetic Appeal. MRI and the Myth of Transparency,
Ithaca, NY 2008; vgl. auch die Beiträge in Matthias Bruhn (Hg.):
Ikonografie des Gehirns. Bildwelten des Wissens 6.1, Berlin 2008
und Kathrin Friedrich: Medienbefunde: Digitale Bildgebung und
diagnostische Radiologie, Berlin 2018.
Siehe dazu auch einige der Beiträge aus Jeannie Moser und Christina Vagt (Hg.): Verhaltensdesign. Technologische und ästhetische
Programme der 1960er und 1970er Jahre, Bielefeld 2018, etwa Sophie
Ehrmanntraut: Benutzerfreundlichkeit. Idiosynkrasie der Personal
Computer-Industrie, S. 125–141.
Jean Baudrillard: Simulacres et simulation. Paris. 1981; Vilém
Flusser: Ins Universum der technischen Bilder (1992), 6. Aufl.
Göttingen 2010.
Bestandteile einer umfassenderen ‚visuellen Kultur‘ versteht,
in der dem Sehsinn die höchste Priorität eingeräumt wird
und das ‚Sehen‘ Zwangscharakter annimmt.16 Die bisherigen
Untersuchungen zur visuellen Adaptivität legen nahe, dass
dieser Befund sowohl Bestätigung findet als auch nach
Aktualisierung verlangt. Adaptive Bilder sind mehr als nur
Übersetzungen und Ausgabeformate von gegebenen Daten,
Praktiken oder Kontexten; sie schließen auch menschliche
Faktoren wie Reaktionsfähigkeit, individuelle Nutzbarkeit
und Wahrnehmung ein. Sie sollten nicht nur daran gemessen werden, ob sie eine gelungene optische Illusion liefern,
ob Realität in ihnen korrekt abgebildet oder medial gebrochen
wird.
Die operative Dimension
In ähnlicher Weise wie das adaptive Bild sollte auch das
operative Bild schon einmal zum Ausdruck bringen, dass
visuelle Muster nur noch Zwischenzustände in einem weitgehend automatisierten Verarbeitungsprozess sind – etwa bei
der Steuerung von Geräten auf der Basis von Kameras und
Programmen zur Mustererkennung. Allerdings schließt der
Begriff der Operation und der Automatisierung bereits die
Frage ein, ob es überhaupt noch korrekt und sinnvoll ist, in
solchen Zusammenhängen von Bildern zu sprechen. Der
Filmemacher Harun Farocki hat in seiner Analyse von
Bildern zur Steuerung von Fernlenkwaffen treffend notiert,
dass sie „kein Objekt repräsentieren, sondern Teil einer Operation sind.“17 Auch wenn optische und elektronische Mittel
43
16
Vgl. Martin Jay: Scopic Regimes of Modernity. In: Hal Foster (Hg.):
Vision and Visuality, Seattle 1988, S. 3–23; Jonathan Crary:
Techniken des Betrachters. Sehen und Moderne im 19. Jahrhundert
(engl. 1990), Dresden 1996. Zu Crary auch Matthias Bruhn und
Kai-Uwe Hemken (Hg.): Modernisierung des Sehens. Sehweisen zwischen
Künsten und Medien. Bielefeld 2008.
zum Einsatz kommen, aus denen prinzipiell Bilddaten hervorgehen, so gibt es doch keine subjektive Auswertung und
keine stabilen Bildformen, die um ihrer selbst Willen erzeugt
würden.
Auf der anderen Seite sind diese Mittel oftmals an andere
Technologien angeschlossen, auf deren Grundlage sie operationalisiert und optimiert werden, etwa zum Zwecke der Überwachung, der späteren Dokumentation und Beweisführung.
Auch auf der Datenebene verzweigen sie sich in größere
Netzwerkstrukturen, indem sie z.B. mit selbstlernenden
Funktionen ausgestattet sind, die zu Trainingszwecken an
bestehende Bilddatenbanken angeschlossen werden. Durch
Sensortechnik werden die Verfahren der Bilderkennung nur in
einem begrenzten Umfang räumlich erweitert. Ob eine Überwachungsdrohne oder eine Dashcam ihre Umwelt ‚sieht‘, hängt
daher nicht nur von den Mechanismen der Zielerfassung,
sondern auch von den Vorgaben zur Zielbestimmung ab. Die
Bildtheorie muss hier auf die technische Entwicklung
antworten, indem sie zwischen den verschiedenen instrumentellen und intellektuellen Ebenen von Bildlichkeit genauer
unterscheidet, selbst wenn sich diese nicht immer trennen
lassen – als Computergrafik, als Bilddatei, Bildschirm oder
Bildsignal.
Da die Produktion, Verarbeitung und Übertragung von
Bilddaten inzwischen in Echtzeit erfolgt, werden Bilder
zunehmend in die visuelle Praxis integriert und eingebettet
– die Betrachtung von Bildern wandelt sich in eine möglichst
zügige Benutzung oder Bedienung von Interfaces, die auf
regelmäßige Eingaben warten und kontinuierlich Verortungen vornehmen.18 Zugleich bringt diese Art von Bildern
eine gewisse Handlungsfähigkeit innerhalb und jenseits des
Bildschirms mit sich, die den gewohnten Bereich mensch-
licher Handlungen übersteigt.19 Bilder werden selber operativ,
insofern sie mit Objekten und Räumen in eine Rückkopplungsschleife aus visueller Repräsentation, operativer Handhabung und körperlicher Erfahrung geraten und als autonome
Formen mit Subjektcharakter wahrgenommen werden, die
sich durch ihre Anwendung verändern und darüber zu verselbstständigen scheinen.
Auch eine Theorie adaptiver Bildgebung, welche deren
Phänomene eher als Operationen und weniger als Repräsentationen begreift, wird nicht umhin kommen, die intellektuelle, physische und soziale Wirkmächtigkeit von Bildern
anzuerkennen. Die technische Machart und die ästhetischen
Ergebnisse einer digitalen Bildgebung sind nicht als Gegensätze zu betrachten, sondern stehen in einem permanenten
Spannungsverhältnis. Harun Farockis Beobachtung, dass
sich Computer auf Daten statt auf Bilder als Entscheidungsgrundlage beziehen, macht eine übergreifende Bildkritik, die
das technisch vorstrukturierte Wechselverhältnis von Bild
und Handlung bestimmt, nur umso dringlicher.20
18
44
45
19
17
Luisa Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.):
(s.Anm.17); Nanna Verhoeff: Mobile screens. The visual regime of
navigation. Amsterdam, 2012; Ramón Reichert, Annika Richterich,
Pablo Abend, Mathias Fuchs, Karin Wenz (Hg.): Mobile Digital
Practices in Digital Culture & Society (DCS) 3, 2017, Heft 2; Timo
Kaerlein: Aporias of the Touchscreen. On the Promises and Perils
of a Ubiquitous Technology. In: NECSUS. European Journal of Media
Studies 2, Autumn 2012; https://necsus-ejms.org/aporias-of-thetouchscreen-onthe-promises-and-perils-of-a-ubiquitous-technology/
[Stand 06/ 2020]; Stephen Monteiro: Fit to Frame. image and edge in
contemporary interfaces. In: Screen, 55, 2014, Heft 3, S. 360–378;
Susann Sæther und Tollerud Bull (Hg.): Screen space reconfigured,
Amsterdam 2020; Wanda Strauven: Touchscreen Archaeology. Tracing
Histories of Hands-On Media Practices, Lüneburg 2021.
Nina Franz und Moritz Queisner: The Actors Are Leaving the Control
Station. The Crisis of Cooperation in Image-guided Drone Warfare.
In: Luisa Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.):
(s.Anm.17) S.115–132; Lucy Suchman: Situational Awareness. Deadly
Bioconvergence at the Boundaries of Bodies and Machines. In: Media
Tropes, 5. 2015, Heft 1, S.1–24.
Kathrin Friedrich und Aurora Hoel: Operational Analysis. A Method
for Observing and Analyzing Digital Media Operations, New Media &
Society, 2021, online first;
https://doi.org/10.1177/1461444821998645.
Harun Farocki: Phantom Images. In: Public, 2004, S. 17. Vgl. Jens
Eder und Charlotte Klonk: Image operations. Visual media and political conflict, Manchester 2017; Inge Hinterwaldner: Programmierte
Operativität und operative Bildlichkeit. In: Roman Mikuláš, Sibylle
Moser und Karin S. Wozonig (Hg.): Die Kunst der Systemik, Münster
2013, S. 77–108; Aud Sissel Hoel: Operative Images. Inroads
to a new paradigm of media theory. In: Luisa Feiersinger, Kathrin
Friedrich und Moritz Queisner (Hg.): Image action space. Situating
the screen in visual practice, Berlin/Boston 2018, S. 11–27.
20
Die räumliche Dimension
Dieses Wechselverhältnis von Bild und Handlung zeigt sich in
dem wachsenden Maß, mit dem adaptive Visualisierungen die
Interaktion von Menschen mit ihrer physischen Umgebung
bestimmen, etwa wenn Ansichten in einem Headset die
Augenpositionen berücksichtigen und die Kopf- oder Körperhaltung registrieren.21 Neuere sensorische und motorische
Systeme sollen virtuelle und physische Räume wieder nahtlos
zusammenführen, etwa wenn die Position eines Smartphones durch Satelliten- oder Netzinformationen ermittelt und
in eine Kartenansicht auf dem Gerät zurückgespiegelt wird.
Solche Gerätschaften erfassen und verarbeiten nicht nur
ortsbezogene Informationen, sondern machen den analogen
Raum in einer Weise berechenbar, die den Eindruck erweckt,
ihn auch zu ‚verstehen‘.
Der ‚Raum‘ bzw. die Räumlichkeit adaptiver Bilder ergibt
sich daher aus einer Fülle unterschiedlicher Medien-, Bildund Datentypen, bestehend aus optischen und errechneten
Bildern, aus Plänen, Karten und Satellitenbildern, die mit
Markierungen, Geo-Lokalisierungen und Tracing-Systemen
kombiniert sind22 und um Techniken der Remote Vision23 oder
der Augmented und Mixed Reality ergänzt werden.24
Auch aufgrund solch komplexer technologischer Entwicklungen haben sich neuere Forschungen auf spezifische Aspekte medialer Räumlichkeit wie Mobilität,25 Architektur,26
Territorium27 und Situiertheit,28 oder auf Visualisierungsprozesse als räumliche Praxis29 konzentriert. Diese aktuellen Arbeiten teilen die Annahme oder Beobachtung, dass die
Unterscheidung zwischen dem Bild und seinem physischen
Kontext zunehmend zum Verschwinden gebracht werden
soll. Der theoretisch-analytische Fokus seiner Motivik, vom
46
einzelnen Bild und seinen inneren Beziehungen (etwa Komposition oder Symbolik) auf die Situation, in der Bilder menschliches Denken und Handeln strukturieren, z.B. auf die
narrativen visuellen Strategien, die eingesetzt werden, um
virtuellen und physischen Raum zu verschmelzen oder zu
unterscheiden.
23
24
25
26
27
28
21
22
Ivan E. Sutherland: The Ultimate display. In Information processing.
Proceedings of the International Federation for Information Processing Congress, New York City, 24. – 29.Mai, 1965, Washington D.C.
1965.
Lisa Parks: Orbital Viewing: Satellite Technologies and Cutural
Practice. In: Convergence, 6, 2000, Heft 10;
https://doi.org/10.1177/135485650000600402.
29
Nina Franz & Moritz Queisner: The Actors Are Leaving the Control
Station. The Crisis of Cooperation in Image-guided Drone Warfare.
In: Luisa Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.):
(s. Anm. 17) S.115-132; Janet Vertesi: Seeing Like a Rover. How
Robots, Teams, and Images Craft Knowledge of Mars, Chicago 2014.
Moritz Queisner: Disrupting Screen-Based Interaction. Design
Principles of Mixed Reality Displays. In: Carsten Busch, Christian
Kassung und Jürgen Sieck.(Hg.): Mixed Reality, Glückstadt 2017,
S.133-144.
Nanna Verhoeff: Mobile screens. The visual regime of navigation,
Amsterdam 2012; Tristan Thielmann: Mobile Medien. In: Jens Schröter
(Hg.): Handbuch Medienwissenschaft, Stuttgart 2014, S. 350-359.
Thomas Elsaesser: Digital Cinema. Delivery, Event, Time. In:
Thomas Elsaesser und Kay Hoffmann (Hg.): Cinema futures: Cain,
Abel or cable? The screen arts in the digital age, Amsterdam
1998, S. 201-222.
Derek Gregory: The Territory of the Screen. In: MediaTropes, 2,
2016, Heft 6, S. 126-147.
Lucy Suchman: Situational Awareness. Deadly Bioconvergence at
the Boundaries of Bodies and Machines. In: Media Tropes, 5, 2015,
Heft 1, S.1-24.
Jens Schröter: 3D. Zur Geschichte, Theorie und Medienästhetik
des technisch-transplanen Bildes. München 2009; Jens Schröter:
Viewing Zone. The Volumetric Image, Spatial Knowledge and
Collaborative Practice. In: Luisa Feiersinger, Kathrin Friedrich
und Moritz Queisner (Hg.): (s. Anm. 17) S.145-156;
https://doi.org/10.1515/9783110464979-012.
47
Abb. 1, „Ja, natürlich haben die Tiere jetzt ihre Nummer,
aber das heißt nicht, dass ich nicht das individuelle Tier
hinter der Nummer genau kenne. Ich sehe jede Kuh von uns
von weitem und weiß welche Nummer sie ist, und kenne auch
ihren kompletten Lebenslauf.” Corinna Thoma mit ihren
Milchkühen (Foto: Carmen Westermeier).
Carmen Westermeier
Coworking auf dem Trecker.
Das menschliche Auge und die
Digitalisierung in der Landwirtschaft
Carmen Westermeier (CW) ist Medienkünstlerin in Heidelberg und unterrichtet an der Friedrich-Alexander-Universität
Erlangen/Nürnberg im Fachbereich Pädagogik mit Schwerpunkt auf Kultur und ästhetische Bildung. Sie widmet sich
im Wesentlichen der feministischen Epistemologie und verfolgt eine körperpolitische künstlerische Praxis. In ihrer
theoretischen Arbeit recherchiert sie unter anderem zu bildbasierten Verfahren in der Landwirtschaft. Westermeier wuchs
auf einem milchwirtschaftlichen Betrieb in Bayern auf und besuchte für das Interview den landwirtschaftlichen Milchviehbetrieb ihrer Schwester und ihres Schwagers im Sommer 2020.
Corinna Thoma (CT): Ich bin Corinna Thoma, bin 30 Jahre
alt, habe in Weihenstephan Landwirtschaft studiert und eine
Ausbildung zur Groß- und Außenhandelskauffrau absolviert.
Außerdem bin ich seit 11 Monaten Mutter, daher besteht mein
Alltag momentan viel aus der Betreuung von Lukas.
Georg Thoma (GT): Ich bin Georg Thoma, ich bin 28 Jahre
alt und habe ich Triesdorf Landwirtschaft studiert und 2014
mit einem Bachelor abgeschlossen. Ich bin Vollzeit-Landwirt
zusammen mit meinen Eltern und meiner Frau Corinna, die
auf dem Betrieb mitarbeiten.
49
CW
Welche Art von Betrieb führt ihr?
Das Hauptstandbein unseres Betriebs ist die Milcherzeugung. Wir haben circa 85 Milchkühe plus die Nachzucht,
also sind insgesamt circa 190 Stück Rinder auf dem Hof
(Abb. 1). Einen Hund und einige Katzen haben wir auch
noch. [lacht] Zusätzlich haben wir Ackerbau und Grünland.
Im Gesamten bewirtschaften wir um die 100 ha. In erster
Linie dient das zur Futtererzeugung für unsere Kühe, aber
ein Teil von dem Getreide wird auch verkauft. Als weiteren Zweig betreiben wir eine Biogasanlage. Dabei wird die
Gülle und der Mist, der im Betrieb anfällt, zu Strom vergärt.
Zusätzlich wird auch noch von anderen Landwirten und
Landwirtinnen ein bisschen Futter zugekauft, zum Beispiel
Gras und Silomais. Daraus erzeugen wir Strom und Wärme.
Die Biogasanlage erzeugt derzeit 2,1 Mio. kWh Strom im Jahr
und als Wärmenutzung wird unser Betriebshaus, der Melkstand und das Wohnhaus der Nachbarn geheizt. Derzeit ist
ein Umbau der Biogasanlage geplant. Denn aufgrund der
Düngeverordnung brauchen wir mehr Lagerraum für den
anfallenden Gärrest, bevor wir ihn auf die Felder ausbringen können. Zusätzlich soll ein zweites Blockheizkraftwerk
installiert werden. Wir werden dann nicht mehr in Grundlast
erzeugen, was heißt, es wird 24 Stunden die gleiche Leistung
produziert, sondern nur dann, wenn der Strom auch wirklich
gebraucht wird.
GT
Wie seid ihr zu dieser Berufswahl gekommen?
Seid ihr beide auf landwirtschaftlichen Betrieben aufgewachsen? Ihr habt beide studiert, seid ihr der Meinung,
als Landwirt oder Landwirtin muss man heutzutage ein
Studium absolvieren?
CW
50
Unsere Familie betreibt schon seit mehreren Generationen Landwirtschaft. Ich bin also auch damit groß geworden und für mich hat es nie etwas Schöneres gegeben. Daher
wollte ich das auch beruflich weitermachen. Zum Studium
kann ich sagen, dass es in der Landwirtschaft zunehmend
schwerer wird, ausreichend Geld zu verdienen. Ich bin daher
der Meinung, dass es unerlässlich ist, eine möglichst gute
Ausbildung zu haben, um einen Hof auch dementsprechend
führen zu können. Deswegen hab ich mich für ein Studium
entschieden. Es hätte für mich auch andere Möglichkeiten
gegeben. Zum Beispiel über eine Technikerausbildung.
GT
Corinna, du hast ja dann nach dem Studium eine
kaufmännische Ausbildung gemacht, hat dir auch das
etwas für deinen Beruf als Landwirtin gebracht?
CW
Ja, vor allem aber das Studium. Zum Beispiel bei den
Praxiseinsätzen auf anderen Betrieben, da bekommt man
andere Einblicke und Arbeitsweisen zu sehen, als die,
die auf dem Familienbetrieb angewandt werden. Aber auch
die kaufmännische Ausbildung ist in meinem Alltag
sehr hilfreich, da in der Landwirtschaft viel Bürokratie
und Computerarbeit anfällt. Wie etwa verschiedene Berechnungen oder Online-Anträge und -Meldungen.
CT
Da höre ich heraus, dass die Landwirtschaft sehr
digitalisiert und technisiert ist. Vielerorts findet man
eher eine Tendenz zur Romantisierung der Landwirtschaft. Ich denke da an die Käse- oder Milchverpackungen, mit den sensenden Bergbauern und den drei
grasenden Kühen im Hintergrund, die noch von Hand
gemolken werden.
CW
51
[lacht] Die Zeiten, in denen man per Hand gemolken
hat, sind lang vorbei. Und auch die romantischen Vorstellungen sind nicht besonders realistisch. Das wird gern in den
Bergen oder auch bei Urlaub auf dem Bauernhof so vermittelt.
Da wird eben das Ambiente mit verkauft. Aber eigentlich
würde ich sagen, dass es kaum Branchen gibt, die so technisiert
und fortschrittlich sind, wie die Landwirtschaft, gerade in puncto
Digitalisierung oder Automatisierung. Das ist auch ein Problem der
Landwirtschaft. Die Verfahren sind teilweise sehr teuer.
Nehmen wir beispielsweise den Bau eines neuen Stalles:
Da dauert es circa 20 Jahre, bis man die Investition abbezahlt hat, und deswegen kann ein Bauer oder eine Bäuerin
eigentlich gar nicht auf die neueste Technik reagieren, weil
man es einfach nicht bezahlen kann. Aber da ist in den letzten
Jahren sehr viel passiert und ich denke, es wird auch noch
viel passieren, da bin ich mir sicher.
GT
Könnt ihr mir Beispiele nennen, welche technologischen Neuerungen sich bei euch im Betrieb in den
letzten Jahren durchgesetzt haben?
CW
Im Bereich der Digitalisierung und Automatisierung
haben wir seit 2015 einen Schlepper mit einem RTK-Lenksystem, das ist eine GPS-Steuerung (Abb. 2). Dieses System
steuert meinen Schlepper bis zu 2 cm genau über den Acker
und findet immer wieder seine Spur. Dadurch kann ich am
PC vorplanen, wo der Schlepper fahren soll und das immer
im richtigen Abstand. Wir haben also weniger Bodendruck,
weil wir dadurch weniger Feldüberfahrten machen. Es geht
aber weiter beim Säen. Da sparen wir Saatgut, weil wir immer in der richtigen Breite fahren. Es zieht sich abgesehen
davon weiter durch die gesamte Bewirtschaftung. Wir konn-
GT
52
Abb. 2, Georg Thoma in seinem New Holland T7. 270 Traktor
mit RTK-Lenksystem (Foto: Carmen Westermeier).
ten dadurch Düngereinsatz und Pflanzenschutzmittel enorm
reduzieren. 2017 haben wir dann eine Pflanzenschutzspritze
dazugekauft, die wiederum über das Lenksystem gesteuert
wird. Die Spritze weiß dadurch immer, wo sie sich auf dem
Acker befindet, erkennt die Flächen, die bereits bearbeitet
sind, und bringt das Mittel nur dort aus, wo sie auch soll. Es
gibt seitdem auf unseren Feldern keine Überlappungen mehr
und wir konnten somit den Einsatz der Pflanzenschutzmittel
deutlich reduzieren. Das ist natürlich nicht nur gut für unseren Geldbeutel, sondern auch für die Umwelt.
Kannst du kurz erklären, was die Bedeutung von
RTK ist?
CW
53
RTK steht für Real Time Kinematic System, welches über
Satelliten gesteuert wird. Ich habe auf meinem Schlepper
einen GPS-Empfänger, der das Signal von einem Satelliten empfängt. Aber die Satelliten alleine wären zu ungenau. Das ist vergleichbar mit dem Navigationssystem
im Auto, das in einer Genauigkeit von plus minus einem
Meter rechnet. Daher wird das RTK zusätzlich noch über
ein weiteres System korrigiert. In dem Schlepper ist ein
Modem mit einer SIM-Karte verbaut, welches eine Verbindung zum Internet herstellt und permanent den Standort des Schleppers zurück an den Satelliten sendet. Die
Position wird bis auf zwei Zentimeter genau korrigiert. Das
heißt auch, ich kann heute auf dem Acker eine Spur anlegen
und nach fünf Jahren wieder genau auf der gleichen Spur
fahren.
GT
Georg, wie wird das dann visualisiert? Siehst du
dann auf deinem Computer eine Darstellung des Feldes? Wird das auch direkt auf deinem Schlepper, über
einen Bildschirm angezeigt?
CW
Ja, das wird mir direkt auf meinem Schlepper angezeigt
(Abb. 3). Erstmal kann ich meine Feldgrenzen als eine Luftansicht anzeigen lassen. Ich sehe genau, wo ich schon gearbeitet habe und wo nicht. Ich kann mir jede einzelne Spur
anzeigen lassen, denn das System plant das genau über das
ganze Feld. Und mir wird angezeigt, wo ich auf dem Feld als
nächstes hinfahren muss. Aber der Schlepper übernimmt die
Steuerung auch automatisch und fährt selbstständig weiter.
Das System kann aber noch erweitert werden. Das Lohnunternehmen, das in unserem Betrieb teilweise arbeitet,
wendet eine Erweiterung an. Dabei kann über GPS eine
GT
54
Abb. 3, Georg Thoma zeigt die Felddarstellung durch das
RTK-System auf dem Display seines Traktors (Foto: Carmen
Westermeier).
Ertragskartierung des Feldes angelegt werden. Das funktioniert so, dass der Mähdrescher oder der Häcksler den Ertrag
misst, dies GPS-bezogen aufgezeichnet wird und somit den
Erntevorgang kartiert. Das bedeutet, es kann genau aufgezeigt
werden, wo auf meinem Acker kann ich welchen Ertrag haben.
Das kann wiederum mit den Bodenkarten verglichen werden,
und über einige Jahre der Datensammlung führt das zu einer
sehr gezielten Düngung bestimmter Bereiche am Feld.
Abb. 4, Über ihr Smartphone kann Corinna Thoma jederzeit und von jedem Ort einen Kontrollblick durch die 360°
Stallkamera machen (Foto: Carmen Westermeier).
Da müsst ihr ja mit ganzen vielen verschiedenen Bildern
arbeiten. Am Schlepper, am PC … Wie kann ich mir das
genau vorstellen?
CW
Es gibt ganz unterschiedliche Arten von Bildern. Zum
Beispiel diese Luftbilder für die Ertragskartierung, die ich in
die Bodenkarte reinlege. Über den Vergleich der verschiedenen Daten, die ich anhäufe, kann ich meine jeweiligen Schlüsse ziehen. Ich kann aber auch über die Bodenkartierung
die Schwere des Bodens feststellen und den Spritverbrauch
meiner Maschine berechnen lassen. Das wird mir dann zum
Beispiel in Form eines Diagramms dargestellt.
GT
rechtlich überhaupt machen, und zusätzlich ist dort auch
die gesetzliche Dokumentation integriert.
Von dir Corinna weiß ich, dass du auch Technik
anwendest, die Bilder produziert. Nämlich eine Stallkamera. Wie nutzt du das in deinem Arbeitsalltag?
CW
Man kann diese Daten und Bilder vom Schlepper auch
auf USB-Stick speichern und für verschiedene Anträge direkt
in ein Online-Portal übertragen.
CT
Wir haben eine 360°-Kamera an der Decke unseres
Stalls angebracht. Damit kann ich den gesamten Stall ausfilmen. Diese Kamera ist mit dem WLAN verbunden und
überträgt die Bilder auf mein und Georgs Handy und so
können wir den Stall über unser Smartphone jederzeit einsehen (Abb. 4). Das ist besonders wichtig, wenn es um
Kalbungen geht. Wir können dadurch die Kühe überwachen
CT
Außerdem müssen wir jeden Vorgang exakt dokumentieren. Zum Beispiel bei Pflanzenschutz und Düngung
sind wir alle gesetzlich dazu verpflichtet, eine ordnungsgemäße Dokumentation zu erstellen. Bei uns läuft das über
ein PC-Programm, das alles genau berechnet. So kann ich
schauen, was habe ich schon gemacht, was darf ich rein
GT
56
57
und entscheiden, wann wir eingreifen müssen oder ob wir die
Kuh noch im Gebärvorgang alleine lassen. Es ist aber auch
nützlich, um die Brunst zu beobachten und zu bestimmen,
wann die nächste Besamung ansteht. Oder andere alltägliche Sachen, zum Beispiel wann man wieder Futter vorgeben muss. Es gibt einfach jeden Tag Kleinigkeiten, die man
ohne Stallkamera nicht unbedingt mitbekommen würde.
Man muss sagen, dass auch zwei Drittel unserer Kalbungen in der Nacht passieren. Die meisten unserer Kühe
brauchen dabei zwar keine Hilfe, aber wir können so dennoch
auch nachts vom Handy aus schauen, ob wir eingreifen müssen. Ich kann direkt entscheiden, ob ich aufstehen muss oder
noch im Bett liegen bleiben kann. Heute Nacht beispielsweise
hatten wir zwei Kalbungen. In diesem Fall mussten wir durch
die Unterstützung der Stallkamera nur zweimal aufstehen.
Früher ohne Kamera wären wir bestimmt zehn Mal in den
Stall gegangen, um den Kalbvorgang zu überwachen.
GT
Das klingt ja so, als würde diese Technisierung
auf euren Betrieb sehr positive Auswirkungen haben.
Ich stelle mir vor, vieles bringt auch einen besseren
Arbeitsschutz für den Mensch mit sich.
CW
Ich kann prinzipiell schon sagen, dass die Technisierung eine positive Auswirkung auf unsere Arbeit hat, aber
es bringt auch viel andere Arbeit mit sich. Die Technik muss
gewartet und auch aktuell gehalten werden. Zum Thema
Arbeitsschutz trägt es sicherlich auch bei. Wir haben Rückfahrkameras an mehreren Maschinen verbaut (Abb. 5). Auf
unserem Futtermischwagen haben wir vier Kameras, damit
ich besser sehe, was ich mache, aber auch zum Schutz der
GT
58
Abb. 5, Auf dem Futtermischwagen Siloking hat Familie
Thoma vier Rückfahrkameras zur Sicherheit für Mensch und
Tier verbaut. (Foto: Carmen Westermeier).
Menschen die sich im Umfeld befinden. Auch an meinem
Anhänger habe ich Rückfahrkameras angebracht. Das macht
Rangiervorgänge deutlich sicherer.
heute habe ich eher die Vorstellung Mensch – Maschine
– Natur.
Ich sage mal so, ob es jetzt im Stall oder auf dem Feld
ist, ja, wir haben die Maschinen, die uns die Arbeit erleichtern, sie ersetzen aber nicht den Kontakt zum Tier selbst.
Ich sehe den Vorteil der Technik so: Sie liefert uns eine
unwahrscheinliche Bilder- und Datenmenge und hilft mir
Situationen zu bewerten. Es sind stellenweise schon zu viele
Daten, die auf uns einprasseln. Ich muss als Landwirt oder
Landwirtin in der Lage sein, diese Daten zu interpretieren. Und da ist der enge Bezug zur Natur so wichtig wie vor
fünfzig Jahren, vielleicht eher noch wichtiger. Ich muss wissen, ob die Daten auch stimmen. Ich muss genau hinschauen,
besonders bei den Tieren. Zum Beispiel muss ich die Fütterung laufend anpassen. Da liefert mir die Milchbeprobung
über das Labor des bayrischen Milchprüfrings Daten und Diagramme, anhand derer ich die Fütterung kontrollieren kann
(Abb. 6 und 7). Das vereinfacht mir diesen Vorgang schon
deutlich, aber ich muss trotzdem an der Kuh beobachten, ob
die Daten wirklich stimmen. Das Labor kann durchaus Messfehler machen. Das Programm sieht nicht, ob es einer Kuh gut
geht oder nicht, es liefert mir nur Daten, die mir sagen „schau
dir die Kuh mal genauer an“ und da bin ich dann selbst gefordert. Ebenso im Ackerbau, da muss ich Pflanzenkrankheiten
und Unkräuter erkennen, obwohl es Hilfen gibt, z.B. Apps, die
bei der Bestimmung unterstützen, aber das eigene Auge
nicht hundertprozentig ersetzen. Eine völlige Entfremdung
von der Natur wird dir als Landwirt oder Landwirtin nicht
passieren. Du kannst es probieren, jedoch wird es dir nie
ganz gelingen. Unsere wichtigste Ressource ist die Natur, auf
die wir auch achten müssen.
GT
Du kannst quasi mit deinem eigenen Auge, z.B.
durch Umdrehen oder Rückspiegel, gar nicht die Komplexität der Rangiermanöver erfassen? Wofür du dann
die Kamerabilder auf deinem Bildschirm nutzt!
CW
Nein, für das menschliche Auge sind die Maschinen
viel zu groß und man kann die Augen ja nicht an allen Ecken
gleichzeitig haben. Als Beispiel, das allen ein Begriff ist: der
tote Winkel. Ich muss jederzeit wissen, was um mich herum
passiert, und mit den Kameras habe ich dann einen deutlich
größeren Blickwinkel.
GT
Bei deinem Spezialgebiet, Corinna, der Stallkamera, denke ich auch, dass diese Technik für einen besseren Schutz der Tiere steht.
CW
Natürlich, man sieht Dinge, die man ansonsten nicht sehen
würde. Durch die Übertragung auf mein Smartphone kann ich von
überall meine Tiere überwachen. Man ist ja nicht den ganzen Tag
auf dem Betrieb.
CT
CW Mit Landwirtschaft verknüpft man auch die
Verbindung von Menschen und Natur. Eine innige Beziehung zur Tier- und Pflanzenwelt. Würdet ihr behaupten, dass die Technisierung dieser Branche auch die
Beziehung Mensch – Tier – Pflanze verändert? Vielleicht
sogar eine zunehmende Entfremdung von der Natur
passiert? Früher war Landwirtschaft ja Mensch – Natur,
60
61
Abb. 6, Grafische Darstellung der Milchzusammensetzung
(Labor Landeskuratorium für tierische Veredelung, Bayern).
Darstellung Milch, Harnstoff, Fett, Eiweiß
50
42
6,0;
5,0;
5,5;
4,5;
5,0;
4,0;
40
40
38
32
4,5;
3,5;
4,0;
3,0;
3,5;
2,5;
10
30
0
28
-10
26
13.01.20
17.02.20
25.03.20
22.04.20
26.05.20
25.06.20
29.07.20
23.09.20
07.10.20
11.10.20
09.12.20
14.01.21
18.02.21
Monate
Abb. 7, Darstellung des Harnstoff- und Eiweißgehalts der
Milch, um die Eiweiß- und Energieversorgung des Kuhbestandes zu ermitteln und die Fütterung anzupassen (Labor
Landeskuratorium für tierische Veredelung, Bayern).
Darstellung Harnstoff / Eiweiß
4,40
Energievers. hoch
Energievers. hoch
Energievers. hoch
7
8
9
Eiweiß %
Harnstoff
Milch kg
20
34
Fett %
30
36
Ich würde es so zusammenfassen, dass es nicht nur mit
altem Wissen und nicht nur mit neuem Wissen funktioniert,
sondern mit der Kombination aus beidem kommt man voran. Wenn jetzt jemand behauptet, früher wusste man, diese
eine Kuh ist jetzt die Berta und über die Berta weiß ich
alles, weil man auch nur zehn Kühe hatte, sagen heute viele
Menschen, die Tiere haben ja nur noch Nummern oder der
Bauer oder die Bäuerin haben ja gar keinen Bezug mehr zum
Tier. Ja, natürlich haben die Tiere jetzt ihre Nummer, aber
das heißt nicht, dass ich nicht das individuelle Tier hinter der
Nummer genau kenne. Ich sehe jede Kuh von uns von weitem
und weiß, welche Nummer sie ist, und kenne auch ihren
kompletten Lebenslauf.
CT
Wir kennen unsere Kühe sogar besser als vor dreißig
Jahre. Heute habe ich von jeder Kuh den genauen Lebenslauf nicht nur im Kopf, sondern auch auf unserem Computer
gespeichert. Von der Milchleistung bis hin zu jeder kleinen
Erkrankung.
GT
4,20
Der Einblick in die Kuh ist einfach viel exakter und wissenschaftlicher, als früher, als man lediglich seine eigenen
Sinne als Hilfsmittel hatte. Beispielsweise gibt es bei Melkrobotern einen Sensor, der über die Stromleitfähigkeit der
Milch misst wieviel Zellen in der Milch vorhanden sind. Ich
kann so viel eher erkennen, ob die Kuh gesundheitliche
Probleme hat. Den Zellgehalt kann ich ja mit dem bloßen
Auge gar nicht bestimmen oder erkennen, aber der Computer
sagt mir das unmittelbar während des Melkvorgangs.
CT
4,00
Eiweißvers. niedrig
Eiweißvers. optimal
Eiweißvers. hoch
Energievers. optimal
Energievers. optimal
Energievers. optimal
4
5
Eiweiß %
3,80
3,60
6
3,40
Eiweißvers. optimal
Eiweißvers. niedrig
Eiweißvers. hoch
3,20
Energievers. niedrig
Energievers. niedrig
Energievers. niedrig
1
2
3
3,00
2,80
Eiweißvers. optimal
Eiweißvers. niedrig
5
10
15
20
25
30
35
40
Das klingt für mich so, als würde das Wissen über
Natur durch die Technisierung nicht geringer.
CW
Eiweißvers. hoch
2,60
45
Harnstoff
Folgelaktierende
Erstlaktierende
63
Nein, im Gegenteil, es wird viel mehr. Die Forschung der
letzten Jahre und die Digitalisierung bieten uns eigentlich viel mehr
Möglichkeiten mit der Natur zu arbeiten, sie auch besser zu verstehen
und ressourcenschonender zu handeln. Ein Beispiel ist die Nitratbelastung im Grundwasser: Die Düngung wird im Vergleich
zu früher immer genauer und somit wird auch die Umweltbelastung geringer. Im Hinblick auf bildgebende Verfahren
könnte man noch die sogenannten N-Sensoren nennen:
Diese Sensoren werden vorne oder am Dach des Schleppers
angebracht und messen bei der Feldüberfahrt den Blattchlorophyllgehalt der Pflanze. Anhand dessen kann man
dann die Stickstoffdüngung ableiten. Also wie viel oder wenig
Düngung braucht die Pflanze noch. Somit wird der Düngestrahl individuell und in Echtzeit angepasst. Früher hatte man
eine starre Angabe per Hektar, diese Sensoren passen jetzt pro
Pflanze genau an. Wir haben also hier vorne am Schlepper die
bildliche Erfassung der Pflanze und während der Fahrt hinten eine synchrone Anpassung der angeschlossenen Maschine.
Konzentration schon nach und trotzdem kann ich ein gutes
Arbeitsergebnis von der ersten bis zur letzten Stunde erzielen.
Es stellt sich mir bei diesen Techniken immer wieder die Frage, für was braucht es den Menschen dann
noch, wenn bei dir sogar der Traktor selbst fährt.
GT
GT
CW
Ich bin trotzdem noch sehr gefordert. In erster Linie
bin ich als überwachende Person gefragt. Das RTK-System
nimmt mir zwar das Lenken ab, aber ich muss ja trotzdem
gleichzeitig die rückwärtige Maschine kontrollieren. Durch
das RTK, kann ich mich voll und ganz auf die Maschine
konzentrieren und erfahre dadurch eine enorme Arbeitsentlastung. Zum Beispiel sitzt man während der Erntezeit
nicht selten 15 Stunden auf einem Schlepper, da lässt die
GT
64
Also geht es viel um den Menschen als Kontrollinstanz?
CW
Ja, sozusagen. Ich muss immer überwachen, denn es
kann ja auch sein, dass die Technik nicht so funktioniert wie
sie soll. Wie gesagt, Technik ersetzt nicht das Auge des Landwirts
oder der Landwirtin.
GT
Du hast also auf deinem Schlepper verschiedene Displays mit Darstellungen und Diagrammen, die
deine Kontrolltätigkeit erleichtern. Was heißt, du hast
über das Interface eine digitale Information und weißt
dadurch, wo genau du erneut mit deinem Auge einen
Kontrollblick machen musst und gegebenenfalls intervenieren?
CW
Ja genau, wenn ich zum Beispiel eine Bodenbearbeitung mit einem Grubber durchführe, muss ich überwachen,
ob das Gerät richtig arbeitet und richtig eingestellt ist, oder
wenn es durch Erntereste vielleicht mal verstopft, dann muss
ich sofort reagieren. Auch bei Mähdreschern, die heute oft
RTK-Lenksystem haben, hat der Fahrer oder die Fahrerin
trotzdem genügend Arbeit mit der permanenten Nachjustierung der Maschine.
Als Mensch kannst du folglich gar nicht so viele
Live-Bilder mit deinem Auge machen, wie eigentlich
für den Arbeitsvorgang nötig wären. Der Landwirt
CW
65
oder die Landwirtin müsste ja an mehr Stellen Kontrollblicke machen, als möglich ist. Dein Gehirn muss ohne
RTK-Lenkung, durch Im-Blick-Behalten der Spur, den
Traktor lenken und gleichzeitig hinten die Maschine
überwachen. Durch die RTK-Technologie musst du dich
jedoch nicht mehr auf die Spur konzentrieren, sondern
nur noch auf das Bild der Maschine.
Als Beispiel könnte ich hier noch die Sämaschine
für Mais anführen. Diese Technik haben wir auf unserem
Betrieb vor zwei Jahren angeschafft. Diese wird auch durch
GPS gesteuert. Mais wird in Reihen gesät. Durch die neue
Technologie schaltet die Maschine bei unregelmäßigen Feldkonturen selbstständig ein und aus. Ich säe also nicht kreuz
und quer ineinander. Es regelt ebenfalls die Aussaatmenge:
Bei Mais will ich z.B. neun Körner/qm ausbringen. Durch
das System kann ich das genau so über den ganzen Acker
regulieren. Die Säorgane schalten automatisch in Bereichen,
wo bereits Körner liegen, aus. Das bedingt, dass jede Pflanze optimale Wachstumsbedingungen hat und ich auch noch
Saatgut einspare. Das könnte ich ohne die Technik nicht erreichen. Ich könnte all dies nicht überschauen oder es würde wesentlich
langsamer ablaufen. Völlig autonom wird aber auch das in absehbarer
Zeit nicht funktionieren.
GT
Auch für deinen Fall, Corinna, mit der Stallkamera,
kann ich mir vorstellen, dass es dir zwar hilft einen
Kalbungsvorgang über dein Handy zu überwachen, es
aber dennoch nötig ist, ab und an vor Ort zu gehen um
die Videobilder mit dem tatsächlichen Zustand der Kuh
zu überprüfen.
CW
66
Meistens kann ich die Bilder gut interpretieren, es braucht
jedoch viel Erfahrung, die Anzeichen auch über die Kamera zu
erkennen. Es gibt viele Menschen, die schauen die Kuh über
die Kamera an und denken dann fälschlicherweise, die Kuh
hat mit dem Kalbungsprozess noch nicht begonnen. Ich weiß
mittlerweile, dass Sachverhalte in der Kamera einfach anders aussehen als in der Realität und kann daher die Bilder ziemlich genau
deuten. Die Perspektive ist dabei nun mal eine ganz andere.
Ich betrachte die Kuh ja von oben und nicht auf Augenhöhe,
wie natürlicherweise, wenn ich davor stehe. Oder denken wir
einmal den Fall, wenn eine Kuh mit dem Hinterteil zur Wand
steht: Vor Ort könnte ich einfach um die Kuh herum gehen,
mit der Kamera geht das nicht. Ich muss auf ganz andere
Zeichen achten. Zum Beispiel heute Nacht hab ich auf den
Schatten der Kuh geschaut und daran erkannt, dass die Füße
des Kalbs bereits aus der Kuh herausragen.
CT
Das ist spannend. Das Bild des Schattens müsstest du ohne Kamera gar nicht interpretieren können.
Du hast jetzt eine zusätzliche Kompetenz, auch das
Schattenbild auf Kalbungsanzeichen untersuchen zu
können. Ich habe den Eindruck, dass die Technisierung für Landwirte und Landwirtinnen nicht nur eine
Anhäufung neuer Kompetenzen bedeutet, sondern insbesondere auch eine stetige Anreicherung von unterschiedlichem Bildwissen. Empfindet ihr das auch so?
CW
Ja, definitiv. Ich muss verschiedenste Arten von Bildern
und Diagrammen interpretieren können. Und es werden
immer mehr. Die Erfahrung und das Wissen der früheren
Generationen und die Errungenschaften der Wissenschaft
können nicht ersetzt werden. Die Technik und Datengewin-
GT
67
nung unterstützt uns bei diesem stetigen Lernprozess, der
aber ohne einem Grundverständnis der landwirtschaftlichen
Abläufe nicht passieren kann.
Abb. 8, Ausführliche Ansicht der Spurkarte und -details
durch das RTK-Lenksystem auf dem Schlepper von Georg
Thoma (Foto: Carmen Westermeier).
Eine weitere Frage, die mich beschäftigt, dreht sich
um Imagination. Helfen dir die neuen Technologien
auch ein besseres Bild von abstrakten Dingen zu produzieren? Ich denke da an bessere Flächenimagination der
Felder durch diese GPS-Hilfsmittel.
CW
Soviel Bilder muss ich mir gar nicht vorstellen können
bzw. konnte ich mir die Fläche meiner Felder auch vorher
schon gut imaginieren. Aber es ist einfacher, wenn ich zum
Beispiel einen Acker teilen will, wenn ich ihn zukünftig so
und so groß machen will, dann kann ich mir das mit meinem
System exakt herausmessen. Durch die Spurplanung und
die Konturen kann ich das vorher genau bestimmen, so
dass es arbeitswirtschaftlich und pflanzenbaulich viel sinnvoller ist (Abb. 8).
GT
Habt ihr auch den Eindruck, dass einige Technik
völlig überflüssig ist oder nicht praxisnah entwickelt
wird?
CW
Es gibt zahlreiche technische Lösungen am Markt. Da
wird jeden Tag eine neue Sau durchs Dorf getrieben. [lacht]
Es ist schon viel Unsinn dabei, den man im Alltäglichen
nicht braucht, der aber viel Geld kostet. Es haben sich aber
in den letzten Jahren Techniken herauskristallisiert, die für
den Landwirt oder die Landwirtin gut sind und auch wirklich
etwas bringen. Ich muss aber immer abwägen: Was davon brauchen wir hier genau auf unserem Betrieb und wie kann ich es
GT
68
auch dementsprechend nutzen. Wenn es um die Entwicklung
geht, habe ich schon den Eindruck, dass es natürlich Firmen
sind, die ihr Produkt verkaufen wollen. Aber ich denke, diese
Firmen können auch meistens gut abschätzen, was sich
verkaufen lässt und was nicht. Das größere Problem sehe ich
in den Anschaffungskosten. Wegen der Kostendegression sind
viele Technologien nur für sehr große Betriebe rentabel.
Eine letzte Frage: Werden wir mal utopisch und
stellen uns eine Technologie der Zukunft vor, welche
würdet ihr euch unbedingt für euren Betrieb anschaffen?
CW
69
Ich möchte bald einen Melkroboter. Die Arbeitskräfte
auf unserem Familienbetrieb werden gerade weniger. Meine
Eltern sollen bald in Rente gehen und mein Sohn ist gerade
mal ein Jahr alt, da muss eine Erneuerung der Melktechnik
auf jeden Fall kommen. Aber diese Technik ist nicht utopisch. Das System läuft bereits seit über zwanzig Jahren ohne
größere Probleme. Etwas Utopisches fällt mir jetzt nicht
ein. [lacht] Da es ständig neue Entwicklungen gibt, lass ich
mich mal überraschen, was noch so kommt. Abschließend
möchte ich jedoch noch sagen, dass für mich als Landwirt
bei technischen Investitionen in erster Linie die finanzielle
Rentabilität maßgeblich ist, hinzu kommen sollte eine Reduzierung bzw. Optimierung der Arbeitsbelastung, welche
im landwirtschaftlichen Bereich meist sehr weit über dem
Durchschnitt liegt. Als weiteren Punkt wünsche ich mir
entweder einen Komfortgewinn für die Tiere im Sinne des Tierwohls oder eine Einsparung von Ressourcen und somit eine
Reduzierung der Umweltbelastung. Ein Investition sollte sich
folglich als vielfach nachhaltig erweisen.
GT
70
Abb. 1, Henri Fantin-Latour: ‚Portrait de Sonia‘, 1890,
Öl auf Leinwand, 109 x 81 cm.
Matthias Planitzer
Der angepasste Blick.
Personalisierte Werbung in
Zeiten maschinellen Lernens
Beim Besuch einer Gemäldegalerie lässt sich zuweilen die
Erfahrung machen, dass einige wenige Porträts eine ganz
besondere Präsenz entfalten. So stellt etwa Henri FantinLatour seine Sonia (Abb. 1) in einer aufrechten Körperhaltung, in sich ruhend und aufmerksam dem Maler und damit
dem Betrachtenden zugewandt dar. Neben dieser Pose und
der zurückhaltenden Gestaltung des Hintergrundes wird der
Eindruck insbesondere durch den eindringlichen Blick der
Dargestellten erzeugt. Sie scheint ihr Gegenüber zu fixieren,
mehr noch, es aus der Bildfläche heraus und wie auf magische
Weise im Raum zu verfolgen.1
Der unheimliche Eindruck wirkt selbst unter dramatischen
Blickwinkeln fort, was die Kunstliteratur seit der Antike2
gleichermaßen irritiert wie fasziniert hat.3 Viele mögliche
Gründe wurden diskutiert,4 letztlich geht das Phänomen
jedoch auf einen einfachen Kunstgriff zurück: Die Figur wird
mittels kompositorischer Methoden von ihrem Hintergrund
klar abgehoben, sodass die Nah- und Fernpunkte auf einer
Achse im Bildraum fest angeordnet sind. Unabhängig vom
Standpunkt der Betrachtung entsteht mangels der Möglichkeit, verdeckte Anteile des Hintergrundes einzusehen, der
Eindruck einer fixierten Blickrichtung. Schaut die Figur
annähernd geradeaus, wird die Blickachse aus dem Bildraum
heraus und in den physischen Raum fortgesetzt; ihr Blick
73
1
2
3
4
Vgl. Ernst Gombrich: Art and Illusion. A Study in the Psychology of
Pictorial Representation, 2. Aufl., New York 1961, S. 276.
Vgl. Plinius der Ältere: Historia Naturalis. 77, Bd. XXXV, Kap. 37.
Ernst Gombrich: Art and Illusion. A Study in the Psychology of
Pictorial Representation, 2. Aufl., New York 1961, S. 113.
Vgl. William Hyde Wollaston: On the Apparent Direction of Eyes in
a Portrait. In: Philosophical Transactions of the Royal Society of
London, 114, 1824, S. 247–56.
erscheint nun fixiert. Eine ähnliche Wirkung lässt sich bei
Röhrenfernsehern mit gewölbter Mattscheibe beobachten. Ihre
konvexe Form vergrößert den möglichen Blickwinkel, sodass
sich die gesamte Familie von den Nachrichtensprecher*innen
vor ihren einförmigen Studiohintergründen angesprochen
und vor allem angeschaut fühlt. Das Phänomen taucht nicht
nur in der Porträtmalerei oder im Nachrichtenfernsehen, sondern auch im Film5 auf. Ihnen gemein ist die durchaus erstaunliche Erfahrung, dass der Blick, der sich auf eine einzelne Person zu richten und ihr im Raum nachzufolgen scheint,
von anderen Menschen im selben Raum sehr wohl geteilt und
erörtert werden kann. Auch wenn es sich also um eine optische Illusion handeln sollte, so ist es doch eine, die sich nicht
nur an einem bestimmten Standpunkt einstellt oder die nur
eine Frage der subjektiven Einstellung wäre.
Die privilegierte Blickrichtung ist also gerade nicht jene
aus dem Bild heraus, sondern jede, die auf das Bild gerichtet
ist. Doch wenn diese Blickhierarchie umgekehrt wird, dann
kann das skizzierte Beziehungsgeflecht gänzlich verloren
gehen. Diese Abkehr von einer verbindlichen, gemeinsamen
Seherfahrung hin zu einem Bild, das auf wechselnde Standpunkte reagieren kann, wird etwa in Ray Bradburys Roman
Fahrenheit 451 (1953) angedeutet. Die Protagonisten Guy und
Mildred Montag statten ihre Wohnung mit Fernsehwänden,
den sog. ‚Parlour Walls‘, aus, deren Unterhaltungsprogramme
die Bürger der ungenannten Stadt berauschen.6 „Ein Zusatzgerät […] schaltete jedes Mal ohne weiteres [Frau Montags]
Namen ein, wenn der Ansager zu seinem namenlosen
Publikum sprach, wobei er die Stellen ausließ, wo die entsprechenden Silben eingesetzt werden konnten.“ Mithilfe eines
‚Spot-Wavex-Scramblers‘ kann ferner das übertragene Bild
so verändert werden, dass der Sprecher die entsprechenden
Mundbewegungen ausführt. Bradburys Figuren werden
dadurch aus der anonymen Menge herausgehoben und, wenn
auch nur zum Schein, direkt angesprochen. Dahingegen
wird in Steven Spielbergs 2002 erschienener Filmadaptation7
von Philip K. Dicks gleichnamiger Kurzgeschichte The
Minority Report8 der Protagonist John Anderton in einigen
Szenen von den im Stadtraum allgegenwärtigen Reklametafeln direkt beim Namen angesprochen. Sie identifizieren
ihn anhand der Iris seiner Augen, erfassen seine Stimmung
und passen entsprechend ihre holografischen Werbebotschaften an. Innerhalb kurzer Zeit prasselt auf den angespannten
Anderton Werbung für eine Entspannungsreise, erfrischendes
Bier, kulinarische Genüsse und vieles mehr ein. Die Passanten
um ihn herum nehmen indes von den auf ihn zugeschnittenen Botschaften offenbar keine Notiz. In einer späteren Szene
wird offenbart, dass sie dem gleichen eindringlichen Rauschen
ausgesetzt sind, nur eben in einer ebenso personalisierten
Form, die wiederum niemand anderes wahrnehmen kann.
Bradbury und Spielberg erahnen eine Entwicklung adaptiver Bilder, welche heute greifbarer denn je wird: Im Zuge
immer avancierterer Sensorik und Berechenbarkeit passen
sich Bilder zunehmend an Betrachtungssituationen an und
entsprechen damit immer weniger der Idee eines gemeinsamen Bildraums. Sie spiegeln bereits deutlich wider, was selbst
dem Kategoriebegriff der personalisierten Werbung, des
gegenwärtigen targeted advertising zu entrinnen scheint. Was
insbesondere in den sozialen Medien, in vielen SmartphoneApps und zwischen Suchmaschinenergebnissen – kurzum:
in der vernetzten Software-Sphäre unseres Alltags – das
gewohnte Rauschen der Werbung ausmacht, wird zwar
noch nicht gänzlich den Dystopien aus Minority Report
und Fahrenheit 451 gerecht. Doch es werden bereits neue,
74
5
6
75
Der Durchbruch der vierten Wand, also die direkte Adressierung des
Zuschauers, wird beispielsweise in Woody Allens Komödie ‚The Purple
Rose of Cairo‘ (1985) auf die Spitze getrieben. Darin versucht die
Figur der Cecilia der Welt zu entfliehen und sieht einen Kinofilm,
dessen Hauptdarsteller Baxter sich unvermittelt direkt an sie wendet
und damit nicht nur die vierte Wand zwischen ihnen, sondern auch die
zwischen ihm und Allens Publikum durchbricht.
Ray Bradbury: Fahrenheit 451, übers. v. Fritz Güttinger, 7. Aufl.,
München 1978 (Original 1953), S. 43.
7
8
Steven Spielberg (Regie): Minority Report. USA 2002.
Philip K. Dick: The Minority Report. In: Fantastic Universe 4, 1956,
Heft 6, S. 4–36.
invasivere Darstellungsformen erprobt, mit denen vormals
unzugängliche Werbeträger erschlossen werden können.
Das 2007 gegründete Londoner Unternehmen Mirriad
entwickelt mithilfe künstlicher Intelligenz (KI) eine Software, die in beliebigen Videos Werbegelegenheiten erkennt,
bewertet und gegebenenfalls ergreift. Sie tastet die Einzelbilder ab, um etwa ungenutzte Fassaden mit Reklametafeln zu
füllen, Produkte im Hintergrund zu platzieren oder den Inhalt
einer Zeitung noch in den Händen eines Darstellers auszutauschen.9 Mirriad bietet seine Software für digitales Product
Placement unter anderem Online-Serien-Streaming-Anbietern
wie Sky (Vereinigtes Königreich) und Tencent (China) sowie Fernsehsendern wie Channel 4 (Vereinigtes Königreich)
und TF1 (Frankreich) an. Auch in Deutschland wurden erste
Kooperationen angestoßen: So wurde die RTL-Serie Alarm
für Cobra 11 nachträglich mit Werbung für Nissan versehen10
und in der ProSieben-Sendung Germany’s Next Topmodel ein
Getränk der Molkerei Emmi digital eingefügt.11 Die Maßnahmen zeigen offenbar Erfolg: Mirriad berichtet, seine Kampagne
für T-Mobile (Abb. 2) habe das Publikum der US-amerikanischen Serie La Piloto zwölf Prozent mehr als herkömmliche
Fernsehwerbung zur Beachtung der Marke bewegen können.12
Mirriads Software erforderte anfänglich noch viel Handarbeit, um etwa situative Entscheidungen für oder wider einen
vorgeschlagenen Werbeträger zu treffen.13 Sie konnte nicht
9
10
11
12
13
Mirriad Advertising PLC: Mirriad end to end tech process. Video,
43 sek, 12.06.2019 (a); https://vimeo.com/341765993 [Stand 11/2020].
Ein ähnliches Prinzip verfolgte das deutsche Unternehmen Fayteq,
das als eine Ausgründung der Technischen Universität Ilmenau
Echtzeit-Bearbeitung von Videomaterial im Sinne der Diminished
Reality, also der Ersetzung von Bildobjekten, anbot. 2017 wurde
das Unternehmen von Facebook aufgekauft.
Mirriad Advertising PLC: Driving awareness and strengthening brand
health metrics, Webseite des Unternehmens 2013; https://www.mirriad.
com/driving-awareness-and-strengthening-brand-health-metrics
[Stand 11/2020].
Nina Piatscheck: Germany’s Next Topseller. In: Die Zeit,
04.02.2016; https://www.zeit.de/2016/06/heidi-klum-germanysnext-topmodel-werbung-produktplatzierung [Stand 11/2020].
Mirriad Advertising PLC: Mirriad Wins 2019 Effective Digital Marketing Award For Innovative T-Mobile Campaign on Univision.
Webseite des Unternehmens, 11.07.2019 (b); https://www.mirriad.
com/mirriad-wins-2019-effective-digital-marketing-award-for-innovative-t-mobile-campaign-on-univision. [Stand 11/2020].
Lara Lewington: Mirriad’s AI slips ads into empty spaces in online
videos, BBC Click, Video, 02 min 13 sek, 29.1.2020. https://vimeo.
com/388059823 [Stand 4/2021].
Abb. 2, Mirriads KI-Algorithmen erkennen Werbegelegenheiten innerhalb eines Filmbildes und fügen Botschaften
personalisiert und bildästhetisch angepasst ein.
a: Kennzeichnung automatisch erkannter Bildelemente und
potezieller Werbeflächen.
b: endgültige Darstellung der nahtlos eingefügten Werbebotschaft in der 65. Folge der zweiten Staffel von ‚La
Piloto‘ (Mirriad Advertising PLC: Mirriad end to end tech
process. Video 43 sek., 12.06.2019 (a);
https://vimeo.com/341765993 [Stand 11/2020]).
a
b
77
erkennen, ob Stimmung und Handlung einer Szene mit etwaigen Werbebotschaften harmonierten. Auch traf sie noch keine
Entscheidungen bezüglich des konkreten Reklameinhalts. In
dieser Hinsicht ermöglichte sie vor allem, potenzielle Werbeträger vorzuschlagen und innerhalb einer Szene zeitlich und
örtlich zu verfolgen, sodass sie händisch, aber ohne größeren
Aufwand mit einer Werbebotschaft ersetzt werden konnten.
Manuelle Anpassungen der Beleuchtungsverhältnisse und der
Schattenwurf ließen die Werbung mit dem Bild verschmelzen.14 Darüber hinaus nähert sich Mirriad dem erklärten Ziel,
diese Prozesse weiter zu automatisieren, in Echtzeit (d.h.
ohne vorausgehende Latenzen) zu integrieren und zuschauerspezifisch zu differenzieren. In Kooperation mit Tencent
wurden bereits erste Versuche einer derart personalisierten
Bewerbung unternommen.15 Dabei sahen manche uschauer
andere Werbebotschaften als andere, die jeweils unauffällig
auf dem Kaffeebecher eines Darstellers platziert wurden.
Die Entscheidung darüber, wer welche Reklame konsumiert, wird dabei auf Grundlage bereits vorhandener, aus
anderen Quellen geschöpfter Daten getroffen. Obgleich weder
Mirriad noch Tencent keine Informationen dazu preisgeben,
wie diese Daten gewonnen, ausgewählt und verarbeitet werden, ist zu vermuten, dass sie zumindest zu einem großen Teil
auf Erkenntnissen aus dem Online-Verhalten der Zuschauer
basieren. Üblicherweise werden für herkömmliche personalisierte Werbung beispielsweise die Häufigkeit, Reihenfolge und
Verweildauer auf besuchten fremden Webseiten einerseits,
andererseits die Vorlieben für Angebote des eigenen Dienstes
(hier etwa: Tencents Serien, soziale Netzwerke und Sofortnachrichtendienste) ausgewertet. All dies mündet in einem
Profil des Zuschauenden, das eine Person aus Datenpunkten
erschafft, untersucht und verfügbar macht. Es wird ständig
78
14
15
erweitert, verfeinert, revidiert und aktualisiert, wie auch die
daran anknüpfenden, automatisierten Entscheidungen jederzeit neu getroffen werden. Ein und demselben Adressaten
kann so zu einem späteren Zeitpunkt bei einer veränderten
Gemengelage eine andere Reklame präsentiert werden. Denn
das Profil reagiert unmittelbar auf jeden neuen Datenfetzen,
die Werbung wird in Echtzeit angepasst.
Mirriad gelang damit der Durchbruch, native mit targeted
advertisement zu verschmelzen: Ihre Werbung fügt sich nicht
nur nahtlos in Serien und Filme ein, sie ist mittlerweile
auch personalisiert auf den einzelnen Zuschauer zugerichtet. Daraus erwächst für die Beteiligten ein großes Potenzial,
Reklame schnell, kostengünstig, unauffällig und mit maximaler Wirkung zu platzieren.
Zudem entstehen mit solchen Werbemethoden ambivalente
Bildformen, die von den Zuschauern untereinander nicht
mehr ohne Weiteres diskutiert werden können. Dies wird
insbesondere erschwert, wenn dadurch Eingriffe in die filmische Handlung nicht ausgeschlossen werden können. Wenn
die Verständigung über den Inhalt des Gesehenen nicht
mehr auf Grundlage einer geteilten Bildsphäre getroffen werden kann, erwachsen für Zuschauer Verwirrungen und Irritationen, die wohl am ehesten mit dem Begriff der Psychose
beschrieben werden können. Denn das Beziehungsgeflecht,
das im Austausch über und gemeinsam mit dem Phänomen
der blickverfolgenden Porträts entsteht, tritt hier in umgekehrter Form auf: Kein Zuschauer kann sich zweifelsfrei darüber
Gewissheit verschaffen, dass der Inhalt des Gesehenen von
Anderen geteilt wird. Denn auch wenn das Staffelfinale einer
Serie im Freundeskreis ohne inhaltlichen Widerspruch diskutiert würde, so kann nicht ausgeschlossen werden, dass einer
außenstehenden Person doch ein anderes Getränk oder eine
79
ebd.
Ivan Guzenko: How AI Technology Will Change The Way We Treat Advertising in 2020. In: Forbes, 16.01.2020, https://www.forbes.com/
sites/forbestechcouncil/2020/01/16/how-ai-technology-will-changethe-way-we-treat-advertising-in-2020. [Stand 11/2020].
andere Zigarettenmarke präsentiert werden könnte. Denn wo
sie sonst eine rezeptive oder rhetorische Dimension hatte, ist
die Frage nun technologischer Natur: Siehst du das, was ich
auch sehe?“ Selbst, wenn dieselbe Serie, derselbe Film erneut
abgespielt würde, kann nicht ausgeschlossen werden, dass
die im Hintergrund operierenden Algorithmen neue, andere
Entscheidungen treffen und das vormals beworbene Damenparfüm nun einem Mittelklasse-Auto weicht. Das heißt,
insofern dem Zuschauer überhaupt bewusst wird, einem
native – und, darüber hinaus: targeted – advertisement konfrontiert zu sein.
Die Unsicherheit über das Gesehene wiegt hier stärker
als in etwa in Filmen, welche auf herkömmliche Mittel zurückgreifen. So werden die Realitäts- und Identitätskrisen der
Hauptfiguren in Filmen wie Fight Club (David Fincher, 1999),
Synecdoche, New York (Charlie Kaufman, 2008) oder Rashomon
(Akira Kurosawa, 1950) mithilfe narrativer Irreführung auf
den Zuschauenden übertragen. Wo sich in ihrer Auflösung
die Täuschung des Films offenbart, bleibt eine Aufklärung
über etwaige Werbeinhalte aus. Sie sollen eben nicht auffallen,
nicht aus dem Bild fallen, sondern fest mit ihm verwoben sein
und damit allenfalls einen leisen Verdacht, keineswegs einen
begründeten Zweifel an ihrer Verfasstheit zulassen.
Für die Beschreibung derart produzierter Bilder tun sich
also einige Hürden auf. Es ist nicht mehr ausreichend von
dem Bild oder der Filmszene zu sprechen. Sie stellen lediglich
eine Variante unter vielen dar, welche auf Grundlage parametrischer, teils oder gänzlich automatisierter Entscheidungen
erstellt werden. Die Gesamtheit aller Bildvarianten entspricht
einem Möglichkeitsraum nicht nachvollziehbaren Ausmaßes,
welcher nicht einmal seinen Architekten weitestgehend
zugänglich ist. Gerade weil sich solche vielgestaltigen Bilder
einer konkreten Beschreibung entziehen, müssen zumindest
im Rahmen der Kritik oder der Filmwissenschaft entsprechende Methoden erst entwickelt und erprobt werden, welche
diese Fluidität umfänglich berücksichtigen. Reicht es, ihren
Möglichkeitsraum exemplarisch zu skizzieren? Müssten nicht
viel mehr die Algorithmen und Entscheidungsflüsse, die ihnen
vorausgehen, umfassend nachvollzogen werden? Ist es dann
noch ausreichend, von dem unbearbeiteten Bild als Beispiel
ex negativo auszugehen? Zumal, wenn selbst ältere Fernsehserien für erneute Ausstrahlungen für Werbezwecke aufbereitet
und erschlossen werden.16 Oder müsste es nicht als gleichrangige Vorbedingung eines spezifischen Formenkreises
mannigfaltiger Bildvarianten verstanden werden?
Doch an das Problem der Beschreibung, welches jeden
betrifft, der sich umfänglich mit solchen adaptiven Bildformen
auseinandersetzt (sei es im Rahmen der Kritik, der Filmwissenschaft oder auch der Fan-Kultur), schließen sich noch
weitere an. Wie können sie originalgetreu reproduziert werden? Wie müssen sie für ihre Archivierung aufbereitet
werden? Hier stoßen technikhistorische Sammlungs- und
Konservierungsvorhaben auf gewaltige Hürden. Selbst wenn
es gelänge, eine derartig mit personalisierter Werbung
augmentierte Tencent-Serie in ihrer gesamten Variabilität in
ein Archiv zu überführen, bestünde weiterhin die immense
Herausforderung, sie dergestalt aufzubereiten, dass der Eindruck eines ursprünglich adressierten Zuschauers reproduziert
werden kann. Dies müsste schließlich auch die vielfältigen
Entscheidungsflüsse, welche diesem individuellen Eindruck
zugrunde liegen, sowie die psychotische Ungewissheit
über das Gesehene miteinbeziehen.
Vor einem ähnlichen Problem stand zuletzt die USamerikanische Library of Congress, die 2010 durch eine
80
81
16
Mirriads früherer Konkurrent SeamBI fügte 2011 für 20th Television
vermutlich nicht-personalisierte Werbung in wiederholt ausgestrahlte Folgen der Serie ‚How I met your mother“ ein (etwa ‚Life Among
Gorillas“, Erstausstrahlung 2006).
Schenkung Zugriff auf die gesamte Historie des Kurznachrichtendienstes Twitter erhielt.17 Zu diesem Zeitpunkt habe die
Plattform mehrere Milliarden Tweets gezählt, wobei täglich
weitere fünfzig Millionen hinzukommen würden.18 Die riesige Datenmenge erforderte allerdings nicht nur entsprechende
technische Ressourcen. Es war darüber hinaus nicht möglich,
Twitters zentrale Erschließungsform, den Live Feed, welcher
für jeden Nutzer kontinuierlich die neuesten und beliebtesten
Tweets aus seinem Netzwerk bereithält, originalgetreu nachzubilden. Die Tweets waren zwar einzeln einsehbar und ihren Absendern zugeordnet. Doch die wesentliche Nutzungserfahrung im Umgang mit Twitter, das Bedürfnis, sich auf
den neuesten Stand zu bringen und durch den nie endenden,
dynamisch gewobenen Live Feed zu navigieren, ging völlig
verloren. Vor einer ähnlichen Herausforderung stünde
gleichwohl jedes Vorhaben einer umfangreichen Erfassung,
Beschreibung und Archivierung solch vielgestaltiger Bilder,
wie sie Mirriad nebst anderen Firmen produziert.
Das drängendste Problem im Umgang mit solchen Bildern
setzt allerdings früher an. Sie müssen erst einmal als solche
erkannt werden. Schließlich wenden ihre Ersteller alle
erdenklichen Tricks an, um ihren Charakter zu verschleiern und sie täuschend echt erscheinen zu lassen. Geübten
Blickes mag man ihnen auf die Schliche kommen, doch der
unbefangene Zuschauer weiß mitunter nicht einmal, dass seine
Lieblingsserie oder ein Sportereignis vor seinen Augen in
Echtzeit neu konfiguriert wird, um ihn gezielt anzusprechen.
Eine gewisse Sensibilisierung vorausgesetzt, kann jedoch
das Bildmaterial nach entsprechenden Verdachtsmomenten
abgesucht werden. Denn wenn sich die Hoffnungen der
Werbeindustrie auf eine Etablierung solcher Methoden
bewahrheiten sollten, wird sich notwendigerweise auch
82
17
18
die Film- und Serienproduktion darauf einstellen müssen.
Sie wird dazu übergehen, Urformen und Bildhülsen zu
entwickeln, welche die spätere Aufladung mit Werbebotschaften vorwegnehmen. In der Folge bieten sie einem gierig ausfüllenden Algorithmus vorausschauend Leerflächen
als Werbeträger an. An die Stelle eines hohen Maßes (oder
sogar Übermaßes) an atmosphärisch wirksamen Szenerien
tritt nun eine verräterische Reduktion derselben. Wo vormals das Jugendzimmer eines Protagonisten mit unzähligen
Postern geschmückt war, wo sonst wie beiläufig Zeitschriftenstapel auf Beistelltischen und Getränkedosen in
Kühlschränken standen, bleiben nun nur noch Lücken
zurück.
In einer derart veränderten Werbewelt wären Produzent*innen stets um einen Überschuss an Werbegelegenheiten
bemüht, um jede denkbare Nutzbarmachung zu ermöglichen,
sodass notgedrungen manche dieser Leerflächen nie ausgefüllt werden. Denn spätestens wenn das erhoffte Reklamepotenzial ausbleibt, werden diese Fehlstellen umso sichtbarer
sein. Dann wird die unbehagliche Leere einer Szene, die
ungewohnte Abwesenheit der schillernden Produktwelt
Aufschluss darüber geben, dass hier ein Werbealgorithmus
vorgesehen war. Wo das nicht so schnell eintritt, werden die
Fans selbst dafür sorgen. Sie werden wie immer ihre eigenen
Mitschnitte, Bildschirmfotos und Social-Media-Posts anhäufen und verbreiten. So wird mit einem Mal dieselbe Szene
einmal mit der Flasche einer spanischen Biermarke und
einmal mit jener eines französischen Bio-Saftherstellers nebeneinander im Netz stehen. Und wenn diese Werbung dann
einmal klar und offen sichtbar wird, fänden die Konsument*innen es auch wieder deutlich leichter, sie zu ignorieren.
83
Matt Raymond: How Tweet It Is!: Library Acquires Entire Twitter
Archive. In: Library of Congress Blog, 14.04.2010. https://blogs.
loc.gov/loc/2010/04/how-tweet-it-is-library-acquires-entiretwitter-archive. [Stand 10/2020].
Library of Congress: Update on the Twitter Archive at the Library
of Congress. 26.12.2017. https://blogs.loc.gov/loc/files/2017/12/
2017dec_twitter_white-paper.pdf [Stand 10/2020] Nach sieben Jahren
der Gesamterfassung wurde das Korpus neu ausgerichtet und fortan
nur noch um ausgewählte Tweets ergänzt.
Matthias Bruhn, Kathrin Friedrich, Moritz Queisner
Adaptivität – die Zukunft
digitaler Bildgebung?
Die Fähigkeit digitaler Bildverfahren, sich auf rechnerischem
Wege und scheinbar selbsttätig an Situationen anzupassen,
wird langfristige Auswirkungen auf menschliche Denk- und
Verhaltensmuster haben. Praktiken im Zusammenhang mit
adaptiver Bildgebung werden psychologische und physiologische Wirkung zeitigen, sie werden wissenschaftliche wie
wirtschaftliche Fragen der Nutzung, Deutung und Bewertung
von Bildern aufwerfen – sowohl in konzeptioneller als auch in
ästhetischer Hinsicht. Von besonderer Bedeutung wird dabei
die Unmerklichkeit und Breite ihres Eingreifens in den Alltag
sein. Denn digitale Adaptivität zielt auf eine Form der Verbildlichung, die durch die gleichermaßen subtile wie konsequente
Verschaltung von Bild und Handlung erreicht wird.
Die damit einhergehende Technisierung macht beides
– Bild und Handlung – von Entwicklungen im Bereich der
Informatik und Sensorik abhängig, die im Gegenzug die Formen
der Betrachtung und Nutzung definieren. Es ist zwar für sich
genommen nicht ungewöhnlich, dass sich Menschen den
Sichtbarkeitsregeln von Bildern und Bildtechnologien unterwerfen oder dass diese Bilder wechselnde Kontexte und
Erwartungen bedienen können; doch der nahtlose, unverzögerte und plastische Übergang von Realität und Visualisierung, Vorlage und Implantat zielt auf eine systematische
Verwischung der Grenzen zwischen Darstellung und Dargestelltem. Die Ähnlichkeit von Gegenstand und Darstellung
(die lange Zeit den Begriff des Bildes bestimmt hatte) wird
85
neu gefasst als präzise räumliche Integration in die physische Umwelt. Adaptive Bilder verweisen nicht nur auf etwas
anderes, sondern treten im wörtlichen Sinne an die Stelle
realer Objekte oder Personen. Dass sie dabei überhaupt noch
als Artefakte erkennbar bleiben, ist vor allem technisch
bedingt, etwa aufgrund von Latenzzeiten oder geringer Auflösung.
Professionelle Anwendungsfelder wie die bildgeführte
Chirurgie belegen die buchstäblich spürbaren Konsequenzen,
die sich aus der Verknüpfung von Bildern mit Praktiken und
Werkzeugen ergeben: Schnittstellen, Algorithmen und Skripte
antizipieren menschliche Entscheidungen, Echtzeit-Assistenzsysteme ersetzen durch virtuelle Überblendungen den materiellen Körper als primäres Referenzobjekt.1 Derartige Entwicklungen machen inzwischen unübersehbar, dass das Konzept
der Adaptivität nicht mehr nur das Bild, sondern auch seine
gezeigten Gegenstände betrifft. Die virtuelle Darstellung
erzeugt mit der digitalen Kopie, mit dem digitalen Zwilling
eine neue Art von Original und einen neuen Bezugspunkt,
der den Unterschied zwischen der bildlichen Repräsentation
und dem darin Repräsentierten aufhebt. Bildgebungsprozesse
zeitigen Folgen, die tief in Wahrnehmungen und Handlungen
hineinreichen.
Damit wird auch die Bestimmung des ‚Bildes‘ selbst
berührt, denn Adaptivität steht womöglich für eine weitere
Entwicklungsstufe digitaler Bildgebung. Um ihre Auswirkungen zu erfassen und einzuordnen, wird es nicht genügen, die
bekannten historisch-theoretischen Ansätze der Ästhetik,
der Bild- oder Medientheorie heranzuziehen (auch wenn sie
grundlegend und erforderlich bleiben). Vielmehr verlangt die
Komplexität der eingesetzten Technologien, überhaupt erst
einmal die Fäden und Entwicklungen zu entwirren, die in
der adaptiven Bildgebung zusammenkommen. Hierzu bedarf
es wiederum einer fachübergreifenden Analyse, die sowohl
technisch informiert ist, als auch operative und professionelle
Anforderungen versteht und die überdies ein umfangreiches
bildhistorisches, designspezifisches oder ästhetisch-psychologisches Wissen und Bewusstsein mitbringt.
Es wird nicht nur die Frage zu beantworten sein, was
adaptive Bilder zu leisten vermögen und wo sie sinnvoll
eingesetzt werden können, sondern auch, welche Abhängigkeiten für Sehen und Handeln mit ihnen einhergehen. Ebenso muss geklärt werden, ob eine Deckungsgleichheit von Bild
und Umwelt überhaupt angestrebt werden sollte, oder ob es
nicht vielmehr darum geht, die natürliche Sichtbarkeit um
künstliche Elemente zu ergänzen, die als solche identifizierbar
bleiben. Ein Konzept des adaptiven Bildes erfordert daher die
Formulierung eines konsequent anwendungsbezogenen oder
anwendungsnahen Begriffs des ‚Bildes‘, der zugleich die historische Entwicklung, Bedeutung und Eigenart visueller Welten
anerkennt.
Eine solche Analyse muss z.B. das praktisch-methodische
Dilemma angehen, dass Adaptivität von Situationen und Perspektiven abhängig bleibt und somit wörtlich genommen individuell – also unteilbar – und nicht abbildbar ist. Wie schon in
den Game Studies ist die Bildanalyse auch hier gefordert, eine
Methode zu entwickeln, um das iterative Zusammenspiel von
Strukturen und Prozessen sowohl vor als auch hinter dem Bild
zu erfassen. Zum besseren Verständnis des transformativen
Potenzials (oder der möglichen Gefahren) muss die Forschung
eine Agenda formulieren, die neben den technologischen
Bedingungen auch die weitreichenden sozialen und kulturellen Auswirkungen adaptiver Bildlichkeit erfasst. Dies gilt
insbesondere für Anwendungskontexte, in denen Bildmedien
86
1
87
Igor Sauer, Moritz Queisner, Peter Tang, Simon Moosburner, Ole
Hoepfner, Rosa Horner, Rüdiger Lohmann, Johann Pratschke: Mixed
Reality in visceral surgery – Development of a suitable workflow
and evaluation of intraoperative usecases. In: Annals of Surgery,
266, 2017, Heft 5.1; https://doi.org/10.1097/SLA.0000000000002448.
2
Kathrin Friedrich und Aurora Hoel: Operational Analysis.
A Method for Observing and Analyzing Digital Media Operations,
New Media & Society, 2021, online first, https://doi.org/10.
1177/1461444821998645.
und Bildmuster in eine rekursive Rückkopplungsschleife von
Wahrnehmung, Interaktion und Entscheidungsfindung geraten.2
Die ständige Verbindung von Bildmedien, Sensordaten
und Handlungen – etwa bei chirurgischen oder militärischen
Operationen – führt zum Einschluss des menschlichen Leibes
in eine größere Maschinerie, die dessen Reaktionen wiederum in das System zurückspiegelt und mit anderen Eingaben
verknüpft. So gesehen, rückt auch die kunstwissenschaftlichanthropologische Frage nach dem ‚Ort der Bilder‘ zwischen
Körper und Medium in ein neues Licht.3
Auch der Gegensatz von Form und Produktion, für deren
Untersuchung Bild- und Medientheorie jeweils spezifische
Methoden ausgearbeitet haben, wird in adaptiven Bildern
auf eine schwer zu definierende Weise unterlaufen. Die Rolle
von Hard- und Software oder technischer Infrastruktur bei
der Bildproduktion und -zirkulation ist zwar in einer Reihe
von Beiträgen diskutiert worden,4 aber diese haben den Status
des Bildes selbst oder seine Handlungsmächtigkeit nicht neu
definiert oder an die neuen Bedingungen angepasst. Vielmehr
hat gerade der Umstand, dass Handlungen durch Software
gesteuert und beeinflusst werden (etwa beim autonomen
Fahren) den Status des Bildes und des Sichtbaren weiter
geschwächt. Denn obwohl immer wieder die Rede davon ist,
dass ‚intelligente‘ Sensorsysteme ihre Umwelt ‚sehen‘ oder
‚wahrnehmen‘, ist das Bild selbst für die entsprechenden
Rechenvorgänge oftmals gar nicht mehr maßgeblich. Stattdessen nimmt es bisweilen nur noch die Rolle ein, Rechenprozesse nachträglich zu legitimieren oder vermittelbar zu machen.
Im Vergleich zur Präzision, Geschwindigkeit und Effizienz
von Computersystemen wird menschliche Wahrnehmung
2
3
4
Kathrin Friedrich und Aurora Hoel: Operational Analysis. A Method
for Observing and Analyzing Digital Media Operations, New Media &
Society, 2021, online first, https://doi.org/10.1177/1461444821
998645.
Hans Belting: Der Ort der Bilder. In: Hans Belting und Lydia Haustein (Hg.): Das Erbe der Bilder. Kunst und moderne Medien in den
Kulturen der Welt, München 1998, S. 34–53.
Siehe z.B. Lev Manovich: The language of new media, Cambridge 2001;
Wendy Hui Kyong Chun: On Software or the Persistence of Visual
Knowledge. In: Grey Room, 2005, Heft 18, S. 26–51; David M. Berry:
The philosophy of software: Code and mediation in the digital age,
Basingstoke, 2011.
dabei immer mehr zum Risiko erklärt, etwa bei der Bilderkennung oder in militärischen Handlungsroutinen, bei denen
Entscheidungen nicht mehr auf der Grundlage von hergestellten Sichtbarkeiten getroffen werden, sondern das Ergebnis
maschineller Datenauswertungen sind.5 Hier wird deutlich,
wie die Funktion digitaler Bilder, Sichtbarkeit herzustellen,
durch Computerprozesse eher unterlaufen als gestärkt wird.
Adaptive Bilder ermöglichen jedoch auch neue Formen
des menschlichen Eingreifens, und zwar gerade dort, wo das
instantane Eingreifen und teilautonome Agieren von Computersystemen etablierte Bildpraktiken an ihre Grenzen treibt.
Die Konsultation von Bildern, auf deren Grundlage Entscheidungen getroffen und in Handlungen überführt werden,
weicht einer Bildpraxis, die Bild und Operation zusammenführt und aneinander ausrichtet. So wird etwa der Blick auf den
Bauplan, auf die Karte oder auf die Arbeitsanweisung durch
hybride Ansichten ersetzt, die bestimmte Abläufe und Bewegungen konsequent auf das Bild beziehen. Indem sie die Trennung zwischen Bild, Raum und Handlung aufheben, ermöglichen adaptive Bilder aber nicht nur neue Formen der Intervention und Interaktion, sondern sie erlauben auch den visuellen
Zugriff auf Datenverarbeitungsprozesse. Dadurch bieten sie
durchaus eine Perspektive, digitale Prozesse sichtbar(er) zu
machen und gestaltend in diese einzugreifen.
Adaptive Medien werden in Entscheidungsprozessen immer
mehr an Bedeutung gewinnen und dadurch ihre spezifische
Form erhalten. Adaptive Bilder schreiben daher nicht nur
ein weiteres Kapitel technischer Evolution. Die Rede von
der visuellen Adaptivität erfasst auch die tiefgreifenden
Anpassungsprozesse, die menschliche Akteur*innen im Zuge
dieser Bildpraktiken merklich oder unmerklich vornehmen.
Je deutlicher die technischen Limitationen hervortreten,
89
5
Moritz Queisner, Nina Franz: Die Akteure verlassen die Kontrollstation. Krisenhafte Kooperationen im bildgeführten Drohnenkrieg. In:
Johannes Bennke, Johanna Seifert, Martin Siegler, Christina Terberl
(Hg.): Prekäre Koexistenz, Paderborn 2018.
umso nachdrücklicher werden schnellere, fließende und
personalisierte Aktualisierungen und Einfügungen von
Bildern als Entwicklungsziel vorgegeben. Um dieses Ziel
zu erreichen, wird eine lückenlose räumliche Registrierung
und Kartografierung der Umwelt erforderlich. Semiotische
Architekturen, Kleidungen oder Produkte werden sich als
Freiflächen zur Einblendung adaptiver Bilder anbieten.6
Vollständig transparente Displays – historisch gesehen dem
prismatischen Blick der Camera Lucida vergleichbar, nun aber
mit digitalen Bildern gefüllt – werden verstärkt dazu eingesetzt, die Begrenzungen des Bildlichen zu überwinden. Indem
lernende Algorithmen individuelle Seh- und Bewegungsmuter auf der Basis von Sensordaten erkennen und speichern,
werden Bildtechnologien zu Handlungstechnologien, die
sich mit den Routinen der Fließbandproduktion vergleichen
lassen. Eines der nächsten Ziele wird es sein, die Interaktion
in sozialen Medien vom zweidimensionalen Browserfenster
in den Realraum zu übersetzen, um gemeinsame bildliche
Handlungen auf Basis von Visualisierungen zu ermöglichen.7
Technologie wird den menschlichen Körper dabei weiter in
eine umfassende Mitwirkungspflicht nehmen und die Regeln
des Spiels bestimmen. Um den Rückkopplungsschleifen zu
entkommen, die sich hier abzeichnen, braucht es eine
Bild- und Medienforschung, die mit diesen Entwicklungen
Schritt hält.
90
6
7
Vgl. etwa John Seabrook: Dressing for the Surveillance Age. In: The
New Yorker, 16. März 2020 (The Style Issue), zu Kleidung und Schminke
als Tarnung gegen Kameraüberwachung.
Timo Kaerlein und Christian Köhler: Around a Table, around the World.
Facebook Spaces, Hybrid Image Space and Virtual Surrealism: In: Luisa
Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.): Image
action space: Situating the screen in visual practice, Berlin/Boston
2018, S. 177–189.
Herausgegeben von
Matthias Bruhn
Kathrin Friedrich
Lydia Kähny
Moritz Queisner
DFG-Schwerpunktprogramm ‚Das digitale Bild‘
Projekt Adaptive Bilder. Technik und Ästhetik situativer
Bildgebung
Erstveröffentlichung: 2021
Gestaltung und Satz: Lydia Kähny
Creative Commons Lizenz:
Namensnennung – Keine Bearbeitung (CC BY-ND)
Diese Publikation wurde finanziert durch die Deutsche
Forschungsgemeinschaft.
München, Open Publishing LMU
DOI 10.5282/ubm/epub.76331
ISBN ISBN 978-3-487-16053-5
Library of Congress Control Number
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind abrufbar unter
http://dnb.dnb.de
Reihe: Begriffe des digitalen Bildes
Reihenherausgeber
Hubertus Kohle
Hubert Locher
Das DFG-Schwerpunktprogramm ‚Das digitale
Bild‘ untersucht von einem multiperspektivischen Standpunkt aus die zentrale
Rolle, die dem Bild im komplexen Prozess
der Digitalisierung des Wissens zukommt.
In einem deutschlandweiten Verbund
soll dabei eine neue Theorie und Praxis
computerbasierter Bildwelten erarbeitet
werden.