Das digitale Bild wird adaptiv: In portablen Medien und interaktiven Anwendungen wird zunehmend Prozessor- und Sensortechnik verbaut, die es ermöglicht, Bilder an ihre Umwelt anzupassen und dabei auf Eingaben und Situationen in Echtzeit zu reagieren. Bild, Körper und Raum werden miteinander verschaltet und synchronisiert, mit langfristigen Folgen für die menschliche Wahrnehmung, für Handlungen und Entscheidungen. Die erweiterten Möglichkeiten bedingen neue Abhängigkeiten von Technologien und von den ästhetischen und operativen Vorgaben jener, die diese Technologien gestalten und bereitstellen. Adaptivität Reihe Begriffe des digitalen Bildes Matthias Bruhn, Kathrin Friedrich, Moritz Queisner: Was sind adaptive Bilder? In: Matthias Bruhn, Kathrin Friedrich, Lydia Kähny, Moritz Queisner (Hg.): Adaptivität. Begriffe des digitalen Bildes. Bd 1, München, Open Publishing LMU, 2021, S. 11–16, https://doi.org/10.5282/ubm/epub.76955. Beitrag https://doi.org/10.5282/ubm/epub.76955 Band https://doi.org/10.5282/ubm/epub.76331 ISBN print 978-3-487-16053-5 Matthias Bruhn, Kathrin Friedrich, Moritz Queisner Was sind adaptive Bilder? In der medizinischen Diagnostik, in der Architekturplanung, in der industriellen Produktion oder in der Unterhaltungsbranche fungieren digitale Visualisierungen im wachsenden Maße als zentrale Schnittstellen der Interaktion; neben der reinen Informationsvermittlung haben sie längst auch steuernde Funktion. Mit der zweiten Welle der Digitalisierung – die oftmals mit dem Begriff einer ‚Industrie 4.0‘1 verbunden wird – vollzieht sich derzeit ein Paradigmenwechsel, der die Möglichkeiten und Praktiken digitaler Bildgebung grundlegend verändert. Sensor- und Display-Technologien, aber auch intelligente Software-Umgebungen greifen in die Beziehungen zwischen Menschen und Computern ein und rekonfigurieren insbesondere den Umgang mit der physischen Umgebung. Handlungsabläufe, Körper und Verhaltensweisen werden zunehmend digital erfasst, mit ihrer Umgebung korreliert und an digitale Netze angeschlossen.2 Während der Übergang von analogen zu digitalen Bildern seit den 1970er Jahren die Modi des Umgangs mit Bildern bereits in vielfältiger Weise verändert hat, konfrontiert diese zweite Digitalisierungswelle viele Nutzer*innen mit einer neuen Generation von Werkzeugen, die menschliches Denken und Handeln auf bildlichem Wege nicht nur begleiten, sondern einrahmen, vorspuren oder sogar antizipieren.3 Am deutlichsten 1 2 3 Der Begriff Industrie 4.0 wurde erstmals 2013 im Perspektivenpapier der von der deutschen Bundesregierung initiierten Forschungsunion Wirtschaft – Wissenschaft geprägt und wurde als gleichnamiges Projekt Teil der Hightech-Strategie der Bundesregierung. Siehe: Forschungsunion Wirtschaft – Wissenschaft, Perspektivenpapier Forschungsunion. Wohlstand durch Forschung – Vor welchen Aufgaben steht Deutschland?, 2013. Mark Andrejevic, Mark Burdon: Defining the Sensor Society. In: Television & New Media, 2014, Heft-Nr. 16, S. 19–36; Jordan Crandall: The Geospatialization of Calculative Operations. Tracking, Sensing and Megacities: Theory, Culture & Society 6, 2010, Nr. 27, S. 68–90; Mark B. N. Hansen: Feed-forward. On the future of twenty-first-century media, Chicago 2015. Die Untersuchung des Übergangs vom digitalen zum adaptiven Bild steht im Mittelpunkt des Projekts ‚Adaptive Bilder. Technik und Ästhetik situativer Bildgebung‘ an der Staatlichen Hochschule für Gestaltung in Karlsruhe. Das Vorhaben erforscht die besondren ästhetischen, technischen und operationalen Aspekte adaptiver Bildlichkeit. 11 werden die Folgen dieses Wandels in der Medizin, wo sich bildgebende Technologien tief in die ärztliche Praxis hinein auswirken, etwa indem sie diagnostische Entscheidungen unterstützen oder chirurgische Eingriffe anleiten,4 sowie im Kontext militärischer Einsätze, in denen computer- und robotergestützte Waffentechnologien maßgeblich durch visualisierte Sensordaten gelenkt werden, bei denen Bilder die primäre, oft sogar die einzige Grundlage für Handlung und Wahrnehmung bilden.5 In der Unterhaltungsindustrie ermöglichen immer ausgefeiltere Techniken der Foto- und Videobearbeitung die Verknüpfung videobasierter Inhalte mit computergenerierten Bildern, die sich sowohl auf der Daten- als auch der Bildebene auswirkt, ohne jedoch für die Nutzer*innen sichtbar zu werden. Streaming-Dienste wie Netflix suchen nach neuen Möglichkeiten, Werbeeinnahmen zu generieren, indem sie computergenerierte Werbebilder direkt in Shows und Filme einbetten. Die Platzierung von Produkten durch Integration und Überlagerung von Objekten in einer laufenden Video- oder Fernsehübertragung ist zu einem gebräuchlichen Werkzeug der personalisierten Werbung geworden. Im Unterschied zu bisherigen Formen der Produktplatzierung wird der Prozess automatisiert, indem durch den Einsatz maschinellen Lernens entsprechende Objekte und Bereiche identifiziert werden, die sich für die Einblendung von digitalen Bildern oder Objekten innerhalb einer Szene eignen. Das Rendering virtueller Inhalte in das Video kann inzwischen in Echtzeit erfolgen, so dass die platzierten Objekte auf Grundlage individueller Nutzungsprofile ausgewählt und angepasst werden können (Abb. 1). Anbieter sind so in der Lage, in Kombination mit dem Zugriff auf riesige Mengen an Kundeninformationen, visuelle Inhalte zu generieren und anzubieten, die vermeintlich den 4 5 Kathrin Friedrich und Sarah Diner: Virtuelle Chirurgie. In: Dawid Kasprowicz und Stefan Rieger. (Hg.): Handbuch Virtualität, Wiesbaden 2019; https://doi.org/10.1007/978-3-658-16358-7_19-1; Moritz Queisner: Medical Screen Operations: How Head-Mounted Displays Transform Action and Perception in Surgical Practice. In: Media Tropes, 1, 2016, Heft 6, S. 30–51. Nina Franz und Moritz Queisner: The Actors Are Leaving the Control Station. The Crisis of Cooperation in Image-guided Drone Warfare. In: Luisa Feiersinger, Kathrin Friedrich und Moritz Queisner (Hg.): Image action space. Situating the screen in visual practice, Berlin/Boston 2018, S. 115–132. Abb. 1, Rendering virtueller Inhalte in ein Video basierend auf automatisierter Bildanalyse (mit freundlicher Genehmigung von Mirriad Inc., https://youtu.be/npW0OTWOWLE, 2019). Konsumgewohnheiten der Zuschauenden entsprechen, indem sie Seh- und Konsumpräferenzen, Alter, Geschlecht oder Standort ermitteln und auf der Bildebene integrieren. Eine solche personalisierte Werbung auf Basis der Metriken digitaler Mediennutzung, beschleunigt nicht nur den Niedergang des klassischen Werbespots der Fernseh-Ära. Derartige Entwicklungen verdeutlichen zudem das Ausmaß, mit dem die aktuelle massenmediale Bildproduktion durch Softwaretechnologien automatisiert und gesteuert wird. Inhalte werden bis auf die Ebene des Einzelbildes und bis zum individuellen Seherlebnis der Nutzer*innen choreographiert und angepasst. So können etwa Markennamen in visuelle Leerstellen eines Nachrichtenstreams eingeblendet, Produkte in eine Filmszene eingefügt und Plakatwände in einem Fußballstadion mit virtuellen Bannern so überlagert und erweitert werden, dass Personen oder Objekte im Vordergrund nicht verdeckt werden (Abb. 2). Digital erzeugte Sportwerbung passt sich dabei an die Datenprofile des Publikums, die jeweiligen Spielsituationen und geografischen Regionen oder die 13 Abb. 2, Virtuelle Plakatwerbung in einem Fußballstadion (mit freundlicher Genehmigung von Supponor Ltd.; https:// youtu.be/AJtLAYmdgTw, 2018). Abb. 3, Kund*innen können mit der Augmented-Reality-App Ikea Place das Aussehen und die Passform von (virtuellen) Ikea-Möbeln im physischen Raum ihres Wohnzimmers simulieren. (Mit freundlicher Genehmigung von Inter IKEA Systems B.V.; https://youtu.be/UudV1VdFtuQ, TC:0:47). Perspektive der Kameras vor Ort an. Auch bei Casting- oder Gameshows kann Werbung auf vermeintliche Publikumspräferenzen zugeschnitten werden – bis hin zu den Kaffeetassen der Jury, die virtuell mit Markennamen versehen werden, welche sich wiederum aus den Online-Shop-Bestellungen der aktuellen Zuschauer*innen ableiten lassen. All das geschieht in Echtzeit. Trotz solcher subtiler Werbebotschaften wird jedoch auch das Publikum immer geschickter darin, Produktplatzierungen zu erkennen und Werbung zu umgehen. Mit dem Konzept der virtuellen Produktplatzierung und -ersetzung sollen wirtschaftliche Interessen daher mit der Situation und dem Kontext ihrer Präsentation verschmelzen und untrennbar mit Medieninhalten verbunden werden. Eine weitere Form bildbasierter Anpassungsprozesse geht weit über den gemeinhin definierten Bereich des digitalen Bildes hinaus und reicht tief in den physischen Raum hinein. Augmented-Reality-Apps wie Ikea Place ermöglichen es Verbraucher*innen, mittels der Kamera ihres Smartphones oder Tablets optisch ihre Wohnung zu vermessen, um maßstabsgetreu im Kamera-Stream des Geräts Ikea-Möbel zu visualisieren. So soll die Kundschaft das Aussehen und die Passform von neuen Möbeln bereits vor dem Kauf und in der eigenen Umgebung simulieren können. Die App rendert dazu in Echtzeit die virtuellen 3D-Objekte passend zum Maßstab und zur Topografie der heimischen Umgebung. Natürlich ist die App mit der Bestandsdatenbank von Ikea verbunden und liefert zusätzliche Informationen zu den Möbeln. Durch die Veränderung der Kameraperspektive können Nutzer*innen innerhalb der grafischen Oberfläche der App virtuelle Möbel in der eigenen Wohnung platzieren und positionieren (Abb. 3). Auch in diesem Fall produzieren und aktualisieren bildgebende Technologien Inhalte im Hinblick auf soziale 14 15 Kontexte und kommerzielle Interessen. Hinzu kommt die Anpassung an den Realraum. Sensor- und Bildgebungstechnologien erlauben es, diesen zu erfassen und zu verarbeiten, Bewegungen in Echtzeit zu verfolgen und in geometrische Formen zu transformieren, sodass die räumliche Umgebung instantan berechenbar wird. Virtuelle Objekte lassen sich maßstabsgetreu einsetzen. Visualisierungen mit Augmented-Reality-Apps wie Ikea Place werden von der Perspektive der Benutzer*innen abhängig gemacht, die ihrerseits in einen kontinuierlichen Anpassungsprozess zwischen Bild und Raum eingebunden werden, indem die Darstellung Blickwinkeln und Bewegungen folgt. Hier zeigt sich eine Entwicklung, die in der Bild- und Medienforschung bisher nur marginale Beachtung gefunden hat: Während Bilder das Objekt und seine Darstellung oftmals räumlich voneinander trennen, scheinen Anwendungen wie Ikea Place computergenerierte Bilder mit der physischen Welt zu verschmelzen. Ihr Beispiel zeigt, wie die Objekte, Standpunkte und Nutzungen einer digitalen App in ein größeres raumzeitliches Bezugssystem gebracht werden, das topografische Gegebenheiten einbeziehen und auf Positionen und Aktionen mit unterschiedlichen Datenvisualisierungen reagieren kann. In Kombination mit entsprechender Rechenleistung und Sensorik sowie der immer genaueren Vorhersagbarkeit von menschlichen Verhaltensweisen durch maschinelles Lernen entsteht die nächste Generation digitaler Werkzeuge und Anwendungen zur situativen und kontextspezifischen digitalen Bildgebung. Aus der technischen Anpassung von Bild, Handlung und Raum geht allmählich ein neuer Typus visueller Medien hervor, für den hier der Begriff des adaptiven Bildes vorschlagen wird. 16 Weitere Beiträge in Band 1 Szenarien adaptiver Bildgebung Matthias Bruhn, Kathrin Friedrich, Lydia Kähny, Moritz Queisner https://doi.org/10.5282/ubm/epub.76957 Coworking auf dem Trecker. Das menschliche Auge und die Digitalisierung in der Landwirtschaft Carmen Westermeier https://doi.org/10.5282/ubm/epub.76958 Der angepasste Blick. Personalisierte Werbung in Zeiten maschinellen Lernens Matthias Planitzer https://doi.org/10.5282/ubm/epub.76959 Adaptivität – die Zukunft digitaler Bildgebung? Matthias Bruhn, Kathrin Friedrich, Moritz Queisner https://doi.org/10.5282/ubm/epub.76960 Herausgegeben von Matthias Bruhn Kathrin Friedrich Lydia Kähny Moritz Queisner DFG-Schwerpunktprogramm ‚Das digitale Bild‘ Projekt Adaptive Bilder. Technik und Ästhetik situativer Bildgebung Erstveröffentlichung: 2021 Gestaltung und Satz: Lydia Kähny Creative Commons Lizenz: Namensnennung – Keine Bearbeitung (CC BY-ND) Diese Publikation wurde finanziert durch die Deutsche Forschungsgemeinschaft. München, Open Publishing LMU DOI 10.5282/ubm/epub.76331 ISBN ISBN 978-3-487-16053-5 Library of Congress Control Number Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind abrufbar unter http://dnb.dnb.de Reihe: Begriffe des digitalen Bildes Reihenherausgeber Hubertus Kohle Hubert Locher