Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

Deepfake

2020, Revista Panamericana de Comunicación

El deepfake es una especie mediática que evoluciona progresivamente como una amenaza para los dicursos del hacer creer en tiempos de la posverdad. Este estudio tiene como objetivo construir un escenario socio-mediático sobre el fenómeno del deepfake para su comprensión y análisis, en donde se propone una clasificación de géneros, casos, campos discursivos, tecnologías de producción y detección, problemáticas éticas y retos culturales que impone esta forma emergente de establecer narrativas a través de la imagen y el sonido. Como telón de fondo de este escenario está el concepto de posverdad, entendido como un fenómeno gestado en el seno de los medios digitales y que protagoniza una guerra de los discursos del poder en el seno de los medios digitales y electrónicos. El estudio revela un escenario emergente, evolutivo, cambiante, altamente dinámico y progresivo del deepfake, como instrumento político, pieza de entretenimiento, activismo y arma de acoso que plantea nuevos retos tecnoló...

ÉTICA FOTOGRÁFICA Deepfake: la imagen en tiempos de la posverdad Deepfake: images in times of post-truth Dr. Jacob Bañuelos Capistrán Universidad Autónoma de Baja California jcapis@tec.mx Recibido: 5 de marzo de 2020. Aceptado: 27 de marzo de 2020. Received: March 5th 2020. Accepted: March 27, 2020. RESUMEN El deepfake es una especie mediática que evoluciona progresivamente como una amenaza para los dicursos del hacer creer en tiempos de la posverdad. Este estudio tiene como objetivo construir un escenario socio-mediático sobre el fenómeno del deepfake para su comprensión y análisis, en donde se propone una clasificación de géneros, casos, campos discursivos, tecnologías de producción y detección, problemáticas éticas y retos culturales que impone esta forma emergente de establecer narrativas a través de la imagen y el sonido. Como telón de fondo de este escenario está el concepto de posverdad, entendido como un fenómeno gestado en el seno de los medios digitales y que protagoniza una guerra de los discursos del poder en el seno de los medios digitales y electrónicos. El estudio revela un escenario emergente, evolutivo, cambiante, altamente dinámico y progresivo del deepfake, como instrumento político, pieza de entretenimiento, activismo y arma de acoso que plantea nuevos retos tecnológicos, éticos, legales y culturales. Palabras-clave: Deepfake, posverdad, ética, tecnología, géneros, campos discursivos Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 51 ÉTICA FOTOGRÁFICA ABSTRACT phenomenon that arose within the digital media, and which has fueled a war of power discourses in such media. The deepfake scenario is revealed to be emergent, This study aims at constructing a socio-mediatic scenar- evolutionary, changing, highly dynamic and progresio that will enable an analysis of the deepfake phenom- sive; further, deepfake is identified as a phenomenon enon, a true threat to discourses in time of post-truth. that functions as political tool, piece of entertainment, To do so, it proposes a classification of genres, cases, means of activism and threatening weapon that poses discursive fields, technologies of production and detec- new technological, ethical, legal and cultural challenges. tion, ethical issues and cultural challenges that are imposed by this emergent form of constructing narratives Key Words: Deepfake, Post-truth, Ethics, Technology, through image and sound. The background of this sce- Genres, Discursive fields nario is set by the concept, post-truth, understood as a INTRODUCCIÓN E l objetivo del presente estudio es crear un escenario socio-mediático que permita comprender y analizar la complejidad del deepfake como un fenómeno tecnológico, cultural, legal y ético. Existe una preocupación creciente por el aumento progresivo de este tipo de expresiones, realizadas con programas cada vez más accesibles y fáciles de usar, al alcance de cualquiera que quiera producirlos con fines de entretenimiento, acoso, chantaje, propagandísticos, para construir una crítica política o para generar desinformación o fake news. Las principales preocupaciones provienen del ámbito de los medios de información, medios y plataformas digitales, redes sociales, los ámbitos del poder político, la legislación, la ética y la tecnología para la detección de deepfakes, entendidos como documentos falsos o falsificados que se hacen pasar por auténticos, y que pueden tener un amplio alcance mediático. Se trata de un fenómeno emergente en el campo del audiovisual y por lo mismo plantea problemáticas también emergentes que no habían sido tecnológicamente gestionadas, culturalmente asimiladas o legisladas. 52 Las preocupaciones son principalmente de tipo ético, político, legal y tecnológico, se fundan en el hecho de que los deepfakes minan la credibilidad de los documentos audiovisuales, principalmente videos, como medios de información o certificación de hechos, poniendo en entredicho su veracidad o generando riesgos de desinformación, difamación o chantaje. Los deepfakes son la punta del iceberg de lo que pasará con la imagen y cualquier otro soporte de contenidos en el universo digital y sobre todo, en la lógica de la construcción de discursos falsos y mal intencionados en la laberíntica trama de las prácticas de la posverdad. Son parte de una familia que empieza a ser numerosa, dominada o acopañada por los adjetivos deep y fake: fake news, cheapfakes, fake nudes, shallow fakes, deep learning, deep web, deepnude, etc. Cualquier otro término que siga al adjetivo deep o fake podría pertenecer a esta familia caracterizada por la incertidumbre. Estirando un poco más esta lógica, podríamos hablar de una sociedad deep y fake, en donde las verdades han quedado, como siempre, en lo profundo y entredicho. La gran diferencia es que la problemática sobre qué es verdad, veracidad, verosímil, real o realidad Fotografía y ética en los medios de comunicación | Ética fotográfica ÉTICA FOTOGRÁFICA se ha escalado un grado más con la llegada de la inteligencia artificial al mundo de la representación y no sólo a éste, sino como régimen del orden y la construcción del sentido de realidad. La proliferación de una hiperrealidad impulsada por los avances tecnológicos en todos los campos se ha acentuado y con ella la cultura del simulacro, la hiperrealidad, la memificación, la avatarización y la falsificación como discurso. Ya lo argumentaban tres grandes filósofos que vieron nacer y evolucionar este cambio paradigmático en los discursos sobre el hacer creer, Jean-François Lyotard con su La condición posmoderna: información sobre el saber (1979), Jean Baudrillard con su Cultura y simulacro (1981) y Zygmunt Bauman con su Modernidad líquida (2002). Los tres filósofos parten de una teoría crítica sobre la modernidad, Lyotard previó el fin de las grandes narrativas o meta-narrativas como discursos rectores sobre la verdad, erosionadas y explosionando en múltiples formas de certificación discursiva o micro-narrativas. Baudrillard asentó las bases para la comprensión de la hiperrealidad que constituye un régimen de simulación y simulacro en el seno del sistema capitalista. Y Bauman analiza y teoriza el devenir de los valores éticos, dinámicas sociales y económicas heredadas en la modernidad por el capitalismo, como un orden en el que “todo lo sólido se desvanece en el aire” como predijo Marx, y donde el sistema moral, económico, tecnológico y la sociedad de la información imponen un orden cambiante, incierto y líquido. Esta modernidad líquida e incierta se ve claramente representada con las problemáticas que plantean los deepfakes, que conforman una parte significativa de la evolución tecnológica, el desarrollo de la inteligencia artificial y deep learining aplicadas a la creación y alteración intencionada de imágenes. Los deepfakes son transformaciones narrativas y discursivas hechas con imagen, texto escrito y sonido, significan un trastocamiento total de lo valores de estos soportes como documentos de certficación de realidad y veracidad. La noción general de un deepfake es que una imagen ha sido manipulada digitalmente para modificar su contenido visual, audiovisual y/o sonoro para presentarla como auténtica, cambiando el rostro de un personaje en lugar de otro, o el cuerpo y/o alterando el audio o el discurso oral del mismo. Existe un número creciente de programas cada vez más sofisticados y eficientes para alterar el video y el sonido, desde aplicaciones móviles hasta sofisticados programas y métodos de inteligencia artificial. Más adelante revisamos las tecnologías más complejas del deepfake que usan técnicas del deep learning hasta el cheapfake o shallow fake, las más más cercanas a un usuario medio. El escenario tecno-mediático actual y futuro prevé un cambio radical en los pactos de lectura y una reconfiguración total en la relación que estableceremos con los documentos, objetos, expresiones y medios digitales. Más allá de si los documentos digitales representan la realidad, la certifican o legitiman, se impone un reto cultural en donde los documentos digitales deberán ser comprendidos no sólo como representaciones de la realidad sino como productores de la misma, independientemente de si son ciertos, falsos, legítimos o verdaderos. TEORÍA DE LA POSVERDAD Y DEEPFAKES La posverdad es un metadiscurso dentro de los discursos del hacer creer la verdad, es una estrategia discursiva intencionada, que persigue establecer una idea como verdadera a partir de una manipulación de información, hechos, actos, emociones, actores y escenarios mediáticos. La posverdad, en el campo de la política, es la nueva propaganda, sólo que más sofisticada, articulando recursos de información más precisos, con un mayor conocimiento de sus públicos objetivos y víctimas. La posverdad tiene un rango de mediación variable, se sirve de mecanismos de viralización de información y articula la intervención de líderes de opinión, celebridades, actores políticos relevantes, medios electrónicos y digitales de información, comunidades en plataformas digitales y redes sociales. Podríamos decir que existe una arquitectura mediática de la posverdad, empleada en hacer creer que documentos falsos son auténticos y los deepfakes engranan perfectamente en esta arquitectura. Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 53 ÉTICA FOTOGRÁFICA Existen numerosas posturas sobre la posverdad, algunas críticas y algunas que ven este fenómeno como una amenaza sobre los cánones y poderes que legitiman qué es verdad y que no lo es. La posición crítica ve en la posverdad una posibilidad en contra de un orden coservador y dominante. La noción de posverdad presupone, desde esta perspectiva, que existe una verdad, esencialista, moralista y que pertenece a ciertos actores, autoridades y medios. Para la posición crítica, la posverdad puede abrir la posibilidad de confrontar la lógica del capitalismo en un momento dado, ya que el mismo capital la ha producido, y ser vista como “pliegue” en la noción deleuziana, es decir, como la posibilidad de generar diferencias, hibridación, apropiación, adaptación y remake: “Una diferencia que no cesa de desplegarse y replegarse” (Deleuze, 1988: 42, en Carrera, 2018). En 2016, el Diccionario Oxford declaró posverdad (post-truth) como palabra del año y en 2017 fake news. Posverdad fue definida como un adjetivo “relacionado con o denotando circunstancias en las que los hechos objetivos son menos influyentes en la formación de la opinión pública que las apelaciones a la emoción o a la creencia personal” (Oxford Lenguages, 2016). En la teoría crítica sobre la posverdad, no hay verdades absolutas y los hechos también son sujetos a discursos que intepretan la realidad y construyen nociones de verdad intencionadas. El término posverdad ha dado ya mucho de qué hablar y teorizar, con posturas más o menos críticas, considerado un término asociado al caos, como amenaza para la democracia o como extensión de prácticas discursivas propagandísticas habituales en el campo del poder político. Autores como Stanley (2016), Harding (2017), D´Ancona (2017), Ball (2017), Ibañez (2017), Amorós (2018), McIntyre (2018), tratan la problemática desde perspectivas políticas, sociales y mediáticas, considerando contextos coyunturales y sociológicos. La posverdad se asocia directamente a fenómenos como las fake news y la construcción de discursos falsos. Sin embargo, y desde un punto de vista crítico, la falsificación ha existido desde tiempo inmemorial, al igual que la propaganda. En China, “shanzhai” es una disciplina que forma parte de la cultura y es una filosofía creativa (Han, 2017). 54 En un mundo instrumentalizado por una tecnología cada vez más avanzada, a partir de la cual se puede clonar prácticamente todo, incluso la secuencia del ADN, qué podemos esperar sobre la clonación en el terreno de las representaciones en imágenes, texto y sonido. Desde una perspectiva creativa, las tesis de Han (2017) son loables y la cultura china prospera sobre esta filosofía, que no dejan de poner en entredicho las formas que tiene Occidente de afrontar las problemáticas sobre las leyes de propiedad intelectual, la conservación patrimonial o la clonación. Para Occidente la falsificación atenta contra algunos de sus pilares discursivos fundamentales; la verdad, la originalidad, la propiedad intelectual, la propia imagen, el honor y la intimidad. Al momento de establecer los riesgos que plantea la posverdad, ya sea como propaganda, como en el caso del Brexit o las elecciones que llevaron a Donald Trump al gobierno de Estados Unidos con ayuda de Cambridge Analytica, o bien, como discurso mediático que intencionalmente busca desinformar o crear una idea falsa sobre un hecho, personaje o una persona común, es necesario considerar los daños morales y éticos que puede causar. Estos daños sólo se pueden establecer a partir de un marco moral, ético y legal determinado, que actualmente es tan líquido e incierto como la misma posverdad. El escenario narrativo del deepfake transcurre por el cause de los discursos de la falsificación en la trama digital. Participa de las estrategias de falsificación, como históricamente lo han hecho todas las formas de representación documental, visual o sonora. La fotografía es un ejemplo muy claro al ser un medio que cargó con el peso de la certificación de la realidad, como documento veraz con valor legal durante más de un siglo, hasta la llegada de la tecnología digital, ante la cual estallaron estos valores. La fotografía siempre pudo construir narrativas verosímiles de hechos falsos, como lo demuestra su historia y la historia del fotomontaje con mayores o menores intenciones realistas. Una excelente investigación histórica sobre la manipulación fotográfica con fines propagandísticos es el libro de Alain Jaubert, Making peoaple disappear (Jaubert, 1989). La legitimidad de la fotografía como certificación del mundo entró en Fotografía y ética en los medios de comunicación | Ética fotográfica ÉTICA FOTOGRÁFICA crisis hacia los años 90 del siglo XX (Bañuelos, 2008). Una crisis que ha impuesto nuevas formas de lectura de las imágenes, oscilando entre el establecimiento cultural que impone la propia representación fotográfica y la puesta en duda sobre cualquier discurso visual, sonoro o escrito. El punto clave de la cuestión está en establecer hasta dónde la falsificación atenta contra la dignidad humana y los derechos fundamentales. Y esto, además de ser una cuestión establecida por un régimen político-económico y legal, es una cuestión de orden moral y cultural. ESCENARIO NARRATIVO: CASOS, GÉNEROS, CAMPOS DISCURSIVOS Los escenarios y contenidos narrativos del deepfake son hipermediáticos y transmedia, participan de una memoria mediática colectiva, se alimentan de datos dejados por los propios usuarios en plataformas digitales y redes sociales, en algunos casos son anónimos, se viralizan, se comparten entre pares, forman parte de una cultura popular, mediática y de una abundante y creciente iconósfera compuesta por grandes campos discursivos: política, pornografía, entretenimiento y experimentación. La atención prestada a los deepfakes va en aumento progresivo desde la aparición del primer caso detectado en la plataforma reddit, protagonizado por el usuario “deepfakes” en noviembre de 2017. El perfil r/deepfakes compartía videos porno donde los rostros de celebridades eran reemplazadas en los videos originales. Igualmente se compartió un código abierto para deep learning en bibliotecas populares y comenzaron a proliferar deepnudes de este tipo en sitios para adultos. Es posible seguir una evolución histórica del deepfake en los reportes anuales de Deeptrace (Patrini et al., 2018 y Ajder, 2019). Los principales campos discursivos del deepfake están en la esfera de la política, la pornografía, el entretenimiento, la experimentación, los efectos en medios de información y desinformación, la tecnología de producción y de detección. Son tendencias discursivas identificadas en una gama amplia de publicaciones es- pecializadas y periodísticas como Deeptrace (Patrini et al., 2018 y Ajder, 2019), Motherboard (Vice), The New York Times, Washington Post, The Guardian, The Economist, The Times and The BBC; y en un espectro amplio de publicaciones académicas más especializadas en tecnología de producción visual mediante inteligencia artificial, terrorismo, tecnología de detección, seguridad, ética y legislación. DEEPFAKE PORNOGRÁFICO De acuerdo con Deeptrace (Ajder, 2019), en 2019 aumentó al doble la cantidad de deepfakes encontrados en Internet. De un total de 14,678 deepfakes encontrados en 2019 el 96% son pornográficos, con un total de 134 millones de vistas. Nueve sitios web están dedicados exclusivamente a deepfakes pornográficos. Ocho de cada diez sitios pornográficos aloja deepfakes. La totalidad de los sitios web de deepfakes pornográficos ataca y daña a las mujeres. Los ataques hechos con deepfakes pornográficos se centran en mujeres, músicos, actores y las nacionalidades de estos personajes son británicos, surcoreanos, norteamericanos e israelíes en mayor medida (Ajder, 2019). Los deepfakes porno, no sólo atacan a celebridades como Scarlett Johansson, Gal Gadot, Taylor Swift, Maisie Williams, Jessica Alba o periodistas como Rana Ayyub o Bharatiya Janata, sino que involucran a personalidades privadas con fines de extorsión. La suma de avatars y deepfakes porno dará la posibilidad de hacer una industria de este género a la carta y aumentará los riesgos de acoso y chantaje en los próximos años. La aplicación DeepNude es una muestra del avance de las tecnologías del deepfake que permite “desnudar” a una mujer a partir de un retrato. La aplicación analiza un retrato y a partir de una base de datos de 10,000 fotos de mujeres desnudas tomadas de internet, añade un cuerpo desnudo al rostro del retrato. Esta aplicación, que ha despertado advertencias legales, alerta por sus implicaciones éticas, aunque su desarrollador se escuda diciendo que si no la hacía él, alguien más lo iba a hacer (Cole, 2019). Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 55 ÉTICA FOTOGRÁFICA DEEPFAKE DE ENTRETENIMIENTO dan Peele con FaceApp, en el que Obama aparece diciendo que Trump es un idiota. El video se realizó con El campo discursivo más grande para los deep- el propósito de advertir los riesgos de la desinformación fakes es el del entretenimiento no pornográfico, ocupa que pueden generar los deepfakes. El post recibió más el 81% de los canales de YouTube dedicados a compar- de 13K retweets y 100K vistas en YouTube en un día tir deepfakes, 12% son de políticos, 5% informativos (Patrini, G. et al., 2018; Silverman, 2018). y medios de comunicación y 2% empresarios (Ajder, En el campo político destaca la aparición de 2019). Existen 14 canales de YouTube dedicados a deep- los shallowfakes, que a diferencia con los deepfakes, fakes y el 73% están en Estados Unidos de Norteamé- no requieren de grandes conocimientos en programas rica. El campo del entretenimiento está protagonizado de deep learning para realizarlos. Proliferarán en todos principalmente por celebridades mediáticas populares los campos discursivos, pero son vistos como una ameprocedentes de la cultura del espectáculo, actores de naza ante las elecciones presidenciales estadounidencine y personajes de películas de superhéroes. ses de 2020 (Shao, 2020). Canales de YouTube notables de deepfake por El deepfake de Nancy Pelosi es prueba de ello, su calidad de producción como Ctrl Shift Face o The- lanzado en mayo de 2019, advierte también de los riesFakening, intervienen videos intercambiando rostros, gos que un video manipulado puede originar en el marcuerpos y voces de personajes famosos como Tom co electoral, influenciar en el electorado, dañar carreras Cruise, Arnold Schwarzenegger, Keanu Reeves, Jennifer políticas o desestabilizar el equilibrio de poder entre naLawrence, Emma Stone, Nicolas Cage, Jim Carrey, Leo- ciones. En este caso, la voz de Pelosi fue ralentizada para nardo DiCaprio, Sylvester Stallone, empresarios como que su declaración pareciera haberla hecha en estado Jeff Bezos, Elon Musk o políticos como Donald Trump de ebriedad. en escenas de filmes o intercambiando rostros y voces El deepfake de Pelosi alojado en el perfil de en entrevistas de programas de televisión. Aquí la na- Facebook Politics WatchDog, recibió más de 2 millones rrativa es básicamente irónica, satírica, crítica, paródica, de visitas, fue compartido 45,000 veces y generó 23,000 carnavalesca y persigue fines de experimentación, co- comentarios, mayoritariamente negativos, en 48 horas. merciales y de notoriedad en las redes. YouTube removió el video y Facebook no quiso removerlo argumentando que sus políticas de publicación indiDEEPFAKE POLÍTICO caban que los contenidos publicados no tenían que ser verdaderos (The Guardian, 2019). El campo discursivo más propiamente meDonald Trump se ha convertido en un audiático es el dedicado a los deepfakes de políticos, ya téntico campo de experimentación en las narrativas que adquiere eco en medios electrónicos y digitales. Los del deepfake político, desde un canal en YouTube llamapersonajes más relevantes en este campo son en 2018- do Donald Trump Deepfakes, hasta campañas de solida2019 Donald Trump, Barack Obama, Vladimir Putin y ridad como la de la agencia La Chose, un deepfake en Nancy Pelosi. donde se ve a Trump declarando el fin del Sida (AIDS) En 2017 la Universidad de Washington publi- (Madge, 2019). có un estudio sobre cómo sintentizar audio y sincroniAsistiremos progresivamente a más casos zarlo al movimiento de los labios en un video de dife- como el de Pelosi en el terreno político y en otros camrente procedencia, en «Synthesizing Obama: Learning pos discursivos. A las numerosas consecuencias éticas, Lip Sync from Audio» (Supasorn, 2017), un antecedente morales y legales de los deepfakes, se suman las consetecnológico que dará pie a manipulaciones de audio en cuencias políticas que pueden suscitar, la imediatez de videos, como Lyrebird Ai. la publicación, la viralización, el tiempo que duren en la En abril de 2018 BuzzFeed tuiteó un deep- red y la tardanza en descubrir que son falsos, factores fake de Barack Obama realizado por el productor Jor- que pueden originar daños al sistema político, a pro- 56 Fotografía y ética en los medios de comunicación | Ética fotográfica ÉTICA FOTOGRÁFICA cesos democráticos y graves consecuencias en seguridad. En la cultura de la desinformación, la puesta en duda de cualquier documento audiovisual es consecuencia de la normalización de la falsedad como discurso. Los deepfakes son un síntoma de este recorrimiento en los pactos de lectura, el estado de cosas que la digitalización, la inteligencia artificial y sus posibilidades discursivas pueden provocar. DEEPFAKE EXPERIMENTAL En el campo experimental destaca el artista Bill Posters quien produjo el proyecto Spectre (#Spectre) en Instagram (@bill_posters_uk) con tintes activistas, una serie de deepfakes realizados sobre políticos y líderes de opinión como Donald Trump, Mark Zuckerberg, Jeremy Corbyn, Boris Johnson, Kim Kardashian, en donde expresan comentarios contradictorios o provocadores. El proyecto tiene como finalidad advertir sobre los riesgos del deepfake como arma de desinformación (bill_ posters_uk. Instagram, junio 2019). Los géneros formales del deepfake emergen, se renuevan y evolucionan rápidamente. Encontramos los siguientes términos asociados, una gama que incorpora tecnología y tratamientos temáticos, programas, apps: shallowfakes, cheapfakes, fake news, fake nudes, deepnude, face replacement, face-swap, faceshift, voice cloning, deep voice, animoji, pinscreen. El campo de experimentación se expande y entrecruza con los campos discursivos, géneros y tecnologías del deepfake en un devenir imparable y cada vez más sofisticado que pasa por la realización de rostros, avatares, sonido, voz, video conferencias, cine, fan-film, retratos animados, juegos y efectos especiales. TECNOLOGÍAS DEL DEEPFAKE El escenario tecnológico del deepfake presenta dos grandes territorios: las tecnologías de producción y las de detección. Ambos campos se entrecruzan y la batalla por la detección por motivos legales o de seguridad se enfrenta a un círculo vicioso y virtuoso, mientras en un territorio se avanza, en el otro se aprende de esos avances, lo que genera el efecto de un ratón que se Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 57 ÉTICA FOTOGRÁFICA muerde la cola. No habrá tecnología de detección que sea suficiente para detener la producción de deepfakes, sean cuales sean sus usos. La gama tecnológica se divide igualmente en dos grandes campos: las tecnologías del deepfake y las del cheapfake (o shallow fake). Algunas de las tecnologías relevantes para la producción y detección de deepfakes se centran en el desarrollo de inteligencia artificial, aprendizaje profundo (deep learning), redes neuronales convolucionales (convolutional deep neural networks, CNN), machine learning, visión computacional, reconocimiento de voz, imágenes y sonido de síntesis (Tan y Lim, 2018). La tecnología de modelado generativo (generative modelling) a partir de deep learning es notable en el campo del deepfake, especialmente a partir de la creación del sistema GAN’s (Generative Adversarial Networks). Inventado por Ian Goodfellow en 2014, inicia una técnica de machine learning en donde dos redes neuronales se confrontan y aprenden para crear nuevos datos mediante un entrenamiento. Un sistema GAN<‘s (o Cycle GAN-Baekeley, 2017) entrenado en fotografías o videos existentes, genera nuevas fotografías o videos que resultan auténticos para la visión humana. En 2016 se publica el método “Face2Face”, una técnica para la recreación facial, a partir de la que es posible transferir expresiones faciales de una persona a un ‘avatar’ digital realista en tiempo real. En 2018 aparece FakeApp, una aplicación de escritorio construida con la librería de fuente abierta de Google, Tensorflow, lanzada con tutoriales para no expertos (Ajder, 2019). 58 En 2018, investigadores de la Universidad de Standford publican una investigación titulada Deep video portraits, un método que permite realizar animación a partir de fotos y retratos animados a partir de un solo video (Kim, et. al., 2018). DeepMind publica en 2018 el modelo Big GAN, un sistema que permite sintetizar imágenes de objetos y animales en alta resolución (Brock, A., et. al., 2018). NVIDIA presenta “A Style-Based Generator Architecture for GANs», estableciendo un nuevo estándar para la generación de imágenes sintéticas (Karras, et. al., 2019). En 2019, la Universidad de California Berkeley publica “Everybody dance now”, un método para transferir movimientos corporales de una persona de un video a otra persona en otro video (Chan, et. al. 2019). En seguida un esquema que resume una serie de técnicas y programas de producción deepfake y cheapfake destacados entre 2014 y 2019: Fotografía y ética en los medios de comunicación | Ética fotográfica ÉTICA FOTOGRÁFICA TECNOLOGÍAS DE DETECCIÓN sin control legal o con anuencia de la administración de las plataformas. La legislación sobre deepfakes es parte de la Las tecnologías e iniciativas de detección de deepfakes constituyen un frente tecnológico, polí- Ley de Autorización de Defensa Nacional para el Año tico, militar y empresarial urgente para la esfera polí- Fiscal 2020 (National Defense Authorization Act for Fistica, legislativa y mediática. Un nuevo campo emerge, cal Year 2020, NDAA) en Estados Unidos. Las iniciativas el deepfake forense. En 2016 la Agencia de Proyectos de contemplan: 1) hacer un reporte de deepfakes usados Investigación Avanzados de Defensa (DARPA) comienza como armas extranjeras; notificar al Congreso sobre acel programa Media Forensics (MediFor) para el desarro- tividades de desinformación mediante deepfakes en las llo de métodos de análisis digital en medios. En 2018 elecciones estadounidenses; y establecer un concurso aparece “FaceForensic” una base de datos de gran es- de «Deepfakes Prize» para la investigación o comercialicala para entrenar herramientas de detección forense zación de tecnologías de detección de deepfakes (Hale, de deepfake, con apoyo de Technical University of Mu- 2019). nich. Se suma a un amplio campo emergente en la inDos iniciativas están en curso, la Identifying vestigación sobre detección de rostros y deepfakes (Ze- Outputs of Generative Adversarial Networks (IOGAN) Act y la Deepfake Report Act of 2019. En los estados de instra, 2017; Rössler, 2018). Esfuerzos de organizaciones no gubernamen- Virginia y California ya está aprobada una ley que petales como AI Foundation crean en 2018 un fondo de 10 naliza la distribución de pornografía no consensuada millones de dóloares, para el desarrollo de herramientas mediante deepfakes. Y en Texas se penaliza la difusión que combinen técnicas de machine learning y modera- deepfakes que dañen a un candidato en tiempo de elección humana, para identificar contenidos que pudieran ciones (Hale, 2019). dañar a la gente como los deepfakes. Symanthec Corporation crea el mismo año un demo para detectar deep- CONTRA DEEPFAKES EN MEDIOS DIGITALES fakes mediante reconocimiento de rostro en BlackHat, Londres. The Wall Street Journal inicia un prograEn 2020, Facebook, en alianza con AWS (Ama- ma de pautas para la detección de deepfakes. Al igual zon Web Services), Microsoft, Partnership on AI’s Media que otros medios de información, lucha contra la ola Integrity Steering Committee y un grupo de académicos, de videos falsos en las noticias, estableciendo algunas lanzan el Deepfake Detection Challenge para promover pautas para sus periodistas: examinando la fuente, enla innovación en técnicas de detección de deepfakes y contrando versiones anteriores de las imágenes, examicontenidos mediáticos manipulados, con un premio de nando las imágenes en cámara lenta, con zoom, para 1 millón de dólares (DFDC, 2020). detectar saltos, borrosidades, cambios de iluminación, cambios en el fondo, alteraciones del clima, voz artifiLEGISLACIÓN Y ÉTICA DEL DEEPFAKE cial, extracción de objetos con Project Cloak (Marconi y Daldrup, 2019). De esta forma emerge un nuevo camLa evolución legal ante el deepfake ha sido po profesional en la industria mediática e informativa, lenta. Existen iniciativas y advertencias legales realiza- el media forensics y la verificación de contenidos. das principalmente en el marco legal estadounidense. Algunas plataformas como Reddit, YouTube y Facebook DEEPFAKES EN FACEBOOK comienzan a incluir en su política de publicación cláusulas que prohiben la difusión de deepfakes. Sin emEn 2020, Facebook cambió sus políticas de pubargo, los deepfakes maliciosos que persiguen fines de blicación sobre contenidos manipulados o deepfakes, extorsión, chantaje, acoso, o fines comerciales principal- con dos criterios: mente difundidos en sitios pornográficos, se extienden Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 59 ÉTICA FOTOGRÁFICA » Que el contenido hayan sido editado o sintetizado, de manera que pueda ser evidente para una persona promedio, y que podría inducir a error haciendo pensar que un sujeto del video dijo palabras que no haya dicho crítica y satírica sobre el orden, valores y formas de poder contemporáneos. CONCLUSIONES El escenario socio-mediático del deepfake es » Es un producto de inteligencia artificial o ma- amplio, progresivo y cambiante, se construye sobre el chine learning que fusiona, reemplaza o super- territorio fértil de la posverdad, que propicia la propapone contenido en un video, haciéndolo parecer gación de contenidos falsos mezclando hechos y emoauténtico. ciones con fines propagandísticos o maliciosos. El deepfake es un elemento más de la arquitectura mediática, Esta política de publicación no se aplica a con- política, moral, ética y cultural que alberga la creación y tenido paródico o satírico, o a un video que ha sido edi- propagación de la falsedad como producción de realidad. tado únicamente para omitir o cambiar el orden de las La teoría crítica de la posverdad ve una posibipalabras (Bickert, 2020). lidad de generar discursos que cuestionen las verdades Las nuevas políticas de publicación de Face- detentadas por poderes conservadores y dominantes. book son altamente ambiguas y no solucionarán el pro- Sin embargo, la valoración ética y legal de los discursos blema. A pesar de los esfuerzos de Facebook, consultan- de la posverdad, entre ellos los deepfakes, se tendrán do a expertos globales en tecnología, política, medios, que valorar desde su lectura y daños en un contexto legislación en deepfakes, contar con un grupo de verifi- moral, ético, legal y cultural específico. cadores independientes en 40 lenguas, y una asociación La producción, difusión y distribución de deepcon socios como Partnership on AI, Cornell Tech, the fakes es imposible de detener. La lucha por detectar conUniversity of California Berkeley, MIT, WITNESS, Micro- tenidos manipulados en medios y redes digitales no posoft, the BBC and AWS, las amenazas del deepfake se- drá detenerlos. Los deepfakes no deben ser entendidos guirán adelante. como la causa de la desinformación, sino como el síntoPara la Electronic Frontier Foundation no son ma de una sociedad que suma los desarrollos tecnolónecesarias nuevas leyes, se pueden aplicar las leyes gicos a prácticas delictivas que han existido siempre. Se existentes que ya regulan delitos asociados a los deep- deberán combatir los delitos, no los deepfakes. fakes maliciosos: extorsión, acoso, difamación, agravio La problemática sobre la autenticidad de cualintencional de angustia emocional (IIED), derecho de quier documento aumenta en la medida en que avanpublicación y derechos de autor (Green, 2018). za el uso de la inteligencia artificial en la construcción Otros delitos asociados al deepfake son, ade- de un orden material, científico y cultural. Los riesgos más de extorsión y acoso, chantaje, suplantación de de la desinformación aumentan debido a la velocidad y identidad, espionaje, violación de la privacidad, al honor, alcance de propagación de contenidos falsos en las rela propia imagen, difamación, daño moral, e infringir des sociales, al uso de metadatos y contenidos digitales derechos de autor. La violación de los derechos huma- que la propia ciudadanía comparte en la red y debido nos fundamentales y atentar contra la dignidad huma- a competencias de lectura sobre contenidos mediáticos na constituyen un delito y un uso anti-ético del deep- heredadas del régimen mediático electrónico. fake, como la pornografía sin consentimiento. Los desarrollos tecnológicos no harán más Las consideraciones éticas son también ambi- que aumentar las posibilidades de la falsificación como guas en algunos casos, por ejemplo, en los casos en que discurso. Las lecciones y oportunidades que puede dejar se apropia un video publicado en Internet y se usa para la aparición de deepfakes están centradas en la necesihacer una crítica política de un personaje público, sin dad de construir una nueva alfabetidad, nuevas compeánimo de lucro ¿Es ético, es legal? No todos los deep- tencias de lectura y nuevos pactos discursivos para la fakes son ilegales o anti-éticos per se. Existen numero- asimilación, confrontación, evaluación e interpretación sos ejemplos en el campo experimental, artístico, polí- de contenidos mediáticos digitales. tico y del entretenimiento que construyen una visión 60 Fotografía y ética en los medios de comunicación | Ética fotográfica ÉTICA FOTOGRÁFICA REFERENCIAS » Ajder, H. et al. (2019). The State of Deepfakes: Landscape, Threats, and Impact. Amsterdam: Deeptrace. » Amorós, M. (2019). Fake News, la verdad de las noticias falsas. Barcelona: Plataforma Editorial. » Ball, J. (2017). Post-Truth: How Bullshit Conquered the World. London: Bite Back Publishing. » Baudrillard, Jean (1ª ed. 1981) (1993). Cultura y simulacro. Barcelona: Kairós. » Bauman, Zygmunt (1ª ed. 2002). Modernidad líquida. México: Fondo de Cultura Económica. » Bickert, M. (2020). Enforcing Against Manipulated Media. Facebook. https://bit.ly/3avIBrs » bill_posters_uk. Instagram, junio 2019. Consultado el 3 de febrero de 2020 de https://www.instagram.com/p/ByaVigGFP2U/ » Breland, A. (2019). The Bizarre and Terryfing case of the “Deepfake” that Helped Bring an African Nation to the Brink”. Mother Jones, march 2019. https://bit.ly/2uX5Ewu » Brock, A., Donahue, J., & Simonyan, K. (2018). Large scale Gan training for high fidelity natural image synthesis. arXiv preprint arXiv:1809.11096. » Carrera, Pilar. (2018). Estratagemas de la posverdad. Revista Latina de Comunicación Social, 73, p. 1480. http:// w w w. re v i s ta l a t i n a c s . o r g / 0 7 3 p a p e r / 1 3 1 7 / 7 6 e s . h t m l DOI: 10.4185/RLCS-2018-1317 » Cole, S. (27 junio 2019). Esta terrorífica app crea un nude de cualquier mujer con un simple clic. Vice. Consultado el 3 de febrero de 2019 de https://bit.ly/2Ii3WbS » Chan, C., et. al. (2019). Everybody dance now. In Proceedings of the IEEE International Conference on Computer Vision (pp. 59335942). » D´Ancona, M. (2018). Post-Truth, the New War on Truth an How to Fight Back. United Kingdom: Edbury Press. » Deleuze, G. (1988), Le pli. Paris: Les Éditions du Minuit. » DFCD (2020). Deepfake Detection Challenge. https://deepfakedetectionchallenge.ai/ » Green, D. (2018). We Don’t Need New Laws for Faked Videos, We Already Have Them. Electronic Frontier Foudation. https://bit.ly/ 38jWV4V » Hale, W. (2019). First Federal Legislation on Deepfakes Signed Into Law. JdSupra. https://bit.ly/2wqJuDg » Han, Byung-Chul (2017). El arte de la falsificación y la deconstrucción en chino. Argentina: Caja Negra Editora. » Handing, L.(2017). Conspiración. Barcelona: Debate. » Harwell, D. (2018). White House shares doctored video to support punishment of journalist Jim Acosta. The Washington Post. Consultado el 27 de febrero de https://wapo.st/3cytr6C » Ibañez, J. (2017). En la era de la posverdad. Madrid: Calambur. » Jaubert, A. (1989). Making People Desappear. New York: Pergamon-Brassey´s. International Defense Publishers, Inc. » Karras, T., Laine, S., & Aila, T. (2019). A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4401-4410). » Kim, H., et. al. (2018). Deep video portraits. ACM Transactions on Graphics (TOG), 37(4), 1-14. » Lyotard, Jean-François (1ª ed. 1979) (2019). La condición posmoderna: información sobre el saber. Madrid: Ediciones Cátedra. » Madge, J. (2019). Has Donald Trump eradicated AIDS?. Shots.net. Consultado el 19 de febrero de 2020 de https://bit.ly/38pvo29 » Marconi, T., Daldrup, T. (2019). How The Wall Street Jorunal is preparing its journalist to detect deepfakes. NiemanLab. https:// bit.ly/2wxENY1 » McIntyre, L. (2018). Post-Truth. Boston. MIT Press Essential Knowledge series. » Oxford Langage (2016). Word of the year 2016. https://languages.oup.com/word-of-the-year/2016/ » Paris, B; Donovan, J. (2019). Deepfakes and Cheap Fakes. United States of America: Data & Society. https://bit.ly/2wyWHcX » Patrini, G. et al. (2018). The state of deepfakes: reality under attack. Annual Report v.2.3. Amsterdam: Deeptrace. » Rössler, A., et. al. (2018). Face forensics: A large-scale video dataset for forgery detection in human faces. arXiv preprint arXiv:1803.09179. » Shao, G. (2020). Fake videos could be the next big problem in the 2020 election. CNBC. https://cnb.cx/2VOrttc » Silverman, C. (abril 17, 2018). How To Spot A Deepfake Like The Barack Obama–Jordan Peele Video. BuzzFeed. https://bzfd.it/2uQyQoR » Supasorn, S. et al. (2017). Synthesizing Obama:Learning Lip Sync from Audio. ACM Transactions on Graphics, Vol. 36, No. 4, Article 95. Publication date: July 2017. https://grail.cs.washington.edu/ projects/AudioToObama/siggraph17_obama.pdf » Stanley, J. (2016). How Propaganda Works. New Jersey: Princenton University Press. » Tan, K., & Lim, B. (2018). The artificial intelligence renaissance: Deep learning and the road to human-Level machine intelligence. APSIPA Transactions on Signal and Information Processing, 7, E6. doi:10.1017/ATSIP.2018.6 » The Guardian (2019). Real v Fake: debunking the ´drunk´Nancy Pelosi footage – video. Consultado el 28 de febrero 2020 de https://bit.ly/2VJ6IPq / https://bit.ly/3at5ADQ » Zeinstra, C. G. (2017). Forensic Face Recognition: From characteristic descriptors to strength of evidence. Revista Panamericana de Comunicación | Año 2 No. 1 Enero - Junio 2020 61