La Ley 08-03-2024

Buenos Aires, Argentina
Viernes 8 de marzo de 2024
AÑO LXXXVIII Nº 38 TOMO LA LEY 2024-A ISSN: 0024-1636 - RNPI: 5074180
Las mujeres ante el desafío de la Inteligencia Artificial
Doctrina ¿Es posible una inteligencia artificial libre de violencia?

Estereotipos y sesgos algorítmicos de género
Los impactos de género de la IA
Paola M. Petrillo 8
Eleonora Lamm
Consumo digital y perspectiva de género en la era de la
Natalia González Alarcón
inteligencia artificial
Cristina Martínez Pinto 2 Laura V. Bonhote 12
Las mujeres frente a la IA

8M: Conmemoración de una conquista universal El determinismo algorítmico como mecanismo hegemónico de control
y la violencia de género ejercida a través de la explotación de sus datos
Raquel S. Mass 4
Johanna C. Faliero 14
¿Democracia digital inclusiva o algoritmocracia sesgada? Proteger perfiles digitales humanos ante el imparable avance
de la inteligencia artificial
Malena Errico 6
Carina M. Papini Giselle Heleg 18
CORREO
ARGENTINO FRANQUEO A PAGAR
CENTRAL B CUENTA N° 10269F1

2 | Viernes 8 de marzo de 2024
Doctrina
Los impactos de género de la IA

Eleonora Lamm Natalia González Cristina Martínez
Doctora en Bioética y Derecho por la Universidad de Alarcón Pinto
Barcelona (UB), España. Máster en Bioética y Derecho
(UB) y Máster en Derecho de Familia (UB). Responsable Economista en gobierno y organiza- Fundadora del Laboratorio de Políticas
del Sector de Ciencias sociales y humanas para Ame- ciones multilaterales, especializada de Tecnología de Interés Público (PIT).
rica Latina y el Caribe (AI) en UNESCO. Miembro del en diseño e implementación de es- Maestría en Políticas Públicas de la Uni-
Comité Nacional de Ética en las Ciencias y Tecnologías. trategias innovadoras para promover versidad de Georgetown y un B.A. en
Se desempeñó como Jueza en el Tribunal Internacional Monsanto, en La Haya, la inclusión social y económica. Maestría en Políticas Públi- Relaciones Internacionales del Tec de Monterrey en México.
Países Bajos. Es signataria de los Principios de Yogyakarta + 10 y fue redactora cas de la Universidad de Georgetown.
de numerosos reportes de GATE en materia de infancias trans.
SUMARIO: I. Introducción.— II. Estereotipos y prejuicios de género en la inteligencia artificial.— III. La división digital de género en cifras.— IV. El camino a seguir: IA ética e inclusiva
por diseño.— V. Conclusiones.
I. Introducción (*) res centrados en la persona humana. Estos sistemas de IA son reflejos de la precisión, análisis de grandes cantidades de datos (big
incluyen el pleno respeto de los derechos representatividad y disponibilidad (o falta data) puede ser de utilidad para visibilizar
Los recientes avances en Inteligencia Ar- humanos, las libertades fundamentales y de) de datos utilizados, así como los sesgos la discriminación en razón de género o bien
tificial (IA) han puesto en el centro de aten- la dignidad humana; la sostenibilidad am- que provienen de sus desarrolladores, mis- cuantificar la situación de las mujeres en
ción la necesidad de una profunda reflexión biental; y resultados inclusivos y justos. mos que se incorporan en los algoritmos las esferas política, económica, social y/o
ética sobre su uso. Surgen preguntas con re- desarrollados y empleados (6). El sesgo en de salud, también existe el riesgo de que
lación al despliegue y uso de la IA, y cómo La Recomendación tiene como objetivo la IA se puede generar por un simple error no capture información sobre toda la gama
esta puede impactar en la vida de las perso- guiar a los Estados Miembros en la formu- estadístico o a través de suposiciones cons- de experiencias de las mujeres, debido a
nas y sus interacciones sociales; las relacio- lación de una amplia gama de acciones, cientes e inconscientes que quienes progra- la insuficiente representación o exclusión
nes económicas, políticas y culturales; y la incluida la legislación y la regulación, des- man hacen sobre el género u otros estereo- de ciertos grupos y a la falta de informa-
capacidad de las sociedades para abordar tinadas a hacer que la IA sea inclusiva por tipos sociales. ción (9).
los desafíos actuales y futuros (1) (2). diseño y que el desarrollo, uso y despliegue
de la IA se basen en principios éticos claros Los desafíos estadísticos relacionados Los intentos actuales de abordar los
Las oportunidades que ofrecen las tecno- que puedan traducirse en políticas imple- con los sesgos en los algoritmos no son efectos nocivos del sesgo de la IA siguen
logías de IA ya no están en duda. No obs- mentables y efectivas. Aboga por una IA que nuevos. En el aprendizaje automático, una enfocándose en gran medida en factores
tante, la IA puede también generar riesgos, sea responsable, transparente y que respete aplicación de la IA, los algoritmos se basan computacionales como la representativi-
incluidos los derivados de un mal uso de los derechos humanos y el Estado de Dere- en conjuntos de datos, o datos de entre- dad estadística de los conjuntos de datos.
la tecnología, y agravar los prejuicios, des- cho. Además, pide acciones concretas en namiento, que predeterminan los resulta- A pesar del creciente reconocimiento de su
igualdades y divisiones sociales existentes. una amplia gama de campos de política, dos esperados para ciertas personas u ob- importancia como fuentes de sesgo de IA,
dado que la IA representa una tecnología jetos. El sesgo estadístico y computacional los factores humanos y sistémicos institu-
Específicamente, los prejuicios de género de propósito general y uso transversal y con surge cuando los errores resultan de mues- cionales y sociales todavía no son tomados
que las personas exhiben en su vida coti- potencial de impacto en todos los aspectos tras que no son representativas de la pobla- como prioridad (10).
diana se pueden reflejar e incluso amplifi- de nuestras vidas, especialmente en temas ción. Si los datos de entrenamiento ofrecen
car en los sistemas de IA. Como explica un de género según se detalla en el Área de Po- una imagen parcial o sesgada de la pobla- La representatividad estadística es vital
informe reciente de la UNESCO, “estos pre- lítica 6 de la Recomendación. ción, la IA se vuelve propensa a perpetuar o para mitigar el sesgo, pero queda más tra-
juicios tienen sus raíces en fuertes desequi- reforzar el sesgo. bajo por hacer para promover la desagre-
librios de género en la educación de habi- Este documento analiza cómo este ins- gación sistemática de los datos por género/
lidades digitales y se ven exacerbados por trumento normativo y su implementación Los datos sobre distintos grupos pobla- sexo y para verificar la medida en que los
los desequilibrios de género de los equipos pueden orientar las políticas hacia el apro- cionales tienen una larga historia de alte- conjuntos de datos pueden proporcionar
técnicos que desarrollan tecnologías fron- vechamiento de las tecnologías digitales y ración en los conjuntos de datos existentes la información requerida. Sin embargo, la
terizas, (y) por empresas con importantes la IA para fomentar la igualdad de género. o bien de inexistencia. A la fecha, existen tarea más compleja y desafiante sigue sien-
disparidades de género” (3). Ha quedado Se propone avanzar hacia la inclusión y numerosos informes de algoritmos cuyos do cómo prevenir, identificar y gestionar el
demostrado que si la IA y la automatiza- equidad de género, beneficiando a muje- resultados o recomendaciones discriminan sesgo “social”. Las posibles soluciones pue-
ción no se desarrollan e implementan con res, niñas, personas no binarias, trans y de a grupos en situación de vulnerabilidad den surgir de las propias tecnologías de IA,
perspectiva de género, es probable que re- género diverso, resaltando el enfoque de en campos en los que la IA ha mostrado pero más profundamente de los cambios
produzcan y refuercen los estereotipos de género como un pilar central de la Reco- resultados prometedores para grupos po- culturales que inevitablemente tendrán un
género, así como las normas sociales dis- mendación. blacionales específicos. Como ilustración impacto en la tecnología. Sin priorizar la
criminatorias existentes (4). Además, pue- extraída de la atención médica, existen diversidad, la equidad y la inclusión en los
de ser muy difícil identificar estos sesgos, II. Estereotipos y prejuicios de género en la modelos de predicción de enfermedades equipos involucrados en la capacitación y
por falta de transparencia y rendición de inteligencia artificial cardiovasculares, que afirman predecir los el despliegue de sistemas de IA, es difícil ir
cuentas en el desarrollo y despliegue de es- ataques cardíacos cinco años antes de que más allá de un enfoque en la optimización
tas tecnologías. Como resultado, es posible Dado que la IA ya está desempeñando un ocurran, modelos entrenados utilizando estadística.
que la sociedad no obtenga plenamente los papel crucial en distintos aspectos de nues- conjuntos de datos predominantemente
beneficios que ofrecen las tecnologías de IA tra vida cotidiana, con una influencia que masculinos (7). Dado que las enfermedades En este contexto, la ética de la IA puede
de manera equitativa. previsiblemente aumentará en el futuro, cardiovasculares tienen diferentes patrones y debe contribuir a fomentar el desarrollo
resulta importante observar con más deta- de expresión en los hombres frente a las y la implementación de estrategias de in-
Adoptada el 24 de noviembre de 2021 en lle cómo los sesgos en la IA pueden influir y mujeres, es poco probable que un algorit- clusión de género. Con esto, la Recomen-
la 41a Conferencia General de la UNESCO, exacerbar las desigualdades de género (5). mo entrenado principalmente con datos de dación de la UNESCO tiene como objetivo
la Recomendación sobre la ética de la IA (en hombres sea tan preciso en el diagnóstico establecer estándares globales que aborden
adelante, la Recomendación) establece un Los patrones, las predicciones y las ac- de las mujeres (8). Investigaciones anterio- estos desafíos, en particular pidiendo la re-
marco integral, basado en principios y valo- ciones recomendadas generadas por los res también han demostrado que, si bien el copilación de datos desglosados por género
Especial para La Ley. Derechos reservados (Ley 11.723) Education,” Educational Technology and Society 25, no. 1 in digital skills through education. UNESCO and EQUALS nosticos-medicos.html
(*) Este trabajo tiene como base el siguiente: LAMM, (2022): 28-47; MARINUCCI, M. - PANCANI, L. - AURELI, Skills Coalition. GEN/2019/EQUALS/1 REV. 2019. Dis- (9) United Nations. Report of the United Nations High
Eleonora, RAMOS, Gabriela, RONCHI, Elettra, SQUIC- N. - RIVA, P. “Online Social Connections as Surrogates ponible en: https://unesdoc.unesco.org/ark:/48223/ Commissioner for Human Rights: Promotion, protection
CIARINI, Mariagrazia, ”Los impactos de género de la IA: of Face-to-Face Interactions: A Longitudinal Study un- pf0000367416.page=1 and enjoyment of human rights on the Internet: ways to
políticas y salvaguardias para regular las nuevas tec- der COVID-19 Isolation,” Computers in Human Behavior (7) RAY, Partha Pratim, “ChatGPT: A comprehensive bridge the digital gender gap from a human rights pers-
nologías, mitigar los riesgos y proteger los derechos”, 128 (2022): 107102. review on background, applications, key challen- pective. A/HRC/35/; May 5, 2017.
presentado ante el grupo de trabajo preparatorio de (3) UNESCO. 2020. Artificial Intelligence Gender ges, bias, ethics, limitations and future scope, In- (10) SCHWARTZ, R. - VASSILEV, A. - GREENE, K.
CSW67. Equality. Key findings of UNESCO’s Global Dialogue. ternet of Things and Cyber-Physical Systems”, Vol. - PERINE, L. - BURT, A. - HALL, P. (2022), “Towards a
(1) RAMOS, G. (2022) “A.I.’s Impact on Jobs, Skills, (4) BUOLAMWINI, J. - GEBRU, T., “Gender Shades: 3, 2023, ps. 121-154,https://doi.org/10.1016/j.iot- Standard for Identifying and Managing Bias in Artificial
and the Future of Work: The UNESCO Perspective on Intersectional Accuracy Disparities in Commercial Gen- cps.2023.04.003. Intelligence”, Special Publication (NIST SP), National
Key Policy Issues and the Ethical Debate,” New England der Classification”, Proceedings of Machine Learning Re- (8) Otro ejemplo reciente es el de ChatGPT, que ante Institute of Standards and Technology, Gaithersburg,
Journal of Public Policy: Vol. 34: Iss. 1, Article 3. Disponi- search 81:1-15, 2018, Conference on Fairness, Accounta- los mismo síntomas, preside y “diagnostica” ansiedad MD, [online], https://doi.org/10.6028/NIST.SP.1270,
ble en: ht, tps://scholarworks.umb.edu/nejpp/vol34/ bility, and Transparency para una mujer, mientras que para un varón podría tra- https://tsapps.nist.gov/publication/get_pdf.cfm?pub_
iss1/3 (5) UNESCO. 2020. Artificial Intelligence Gender tarse de un posible infarto. Véase: https://elpais.com/ id=934464 (Accedido september 8, 2022)
(2) Ver, e.g., XIELING, C. - DI ZOU, H. X. - GARY, C. Equality. Key findings of UNESCO’s Global Dialogue. tecnologia/2024-02-01/como-evitar-que-la-inteligen-
– CIAXIA, L., “Two Decades of Artificial Intelligence in (6) UNESCO. I’d blush if I could: closing gender divides cia-artificial-falle-mas-con-las-mujeres-en-los-diag-
Viernes 8 de marzo de 2024 | 3
(Área de Política 3) y un mayor liderazgo de educativo y en situación de pobreza, así las carreras profesionales dentro de los clusión de más mujeres en la investigación
las mujeres en la toma de decisiones de la como residentes en zonas rurales y países campos de la ciencia de datos y la IA. Las y desarrollo de IA no es solo una cuestión
IA más allá de la participación, respaldada en desarrollo (15). Hoy en día, las mujeres y mujeres no solo tienen menos probabili- de equidad; es fundamental para fomentar
por el desarrollo de la capacidad (Área de las niñas tienen un 25 por ciento menos de dades de acceder a puestos de alto nivel y la creatividad, la diversidad de ideas y el
Política 8). probabilidades que los hombres de saber mejor remunerados, sino que también se desarrollo de soluciones tecnológicas que
cómo aprovechar la tecnología digital para enfrentan a una segregación de habilida- respondan de manera integral a las necesi-
La evidencia reciente basada en encues- fines básicos, y la probabilidad de saber des: mientras que tienden a especializar- dades de toda la sociedad.
tas sobre la juventud muestra que las mu- cómo programar computadoras es cuatro se más en la preparación y exploración de
jeres son, en general, menos conscientes veces menor (16). datos, los hombres dominan áreas como Las razones socioculturales desempeñan
de tecnologías como el big data, las tecno- el aprendizaje automático y big data, que un papel importante en la explicación de
logías en la nube, la tecnología financiera III.2. Habilidades son más valoradas y mejor remunera- esta división, que es cierta incluso en los
y el Internet de las Cosas, y que general- das (22). países con un mayor índice de igualdad
mente están menos informadas respecto La IA y las tecnologías digitales están de género (28). En la Unión Europea, por
a una serie de tecnologías clave que im- reconfigurando el mundo laboral, y gene- III.3. Investigación y desarrollo ejemplo, más de la mitad de los hombres
pulsan la próxima revolución industrial. rando problemáticas que se extienden más que obtienen títulos en tecnología de la
Los hombres y las mujeres difieren en allá del simple acceso a la tecnología, in- A pesar de los avances recientes, la parti- información (TI) terminan trabajando en
la medida en que son conscientes de las troduciéndose en la alfabetización digital cipación femenina en las actividades de pa- trabajos digitales, en comparación con una
nuevas tecnologías y en las posibles con- y la participación en los campos de STEM tentes sigue siendo notablemente baja. Este cuarta parte de las mujeres (29).
secuencias que la adopción generalizada (Ciencia, Tecnología, Ingeniería y Matemá- ritmo de progreso insuficiente sugiere que
de dichas tecnologías puede tener para su ticas) y en las TIC (Tecnologías de la Infor- no será hasta el año 2080 cuando las muje- Además de la segregación horizontal, las
futuro como trabajadorxs. Esto también mación y la Comunicación) (17). res alcancen la paridad en la participación mujeres también experimentan techos de
hace que las mujeres tengan expectativas de todos los inventos patentados dentro de cristal que resultan en la segregación ver-
menos positivas que los hombres sobre las La raíz de este desequilibrio se encuentra las cinco oficinas de propiedad intelectual tical de género. Las mujeres en los campos
nuevas tecnologías que les ayudan a hacer en la baja representación femenina en estu- más grandes del mundo (23). STEM y en el sector digital tienen menos
los trabajos que las mujeres no han hecho dios y ocupaciones relacionados con STEM probabilidades de ocupar puestos de alto
tradicionalmente (11). y TIC, una situación que no es casual, sino El Instituto de Inteligencia Artificial Cen- nivel. Según la UNESCO (2019), solo uno
el resultado de estereotipos de género arrai- trada en el Ser Humano (HAI) de la Univer- de cada cuatro puestos de liderazgo en las
III. La división digital de género en cifras gados y la escasez de modelos femeninos en sidad de Stanford aporta una perspectiva industrias tecnológicas (incluidos los pues-
estos sectores. Estos factores desalientan el adicional, indicando que las mujeres cons- tos no técnicos en marketing, gestión de re-
Abordar los estereotipos de género y los interés de las niñas en las disciplinas STEM tituyen menos del 19% de los graduados cursos humanos y similares) está ocupado
sesgos en la IA requiere una acción políti- desde temprana edad, exacerbados por una de doctorado en IA y ciencias de la compor una mujer.
ca coordinada, incluida la reducción de la menor confianza en sus propias habilida- putación en América del Norte durante la
brecha de género digital global existente. des en estos campos (18). Investigaciones última década (24). Esta cifra es un reflejo Estos datos manifiestan la desventaja en
Como informó la OCDE (2018), los obs- recientes demuestran que la proporción de la barrera sistémica que enfrentan las la que las mujeres se encuentran en la eco-
táculos para el acceso a tecnologías, la ase- de hombres graduados en TIC es un 400% mujeres en campos altamente técnicos y nomía digital y sugieren que las mujeres to-
quibilidad, la falta de educación, así como superior a la de mujeres, destacando una especializados. davía se enfrentan a barreras significativas,
los prejuicios inherentes y las normas so- marcada disparidad de género. incluidas las planteadas por las expectati-
cioculturales, aún reducen la capacidad de A nivel global, solo el 22% de los profesio- vas sociales y las normas culturales cuando
las mujeres y las niñas para beneficiarse de En América Latina y el Caribe, menos nales en IA son mujeres, lo cual contrasta se enfrentan a las transformaciones de lo
las oportunidades que ofrece la transfor- del 40% de los graduados en carreras aún más con el 13.83% de las mujeres auto- que se conoce como la Cuarta Revolución
mación digital (12). STEM son mujeres, con cifras aún más ba- ras en el campo de la IA y el 18% que ocu- Industrial (30).
jas en las TIC, donde en países como Bra- pan posiciones como oradores principales
III.1. Acceso sil y Chile, las mujeres representan solo el en conferencias de IA (25). Por otro lado, las mujeres están expuestas
15% y el 13% de los graduados, respecti- a mayor agresión en la red y las niñas tie-
El Fondo de las Naciones Unidas para la vamente. En otros países, la proporción El informe del Alan Turing Institute nen crecientes problemas de salud mental
Infancia (UNICEF) señaló que en 2023 cer- es mayor, pero en ningún caso superan el “¿Dónde están las mujeres?” destaca que debido a su interacción tóxica con las redes
ca del 90% de mujeres adolescentes y jóve- 50% (19). solo entre el 10-15% de los investigadores sociales.
nes entre 15 y 24 años que viven en países en aprendizaje automático en empresas lí-
de renta baja no tiene acceso a internet, Según la UNESCO, esta combinación de deres de tecnología son mujeres (26). Este IV. El camino a seguir: IA ética e inclusiva
en tanto que sus pares masculinos tienen factores contribuye a que los hombres ten- desequilibrio se extiende al mercado labo- por diseño
el doble de probabilidades de gozar de ese gan cuatro veces más probabilidades que ral, donde reclutadores de empresas tec-
acceso (13). las mujeres de poseer habilidades avan- nológicas en Silicon Valley reportan que el La Recomendación sobre la ética de IA
zadas en TIC, como la programación (20). grupo de solicitantes para puestos técnicos de la UNESCO tiene toda un área de polí-
En cuanto al acceso a teléfonos móviles, En el contexto actual, donde el 90 % de los en IA y ciencia de datos frecuentemente in- tica dedicada a la igualdad de género. Esta
las cifras muestran que la tenencia está en empleos demandan competencias digitales cluye menos del 1% de mujeres (27). sección pide a los Estados Miembros que
aumento. No obstante, persisten notables básicas (21), esta brecha no solo limita las garanticen que las tecnologías digitales y
brechas en el acceso a internet para las oportunidades laborales para las mujeres, Estas cifras no solo señalan una brecha la IA contribuyan al logro de la igualdad
mujeres en muchas regiones del planeta. A sino que también obstaculiza su capacidad de género en la participación, sino que de género. Se subraya la necesidad de que
nivel mundial, aproximadamente 327 mi- para participar plenamente en la economía también sugieren una pérdida de opor- los gobiernos garanticen que los derechos
llones más de hombres que mujeres tienen digital. tunidad para la innovación y el desarrollo humanos y las libertades fundamentales,
un teléfono inteligente y pueden acceder en la investigación de IA. La diversidad de y especialmente la seguridad y la integri-
a Internet desde un dispositivo móvil (14). Un estudio reciente (Young, Wajcman, perspectivas es crucial para el avance tec- dad de las niñas y las mujeres, no se violen
Esta disparidad es especialmente marcada & Sprejer, 2023) destaca la existencia de nológico, especialmente en un campo con en ninguna etapa del ciclo de vida del sis-
entre mujeres mayores, con menor nivel una desigualdad de género estructural en el potencial transformador de la IA. La in- tema de IA.
(11) Organisation for Economic Co-Operation and Development (OECD), (2017), The Pursuit of Gen- gap. In 2020 IEEE Global Engineering Education Confe- lity. A comparative analysis between the EU, Sweden and
Development (OECD) (2019), The role of education and der Equality: An Uphill Battle, OECD Publishing, Pa- rence (EDUCON), (27-30 April 2020, Porto, Portugal) Spain. Available at: https://tinyurl.com/2rzhtrpy
skills in bridging the digital gender divide. https://www. ris. http://dx.doi.org/10.1787/9789264281318-en. (pp. 1824-1830). IEEE. (26) YOUNG, E. - WAJCMAN, J. - SPREJER, L., “Whe-
oecd.org/sti/education-and-skills-in-bridging-the-di- SQUICCIARINI, M. - NACHTIGALL, H., “Demand for (19) CEPAL (Comisión Económica para América Lati- re Are the Women? Mapping the Gender Job Gap in AI.
gital-gender-divide-evidence-from-apec.pdf AI Skills in Jobs: Evidence from Online Job Postings,” na y el Caribe), Panorama Social de América Latina y el Policy Briefing: Full Report,” Alan Turing Institute, 2021.
(12) Organisation for Economic Co-Operation and OECD Science, Technology and Industry Working Papers, Caribe, 2022d (LC/PUB.2022/15-P), Santiago. (27) Ver https://en.unesco.org/news/gender-bia-
Development (OECD) (2018), Bridging the Digital Gen- no. 2021/03, 2021, doi.org/10.1787/3ed32d94-en; SA- (20) European Commission. “ICT for Work: Digital ses-ai-and-emerging-technologies
der Divide-bridging-the-digital-gender-divide.pdf MEK, L. - SQUICCIARINI, M. - CAMMERAAT, E., “The skills in the workplace”, 2017. (28) UNESCO. 2019. I’d blush if I could: closing gen-
(oecd.org) Human Capital behind AI: Jobs and Skills Demand (21) European Commission. “ICT for Work: Digital der divides in digital skills through education. UNESCO
(13) Naciones Unidas (Noticias ONU), (2023), Des- from Online Job Postings,” Organisation for Economic skills in the workplace”, 2017. and EQUALS Skills Coalition. GEN/2019/EQUALS/1
igualdad de género digital: el 90% de las jóvenes en los Co-Operation and Development (OECD), Science, Te- (22) YOUNG - WAJCMAN - SPREJER, (2023). “Mind REV Disponible en: https://unesdoc.unesco.org/
países de renta baja carece de acceso a internet. https:// chnology and Industry Policy Papers, no. 120, 2021, doi. the gender gap: Inequalities in the emergent profes- ark:/48223/pf0000367416.page=1
news.un.org/es/story/2023/04/1520452 org/10.1787/2e278150-en. sions of artificial intelligence (AI) and data science”. (29) Ibídem.
(14) Organisation for Economic Co-Operation and (18) Organisation for Economic Co-Operation New Technology, Work and Employment. https://doi. (30) BUSTELO, M. - SUAYA, A. - VIOLL AZ, M.
Development (OECD), (2018), Bridging the Digital Gen- and Development (OECD), (2015), The ABC of Gen- org/10.1111/ntwe.12278 (2019). “The Future of Work in Latin America and the
der Divide: Include, Upskill, Innovate p. 13. der Equality in Education: Aptitude, Behaviour, Con- (23) Organisation for Economic Co-Operation and Caribbean: What Will the Labor Market Look Like for
(15) World Wide Web Foundation (2020). Women’s fidence, PISA, OECD Publishing, Paris, https://doi. Development (OECD), (2018), Bridging the Digital Gen- Women?”, Inter-American Development Bank. Dis-
Rights Online: Closing the digital gender gap for a more org/10.1787/9789264229945-en.; UNICEF. (2020). der Divide: Include, Upskill, Innovate, p. 13. ponible en: https://publications.iadb.org/es/el-fu-
equal world. Web Foundation. Disponible en: http://we- Mapping gender equality in STEM from school to work (24) ZHANG, D. - MISHRA, S. - BRYNJOLFSSON, E. - turo-del-trabajo-en-america-latina-y-el-caribe-co-
bfoundation.org/docs/2020/10/Womens-Rights-On- | UNICEF Office of Global Insight & Policy. https:// ETCHEMENDY, J. - GANGULI, D. - GROSZ, B. - LYONS, mo-sera-el-mercado-laboral-para-las-mujeres-0.
line-Report-1.pdf www.unicef.org/globalinsight/stories/mapping-gen- T. - MANYIKA, J. - NIEBLES, J.C. - SELLITTO, M. - SHO- BUSTELO, M. - FLABBI, L. - VIOLLAZ, M. (2019). “The
(16) UNESCO. 2019. I’d blush if I could: closing gender der-equality-stem-school-work; GARCI´A-HOLGADO, HAM, Y. - CLARK, J. - PERRAULT, R., “The AI Index 2021 Gender Labor Market Gap in the Digital Economy”.
divides in digital skills through education. UNESCO and A., MENA, J. - GARCÍA-PEÑALVO, F. J. - PASCUAL, Annual Report,” AI Index Steering Committee, Hu- Inter-American Development Bank. Disponible en:
EQUALS Skills Coalition. GEN/2019/EQUALS/1 REV. J. - HEIKKINEN, M. - HARMOINEN, S. - GARCÍA-RA- man-Centered AI Institute, Stanford University, Stan- https://publications.iadb.org/en/gender-labor-mar-
Available at: https://unesdoc.unesco.org/ark:/48223/ MOS, L., PEÑABAENA-NIEBLES, R., & AMORES, L. ford, CA, March 2021. ket-gap-digital-economyEIU (2019) “The Inclusive
pf0000367416.page=1 (2020). Gender equality in STEM programs: a proposal (25) ORTIZ DE ZARATE ALCARAZO, L. - GUEVARA Internet Index 2019: Executive summary”. The Econo-
(17) Organisation for Economic Co-Operation and to analyse the situation of a university about the gender GOMEZ, A. 2021. Artificial intelligence and gender equa- mist Intelligence Unit.
La Recomendación establece que la IA y presentación, especialmente en puestos mico, la representación de género en los V. Conclusiones
la automatización deben diseñarse para su- de alta dirección, juntas directivas o equi- altos puestos de gestión de las empresas
perar la discriminación de género y las nor- pos de investigación en el campo de la IA; digitales y de IA, los consejos de adminis- Como se pudo observar, la falta de una pers-
mas sociales patriarcales. En otras palabras, y para reducir la brecha educativa, la bre- tración y los equipos de investigación. Los pectiva de género en la IA corre el riesgo de
estas tecnologías deben utilizarse para res- cha en el acceso digital y de IA, la adop- Estados Miembros deben garantizar que agravar las desigualdades existentes en la so-
ponder a los desafíos a los que se enfrentan ción, el uso y la asequibilidad, y la distri- los fondos públicos (para la innovación, ciedad y crear otras nuevas. Dada la omnipre-
las mujeres, como el trabajo de cuidado no bución desigual del trabajo no remune- la investigación y las tecnologías) se cana- sencia de esta tecnología de propósito gene-
remunerado, la brecha salarial de género, rado y las responsabilidades de cuidado. licen a programas y empresas inclusivas, ral, si no actuamos ahora, tratar de solucionar
el acoso cibernético, la violencia de género Estas prescripciones no solo tienen como con una clara representación de género, los problemas expuestos puede volverse sim-
y el acoso sexual, la trata y la subrepresen- objetivo garantizar que las tecnologías de y que los fondos privados se fomenten de plemente imposible, dada la velocidad, la es-
tación en puestos de liderazgo. Del mismo IA no creen nuevas divisiones, sino que las manera similar a través de los principios cala y el alcance de la transformación digital.
modo, se debe aprovechar el poder de la IA oportunidades que ofrece la IA se aprove- de acción afirmativa.
y la automatización para mejorar el acceso chen para ayudar a abordar las brechas y En ausencia de acción política, es proba-
de las mujeres a la financiación, la educa- brechas existentes. La UNESCO reconoce que los Estados ble que el desarrollo, el despliegue y el uso
ción superior y las oportunidades de traba- Miembros estarán en diferentes etapas de de la IA en cualquier esfera de las econo-
jo flexible. Asimismo, pide a los Estados Miembros preparación para implementar la Recomen- mías y sociedades afecten a diferentes gru-
que aseguren de que los estereotipos de dación desde los puntos de vista científicos, pos de manera desigual. Es probable que
Estableciendo estos principios genera- género y los sesgos discriminatorios no se tecnológicos, económicos, educativos, le- se observe un impacto más sustancial en
les, la Recomendación de la UNESCO pro- traduzcan en los sistemas de IA y que “esta- gales, reglamentarios, de infraestructura, relación con los grupos en riesgo de exclu-
fundiza y pide a los Estados Miembros que blezcan mecanismos para luchar contra los sociales y culturales, entre otros, por lo tan- sión, como las mujeres, las niñas, las per-
actúen, poniendo en marcha acciones po- estereotipos de género” dentro de la comu- to, para permitir su implementación efecti- sonas no binarias, trans y las personas con
sitivas destinadas a garantizar la plena in- nidad de investigación de IA. Las políticas y va, la UNESCO: diversidad de género, exacerbando así las
clusión de las niñas y las mujeres en la IA, programas que están “eliminando el géne- desigualdades de género, interregionales,
en todas las esferas de la vida, incluida la ro” de la tecnología y ayudando a las muje- 1- está implementando una metodología generacionales y de ingresos existentes.
educación y el empleo. res y las niñas a desarrollar sus habilidades de evaluación de la preparación para ayu-
digitales y ganar confianza en entornos de dar a los Estados Miembros a identificar Los sistemas de IA no son objetivos ni neu-
La Recomendación alienta a los Estados aprendizaje sensibles al género deben am- su situación en puntos específicos de su trales en cuanto al género, son “opiniones in-
Miembros a tener fondos dedicados de sus pliarse y replicarse. trayectoria de preparación a lo largo de un crustadas en el código”. Los productos y servi-
presupuestos públicos vinculados a la fi- continuo de dimensiones; y cios de IA que carecen de una perspectiva de
nanciación de planes sensibles al género. Uno de los principios más importantes género podrían incluso terminar amenazando
En especial, pide garantizar que las políti- contenidos en este instrumento normativo 2- está implementando una metodología el bienestar físico y mental de las mujeres. Al-
cas digitales nacionales incluyan un plan y que tiene como misión garantizar su efi- aceptada a nivel mundial para la Evalua- gunos ejemplos son los sistemas de IA que apo-
de acción de género y desarrollar políticas cacia es la reparación. La Recomendación ción del Impacto Ético (EIA) de las tecnolo- yan los diagnósticos de salud y las herramien-
relevantes, por ejemplo, sobre educación establece que los Estados Miembros deben gías de IA y en el intercambio de las mejores tas predictivas basadas en datos de salud que
laboral, dirigidas a apoyar a las niñas y mu- identificar y corregir de forma proactiva prácticas, directrices de evaluación y otros no representan el género de manera adecuada.
jeres para asegurarse de que no se queden cualquier problema causado por las tecno- mecanismos y trabajo analítico.
fuera de la economía digital impulsada por logías y sistemas de IA, garantizando que Las transformaciones sociales y de mer-
la IA. También solicita una inversión espe- este sea el caso de todas las partes intere- Ambas metodologías se están llevando a cado desencadenadas por la IA plantean
cial en el suministro de programas específi- sadas involucradas, incluido el sector pri- cabo con una perspectiva de género. cuestiones éticas fundamentales de la justi-
cos y un lenguaje específico de género, para vado. Para los problemas relacionados con cia social y económica que deben abordarse
aumentar las oportunidades de participa- el género causados por la IA, la Recomenda- Además, para luchar contra los este- adecuadamente. Si bien las habilidades y la
ción de las niñas y las mujeres en la ciencia, ción pide a los Estados Miembros que evi- reotipos de género y la discriminación, la educación se encuentran entre los deter-
la tecnología, la ingeniería y las matemáti- ten “el efecto negativo compuesto de las di- UNESCO lanzó la Plataforma Women4Ethi- minantes más críticos, se debe racionalizar
cas (STEM), incluidas las disciplinas de las visiones tecnológicas en el logro de la igual- calAI (31), formada por mujeres profesiona- una estrategia sostenible y efectiva contra la
tecnologías de la información y la comunidad de género y evitar la violencia como el les y expertas que promueven la agenda de discriminación de género y se deben tomar
cación (TIC), la preparación, la empleabi- acoso, o la trata de niñas y mujeres y otros diversidad de género a nivel institucional. medidas para abordar los impactos transver-
lidad, el desarrollo profesional igualitario grupos subrepresentados, incluso en el do- La plataforma adicionalmente ayuda a paí- sales de la IA en todos los sectores de la eco-
y el crecimiento profesional de las niñas y minio en línea”. Además, implora políticas ses de todo el mundo a establecer marcos nomía y en todas las partes de la sociedad.
las mujeres, deben ser consideradas e im- que garanticen entornos libres de acoso y específicos para promover políticas res-
plementadas. acciones concretas destinadas a promover ponsables de desarrollo e implementación Con ese fin, la Recomendación sobre la
la diversidad a lo largo del ciclo de vida del de la IA. Aplica su perspectiva de género ética de la IA de la UNESCO proporciona
La Recomendación hace hincapié ade- sistema de IA. para abordar cuestiones como el medio principios fundamentales para los Estados
más en la necesidad de que los Estados ambiente o más generales de discrimina- Miembros y demás actores del ecosistema
Miembros se aseguren de que la IA no Por último, la Recomendación establece ción, con el objetivo de garantizar solucio- de la IA, así como estándares para un en-
exacerbe las brechas de género ya existen- la necesidad de que los Estados Miem- nes de amplio alcance e impacto. Enfrentar foque de la IA sensible al género. Establece
tes (y amplias). También demanda que se bros fomenten el espíritu empresarial, la estos desafíos requiere la colaboración de una hoja de ruta de acciones concretas en
pongan en marcha políticas para reducir participación y el compromiso femenino múltiples partes interesadas y el empode- todo el sistema destinadas a gestionar los
la brecha salarial de género y la repre- en todas las etapas del ciclo de vida de un ramiento liderado por las mujeres, que es impactos éticos de la IA y garantizar que los
sentación desigual en ciertas profesiones sistema de IA ofreciendo y promovien- el objetivo principal de W4EAI. El trabajo desarrollos de la IA no dejen a nadie atrás,
y actividades; para abordar la falta de re- do incentivos económicos y regulatorios, de la plataforma fortalecerá la capacidad de sino que ayuden a dar forma a un mundo
entre otros esquemas de apoyo, así como los Estados Miembros de la UNESCO para más inclusivo, igualitario y justo.
políticas que tengan como objetivo una promover sistemas de IA confiables y equi-
(31) https://www.unesco.org/es/artificial-intelligen- participación equilibrada de género en la librados en términos de género basados en
Cita on line: TR LALEY AR/DOC/456/2024
ce/women4ethical-ai investigación de la IA en el mundo acadé- la Recomendación.
8M: Conmemoración de una conquista universal

Raquel S. Mass
Abogada especializada en asesoramiento corporativo (UNR). Posgrado en Asesoramiento Empresarial (Univ. Austral). Especialista en Riesgo y Compliance. Diplomada (UCEMA)
Data Governance y RGPD. Ganadora del premio Westin Scholar de la IAPP. Certificación LGPD. Miembro fundadora de “ALTA” (Asociación de Impulsores de Legaltech Argentina).
Coordinadora de la Comisión Difusión y Contenidos Legales y Legislativos. Candidata Master in Business & Technology (Univ. de San Andrés). Actualmente se desempeña como
Compliance Officer en H&CO Global Advisors.
SUMARIO: I. Pioneras digitales. Liderazgo femenino transformando el campo Legaltech.— II. Innovación con perspectiva de género. Desafíos y nuevas oportunidades.— III. La
trayectoria de las mujeres en el mundo del Legaltech. Casos de éxito.— IV. Reflexiones finales.— V. Bibliografía.
El 8 de marzo, Día Internacional de la adquiridos y promoviendo la reflexión York, Estados Unidos, tras haberse declara- EE.UU. en protesta por las consecuencias
Mujer, conmemora la lucha por la igual- sobre la importancia de su ampliación y do en huelga exigiendo condiciones labo- de la tragedia y la igualdad de género.
dad de género, celebrando los derechos efectividad. Esta fecha tiene su origen en rales más justas. Este incidente, provocado
un suceso trágico ocurrido el 8 de marzo por el dueño de la fábrica que bloqueó las La lucha desencadenada por este episo-
de 1908, cuando 129 mujeres murieron en salidas para forzarlas a desistir, desencade- dio trascendió las fronteras y el Día de la
Especial para La Ley. Derechos reservados (Ley 11.723) un incendio en la fábrica Cotton de Nueva nó movilizaciones en varios Estados de los Mujer se celebra en todo el mundo simbo-
lizando un llamado universal por los dere- impacto en las sociedades y culturas en la igualdad de género en todos los ámbitos, viendo cambios disruptivos en la industria
chos de las mujeres. todo el mundo, lo cual nos habilita para en- así como el diseño de campañas de con- legal.
frentar nuevos desafíos y superar barreras cientización sobre la problemática y el in-
Sucesos como este sirven de inspira- y prejuicios. Especialmente en el campo centivo mediante programas de igualdad y Aquí he destacado no solo los desafíos
ción para mujeres en todo el mundo, Legaltech donde hemos sido —y seguire- no discriminación. que enfrentamos las mujeres en el sector
otorgándoles el valor y la determinación mos siendo— capaces de romper el molde legal, sino también los logros y el impacto
necesarios para perseverar en la lucha de las tradiciones obsoletas y de marcar el III. La trayectoria de las mujeres en el transformador de los mismos. El liderazgo
por la igualdad de derechos y género en camino hacia la innovación en la industria mundo del Legaltech. Casos de éxito femenino no solo es esencial para el futuro
todas las esferas de la vida. Estas historias legal y judicial. de Legaltech, sino también para construir
no solo mantienen vivo el recuerdo de las La historia muestra cómo las mujeres he- un sector legal y de Justicia más inclusivo
adversidades enfrentadas en el pasado, II. Innovación con perspectiva de género. mos logrado conquistas y triunfos a pesar y equitativo.
sino que también reavivan el compromi- Desafíos y nuevas oportunidades de todas las barreras y obstáculos que se
so y la solidaridad para seguir avanzando nos han presentado. Grandes mujeres en la IV. Reflexiones finales
hacia una sociedad más justa y equitativa. La brecha de género es un problema de historia de la humanidad han abierto el ca-
carácter estructural que afecta a todos los mino para que otras mujeres en el mundo A modo de conclusión, podemos recor-
I. Pioneras digitales. Liderazgo femenino sectores profesionales y ámbitos sociales podamos hoy gozar de los derechos y liber- dar el papel crucial que tuvieron las muje-
transformando el campo Legaltech y, sobre todo, aquellos más tradicionales y tades que han obtenido. res a lo largo de la historia. Desde la época
conservadores, como lo es el sector legal. prehistórica, utilizando herramientas de
En una profesión tradicionalmente mas- Se refleja en las diferencias de oportuni- Sin dudas, son una gran inspiración para piedra para procesar alimentos y confec-
culina está surgiendo una nueva genera- dades entre hombres y mujeres para po- quienes continuamos buscando derribar cionar vestimentas, pasando por la Revo-
ción de mujeres lideres que logran derribar der acceder a posiciones de liderazgo, así desigualdades que persisten y los límites lución industrial, en la que constituyeron
mitos y prejuicios en la intersección de la como también en las diferencias en el ac- que aún las sociedades nos imponen en to- gran parte de la fuerza laboral en las fábri-
tecnología y el derecho. Lo que estamos ex- ceso a recursos económicos, sociales, labo- dos los ámbitos. cas textiles tejiendo e hilando. Luego, en el
perimentando es una verdadera transfor- rales, políticos, etc. área de computación y programación, Ada
mación que va más allá de lo tecnológico o En la profesión legal y particularmente en Lovelace, matemática y escritora británica
de lo digital; es una transformación cultu- Si bien la brecha de género respecto a la el ámbito Legaltech existen claros ejemplos nacida en 1815, es considerada como la
ral y más precisamente una transformación participación de la mujer en el sector le- de éxitos femeninos. Podemos mencionar primera mujer programadora del mundo
personal de cada una de las mujeres prota- gal se ha ido reduciendo poco a poco, no el caso de Legalify fundado por dos mu- por su colaboración en el motor analítico
gonistas de este cambio. ocurre lo mismo en relación con su pre- jeres emprendedoras argentinas, Silvana de Charles Babbage en el s. XIX. Fue la pri-
sencia de mujeres en las áreas directivas, Stochetti y Karina Rasic: se trata de una pla- mera en reconocer que la máquina tenía
Podemos ver cómo las mujeres se abren en donde su representación es escasa. Por taforma global de servicios profesionales aplicaciones más allá del cálculo puro y
camino en dos campos de fuerte predo- otro lado, en el sector tecnológico existe especializados y calificados por los usua- en haber publicado lo que se reconoce hoy
minancia masculina, el ámbito legal y el el mismo problema, esto es, una presen- rios que vincula al profesional legal con su como el primer algoritmo destinado a ser
tecnológico. Es sin dudas un gran desafío, cia ínfima de mujeres ocupando puestos cliente; Karol Valencia, CEO de WOW Legal procesado por una máquina. Durante la
pero aún en esta etapa inicial del campo directivos y de representación. En el sec- Experience, brindando servicios legales in- Segunda Guerra Mundial, gracias a las co-
Legaltech nos encontramos con visibles tor Legaltech, al tratarse de un sector que novadores con foco en el cliente; la start-up nocidas “ENIAC (Electronic Numerical In-
logros de muchas mujeres que han sabido une ambas vertientes, observamos que chilena Theodora AI, una IA revolucionaria tegrator and Computer) girls” o las “chicas
innovar y ser exitosas en distintos proyec- ocurre la misma problemática, por tanto, que identifica y mitiga sesgos algorítmicos, ENIAC”, seis mujeres de distintas ciudades
tos e iniciativas. también existe de una predominancia del fundada por la abogada María José Marta- de los EE.UU. que lograron crear la primera
género masculino liderando dicho sector bit; Allegory Law, una herramienta tecno- computadora completamente programa-
Las mujeres no solo estamos participan- (Vecchio, 2020). lógica para la gestión de casos legales fun- ble, las mujeres comenzaron a ser recono-
do, sino liderando la revolución Legaltech, dada por Alma Asay; otras herramientas cidas en la ciencia y en la ingeniería. Si bien
impulsando cambios significativos en la Según un estudio reciente de la American para el acceso a la justicia como Lawyerly, en la actualidad el campo de la tecnología
industria. Estamos superando desafíos en Bar Association (ABA)— la profesión legal una startup LegalTech fundada por Jackie es de predominio masculino, vale recordar
sectores dominados históricamente por enfrenta un problema de género. Aunque el Nagtegaal, abogada sudafricana, quien no que en el pasado fueron las mujeres las pri-
hombres, demostrando la capacidad de in- 53% de los estudiantes de derecho y el 47% solo ha avanzado en el acceso a la justicia, meras creadoras de herramientas disrupti-
novar y liderar con éxito. de los asociados de bufetes son mujeres, sino que además promueve la inclusión de vas y con alto impacto para la época.
solo el 22% son socias con participación en mujeres y jóvenes.
Podemos ubicar el origen de lo que se propiedad; el 12% socias gerentes; el 28% Las mujeres hemos sido capaces de ha-
conoce como campo Legaltech en el año miembros de comités de gobierno; y el 27% Desde el año 2020 la Asociación Interna- cer brillar la piedra en diamante gracias
1979 en Nueva York, EE.UU., cuando Le- líderes de grupos de práctica. Las mujeres cional de Tecnología Legal (ILTA por sus si- a habilidades como la sensibilidad, la in-
xisNexis creo “UBIQ”, el primer terminal no solo tienen dificultades para acceder a glas en inglés) reconoce a las mujeres más tuición, la pasión, la fortaleza y los cono-
tecnológico de la historia que conecta- posiciones de liderazgo en el derecho, sino influyentes en el sector de la tecnología cimientos en distintos campos, dejando
ba distintas bases de datos jurídicas sin que también encuentran sus experiencias legal, destacando líderes notables por su huellas en todo el camino recorrido. Pre-
moverse del lugar, permitiendo que los laborales mucho menos satisfactorias que mentoría e impacto en este campo. Entre cisamente, el origen del vocablo “diaman-
clientes tuvieran acceso ininterrumpido sus homólogos masculinos. Según una las premiadas en la última entrega, realiza- te” nos recuerda a cualidades que nos de-
a sus servicios. Sin embargo, con el paso encuesta de la ABA y ALM, el 67% de las da en el 2023, se encuentran Andrea Mar- finen como mujeres, ya que proviene del
del tiempo se dio al término Legaltech va- abogadas reporta falta de acceso a opor- kstrom, CEO de Schulte Roth & Zabel LLP; griego clásico “Adamas” o “Adamantis” y
riadas acepciones ampliando el concepto tunidades de desarrollo de negocio (com- Cat Casey, Chief Growth Officer en Reveal; significa “inalterable”, “irrompible”, “indo-
y aplicaciones. La pandemia ocasionada parado con solo el 10% de los hombres); el Catherine Goodman, Practice Innovation mable”.
por el COVID-19 aceleró, sin dudas, el pro- 53% ha sido negado o pasado por alto para & Knowledge Counsel en Paul Hastings;
ceso de evolución del campo Legaltech, ascensos o promociones (comparado con Debbie Foster, CEO de Affinity Consulting; Existen múltiples ejemplos en la historia
permitiendo que múltiples herramientas solo el 7% de los hombres); y el 40% reporta Gina Buser, CEO de Travelling Coaches; como en la actualidad de la capacidad de
y soluciones tecnológicas sean aplicadas falta de acceso a patrocinadores (compara- y otras profesionales destacadas que han las mujeres para innovar y transformar los
a distintos procesos legales y judiciales en do con solo el 3% de los hombres) (Harris, contribuido significativamente al avance obstáculos en oportunidades enriquecien-
todo el mundo. Esto indudablemente favo- 2023). de la Legaltech (ILTA, 2023). do, a la vez, el proceso de transformación.
reció la innovación en los servicios legales Su contribución ha excedido siempre las
y jurídicos, permitiendo mayor eficiencia y La tecnología puede aportar diversas he- Mujeres abogadas de Latinoamérica in- expectativas tradicionales de las diferentes
productividad, optimización de recursos, rramientas para reducir la brecha género. fluyentes en el sector Legaltech, podemos culturas y modelos sociales, redefiniendo
personalización de los servicios y mejor Por ejemplo en el ámbito laboral, pode- mencionar a Ana Paula Rumualdo, Head of así la perspectiva de nuestro potencial.
acceso a la Justicia. Ha permitido, por un mos mencionar a Genomawork, aplicación the Digital Technologies Practice en Hogan
lado, la commoditización de algunos pro- desarrollada en Chile, que se centra en el Lovells México; Camila Mingo, Supervisora V. Bibliografía
ductos finales permitiendo una reducción uso de la inteligencia artificial para deter- Knowledge Management de Garrigues en
considerable de costos y, por otro lado, la minar sin sesgos las habilidades para un Latinoamérica; María Alejandra Quintana, - VECCHIO, Estefanía Asensio, “Women
customización de otros servicios que re- determinado puesto de trabajo; o Tilr, que Directora del Área de Dispute Resolution in LegalTech. Análisis de la brecha de géne-
quieren mayor grado de personalización, es un aplicación para definir el puesto de & Ai Legal Tech en Caro & Asociados de ro en Legaltech”. Planeta. Año 2020.
logrando en efecto una experiencia del trabajo sin atender al sexo del candida- Perú; Milagros Olivos abogada y profeso-
cliente superadora. No obstante, el verda- to; o la herramienta Centinela Igualdad, ra de la Universidad del Pacífico en Perú; - HARRIS, Andrea Sue Kramer, ALTON
dero cambio requiere una reconsideración desarrollada en España por la compañía Isabel Torres, Senior Associate de Baker B., “Getting Beyond Bias in the Legal Pro-
de la forma en que se conciben los servi- Lefebvre, destinada a elaborar planes de Mckenzie Colombia. Estas profesionales fession”. American Bar Association. New
cios legales, un cambio en el mindset del igualdad y la gestión de sus diferentes fases están demostrando que la tecnología y la York, EE.UU. Año 2023.
profesional y en la cultura organizacional, (diagnóstico, implementación de medidas, innovación en el sector legal no tienen dis-
con una mirada en el cliente final, median- seguimiento y control de las medidas apli- tinción de género, contribuyendo significa- - International Legal Technology Asso-
te un abordaje holístico y comprensivo de cadas). tivamente al avance de la Legaltech en la ciation. https://www.iltanet.org/get-invol-
su contexto. región (Lemontech blog, 2023). ved/ilta-influential-women-in-legaltech.
La contribución de las mujeres en el Año 2023
Las mujeres hemos logrado resultados ámbito legal es crucial para continuar dis- La presencia y contribución de las muje-
únicos en este cambio de paradigma, lo- minuyendo la brecha de género, así como res en el campo de la Legaltech es un reflejo - Lemontech blog. https://blog.lemon-
grando combinar eficientemente habili- también para inspirar a otras mujeres a de- de cómo la diversidad impulsa la innova- tech.com/mujeres-en-la-industria-legal/.
dades de interacción personal con herra- sarrollarse individualmente y a lograr sus ción y el progreso. A pesar de los obstácu- Marzo de 2023.
mientas tecnológicas, con el fin de brindar objetivos de carrera. Para esto, es funda- los y la desigualdad de género que persis-
un servicio legal más humano y empático. mental el rol del Estado, que debe imple- ten, las mujeres estamos forjando caminos
En tal sentido, poseemos un gran poder de mentar políticas públicas que promueven significativos, liderando startups, y promo-
¿Democracia digital inclusiva

o algoritmocracia sesgada?
Malena Errico
Abogada Especialista en Regulación Económica de Servicios Públicos. Diplomada en DD.HH. y Políticas Públicas de Desarrollo Sostenible. Funcionaria Cámara Federal de Casación
Penal. Profesora (USAL). Presidenta Asociación Ítalo-argentina Circolo Giuridico di Argentina. Membro dil Consiglio Generale e Coordinatrice per Latinoamérica, Dipartimento Pari
Opportunitá della Confederazione degli Italiani nel Mondo (C.I.M.). Socia AMJA (Asociación de Mujeres Juezas de la Argentina) componente de la International Association of Women
Judges (IAWJ).
SUMARIO: I. Declaración Universal de Derechos Humanos en la era digital.— II. Subjetividades políticas y buenas prácticas inclusivas en IA.— III. La IA Act de la Unión Europea de
diciembre 2023.— IV. El kit de herramientas de evaluación de impacto de género.— V. Conclusiones y sugerencias.
I. Declaración Universal de Derechos Hu- la preservación del patrimonio cultural, la esta “modernidad con IA” es sinónimo de silencioso cambio de paradigma, sin ca-
manos en la era digital paz, la multicultural y la autodetermina- progreso o se convertirá a futuro en una pacidad de reacción, ni ocio saludable, ni
ción de los pueblos, entre otros. amenaza para la humanidad. descanso físico, ni reflexión mental.
La dinámica social en torno a la tecno-
logía nos lleva a reflexionar sobre la ade- Observamos hasta aquí, entonces, cómo II. Subjetividades políticas y buenas prác- Toda la semana, las 24h de cada día, in-
cuación de las mentalidades y las nuevas el concepto universal de los derechos ticas inclusivas en IA teractuamos con dispositivos tecnológicos,
habilidades de quienes nos desarrollamos humanos, del ‘48 a esta parte, se va am- vivimos conectados; y la temporalidad se
en la comunidad digital. pliando progresivamente hasta adquirir En este contexto, la posible alta (o total) ajusta a la inmediatez e instantaneidad.
nuevos significados, concluyendo de tal dependencia a los sistemas de IA, en espe- Cada vez más nos alejamos de las relacio-
La transición tecnológica que estamos suerte sobre la necesidad de adecuación cial la IA generativa —ponemos en consi- nes interpersonales prefiriendo las virtua-
atravesando necesariamente obliga a in- en esta era de —“incubación”— de las deración el uso de “ChatGPT: “Generative les y “haraganeamos” en nuestras habilida-
corporar al conjunto integral de todas las innovativas formas de interrelación hu- Pre-trained Transformer”, desarrollado por des cognitivas para analizar, evaluar y has-
personas que interactuamos en él, para mana con la tecnología y la interacción OpenAI—, una red neuronal artificial con ta cuestionar nuestras propias creencias y
“No dejar a nadie atrás” (1). en un mundo, no solo físico sino virtual aprendizaje automático, entrenada para percepciones.
(ciberespacio). procesar cientos de datos sin control; o
Esa capacidad de adaptación que forjará bien los riesgos de manipulación de imá- Retwiteamos, likeamos, bloqueamos, tag-
a los próximos líderes y lideresas como a Resulta necesario, entonces, retomar y/o genes para crear otras falsas (deepfakes), gueamos, stalkeamos, y más. La vida social
futuros agentes de cambio debe abordar no continuar aquellos procesos jurídico-polí- violación de privacidad y demás fines ma- se ha convertido en fugaz e inestable, al
solo las herramientas de innovación, sino ticos y las buenas prácticas en las políticas lintencionados, como espionaje, manipu- punto del “burn out” (5), engranaje clave
además el análisis subyacente, subjetivo, públicas globales, que comenzaron hace lación de la opinión pública y cibercrimen, para continuar en esta dirección.
ético y la evolución histórica-política, para más 76 años, con la declaración y recono- en combinación con el déficit de regula-
la mejor gobernanza y el reconocimiento cimiento de la dignidad intrínseca y los ción, transparencia y responsabilidad, po- El impacto es de tal magnitud que ya sa-
de principios y garantías en la nueva cla- derechos iguales e inalienables de todos drían ser muy lesivos, perpetuar y amplifi- bemos cómo en ambientes laborales se re-
sificación jurídica de derechos humanos, los miembros de la familia humana; para car sesgos y prejuicios existentes en todos guló el “derecho a la desconexión” (6); no
promotores del desarrollo económico, la que de esta manera podamos actualizar, esos datos y, al ser el uso de la IA generali- obstante, luego del trabajo, seguimos nues-
mejora en la calidad de vida, acceso a la reforzar, proclamar y acoger los nuevos de- zada en la comunidad, todos los resultados tra vida social de manera virtual.
educación, a la sociedad de la información, rechos en función de los acontecimientos arrojados en sus procesos podrían llevar a
protección del medio ambiente y para que sociales presentes (3). una inercia para “instalar, plantar o cimen- Por consiguiente, se va produciendo un
de ese modo este escenario, sea interpreta- tar” una cultura y/o paradigma, con una proceso de subjetivación política (7) con
do como sinónimo de progreso social, pa- En la actualidad, los espacios de datos fuerza basal contundente, por su veloz ca- una formación discursiva y práctica hacia
cifico e inclusivo. y las herramientas basadas en tecnologías pacidad transformadora, de modo tal que una verdadera “naturalización digital”, que
avanzadas, especialmente las inteligen- actuemos, nos eduquemos y trabajemos va transformando y erigiendo una nueva
Recordemos cómo en 1948 (2) fueron cias artificiales, adquieren un gran prota- asentados en sus modelos, y moldeando realidad individual y colectiva.
reconocidos de manera universal estos gonismo; y si bien encontramos ventajas nuestros comportamientos sociales, a su
derechos, junto con los Pactos Internacio- y beneficios inequívocos en la IA, que po- merced. Ergo, este nuevo escenario plantea en
nales de 1966 (Derechos Civiles Políticos, tencian el crecimiento económico y pro- principio; visibilizarlo, y luego numerosos
Derechos Económicos, Sociales y Cultura- ductivo, tal como una mayor eficiencia y A la luz de esta circunstancia, es incues- desafíos y múltiples abordajes metodoló-
les), limitando en aquel entonces el poder rapidez en tareas complejas, capacidad de tionable que esta época post-industrial y gicos, orientados no solo al análisis de la
del Estado frente a los individuos, estable- procesamiento de datos, automatización de plena “revolución digital” será la base herramienta, sino a la observación sobre
ciendo un equilibrio entre instituciones y de tareas humanas repetitivas, desarrollo histórica para convalidar sobre ella una la valoración humana en esta cosmovisión
ciudadanía. Un poco más tarde, conforme de nuevos productos tecnológicos, mejo- construcción política, haciendo jugar hoy a desde ópticas como la psicológica, socioló-
a los acontecimientos histórico-políticos, ras en procesos empresariales, medicina, la tecnología —como actor nuevo con per- gica, antropológica, filosófica, claramente
surgen los derechos de segunda generación transición energética, etc., también se co- files hasta ahora nunca vistos en la historia la ética y también el plano jurídico.
que hacen referencia a los derechos que mienzan a observar contingencias: tales de la humanidad— con la intención quizás
poseen todas las personas por igual (cual- como desocupación y desplazamientos de promover una potencial institucionali- A estas alturas de aceleración a fondo de
quiera sea su raza, sexo, condición, rezo, laborales, sesgos algorítmicos, falta de se- dad legitimadora de un nuevo poder, para este “tsunami tecnológico”, inferimos en-
etc.), a tener calidad de vida económica es- guridad en datos, infracciones a la priva- establecer un orden imperante en la socie- tonces que más de las veces: “Modernidad
table, acceso a la educación gratuita, al tra- cidad, peligro en el desarrollo autónomo dad de hoy, denominada “sociedad del cono siempre es progreso, si ello no es equi-
bajo, a la salud, a la protección social, etc. de tecnologías nocivas, inexistencia de nocimiento”, ordenadora de nuestra forma valente a desarrollo humano”; la tecnolo-
regulaciones, e imponentes lobbies eco de pensar, consumir, producir, vivir, elegir gía “no es neutral”, ni el algoritmo predicti-
Los denominados derechos de la solida- (económicos)-tecnológicos, que podrían y relacionarnos. vo “es siempre justo”.
ridad constituyen una tercera generación plantear riesgos potenciales y que, parale-
que, visualizando las nuevas condiciones lamente, hacen surgir el gran interrogante En este sentido ya se ha comenzado a Si además en esta observación nos per-
mundiales, bregan por el desarrollo sos- que, como hombres y mujeres de derecho, hablar de la “algoritmocracia (4)”, en una mitimos traer a estudio la teoría critica de
tenible, el cuidado del medio ambiente, nos debe ocupar en estos tiempos sobre si sociedad conducida (inducida) hacia un la escuela de Frankfurt (8), que cuestiona
Especial para La Ley. Derechos reservados (Ley 11.723) (3) BUSTAMANTE DONAS, Javier, “La sociedad de las patologías mentales más comunes en la actualidad prevención de riesgos laborales”, 2020.
(1) “No Dejar a Nadie Atrás” es la promesa central la Información”. Ver en https://www.corteidh.or.cr/ta- como la depresión y el burnout, y las relaciona con el (7) FOUCAULT, Michel, “Nacimiento de la biopolíti-
y transformadora de la Agenda 2030 para el Desarro- blas/r22470.pdf cambio de paradigma de la sociedad occidental, el uso ca: curso del Collège de France (1978-1979)”, Ediciones
llo Sostenible y sus Objetivos de Desarrollo Sostenible (4) LOJO, Juan Francisco, “Big Data, Small Demo- de la tecnología y sus consecuencias. Akal, 2009. MAUREIRA-VELÁSQUEZ, Marco - GON-
(ODS). Ella representa el compromiso inequívoco de cracy: lo político en la algoritmocracia”, Avatares de la (6) En Argentina se encuentra regulado por la LEY ZÁLEZ-GARCÍA, Diego, “La digitalización de la vida
todos los Estados miembros de la ONU de erradicar la Comunicación y la Cultura, 2018, no. 15. TORREBLAN- 27555 (B.O. 24/08/2020)...”Artículo 5º- Derecho a la contemporánea: el saber, el poder y la subjetivación
pobreza en todas sus formas, poner fin a la discrimina- CA, Ignacio Vásquez, “La Reproducción del Autóma- desconexión digital. La persona que trabaja bajo la mo- como vías de acceso a la experiencia digital”, Papeles
ción y la exclusión, y reducir las desigualdades y vul- ta Cognitivo: Entre el Leviatán Digital, la Sociedad de dalidad de teletrabajo tendrá derecho a no ser contac- de Identidad, 2023, ps. 279-279. LOJO, Juan Francisco,
nerabilidades que dejan a las personas atrás y socavan Control y la Democracia”. WINNER, Langdon, “Do ar- tada y a desconectarse de los dispositivos digitales y/o “Big Data, Small Democracy: lo político en la algoritmo-
el potencial de las personas y de la humanidad en su tifacts have politics?”, En Computer ethics, Routledge, tecnologías de la información y comunicación, fuera de cracia”, Avatares de la Comunicación y la Cultura, 2018,
conjunto. Ver: https://unsdg.un.org/es/2030-agen- 2017. ps. 177-192. La tecnología, a pesar de parecer un su jornada laboral y durante los períodos de licencias. no. 15.MENDIETA PARRA, Elsa, “Poder y subjetivación
da/universal-values/leave-no-one-behind BÁRCENA, instrumento neutral encarna poder y autoridad, mar- No podrá ser sancionada por hacer uso de este dere- en Michel Foucault”, Desde el Sur, 2021, vol. 13, no. 1.
Alicia, et al. “La ineficiencia de la desigualdad”. Santia- cando directrices para la vida humana. La algoritmo- cho.”...El empleador no podrá exigir a la persona que (8) La Escuela de Frankfurt nace en la Universi-
go de Chile: Cepal, 2018. cracia. Febrero 2221. Ver en: https://www.disruptiva. trabaja la realización de tareas, ni remitirle comunica- dad Goethe, Alemania en 1923. Bajo la investigación
(2) Declaración Universal de los Derechos Huma- media/la-algoritmocracia ciones, por ningún medio, fuera de la jornada laboral. filosófica y sociológica, la denominada Teoría Crítica,
nos. Ver en: https://www.un.org/es/about-us/univer- (5) HAN, Byung-Chul, “La sociedad del cansancio”, MUÑOZ RUIZ, Ana Belén, “El derecho a la desconexión presentada por Max Horkheimer en 1937 intenta dar
sal-declaration-of-human-rights Herder Editorial, 2015. En este ensayo el autor analiza laboral: un derecho estrechamente vinculado con la respuesta a la llamada teoría tradicional, así como a
la pretendida neutralidad de la cultura 2022 gos, es decir, a mayor riesgo, normas más que la temática constituye uno de los gran-
imperante, con pensamientos reflexivos estrictas. des objetivos generales de la región (12).
sobre el nuevo orden social en busca de Diciembre: el Consejo adopta su posición
una conversión con mayor ética y polí- (orientación general) sobre el Reglamen- Por ejemplo: Son las IA consideradas No obstante, y en rigor de verdad, en al-
ticamente más justa, advertimos que en to de Inteligencia Artificial, encaminada a como amenaza para las personas y serán gunos Estados miembros la formación en
las actuales condiciones históricas en garantizar que los sistemas de inteligencia prohibidas las que se relacionen con la ma- materia de igualdad de género aún toda-
esta sociedad denominada “del cono- artificial introducidos en el mercado de la nipulación cognitiva conductual de perso- vía se considera una prioridad baja y no se
cimiento”, el acceso, uso de la informa- UE y utilizados en la Unión para que sean nas o grupos vulnerables específicos: por planifica de forma sistemática e integrada.
ción y saber humano, gestionadas a través seguros y respeten la legislación vigente ejemplo, juguetes activados por voz que Por lo tanto resulta ser un gran desafío y
de las grandes tecnologías de la informa- en materia de derechos fundamentales, así fomentan comportamientos peligrosos en esfuerzo implementar estrategias de in-
ción, la comunicación y las TIC para la como los valores de la Unión. los niños; puntuación social: clasificar a las corporación de la perspectiva de género y
recolección, almacenaje e interpretación personas según su comportamiento, esta- establecer estándares mínimos de calidad
de datos en la hiperconectividad, podrían La adopción de la orientación general tus socioeconómico o características per- para la formación en género en cada país
llevar a una lógica de dominación sesga- permite al Consejo entablar negociaciones sonales; sesgos de género; categorización integrante de la UE.
da, como base para una manipulación de con el Parlamento Europeo, una vez que de personas.
tipo tecnológica. este adopte su propia posición con vistas a Para poder lograrlo, existe el “European
alcanzar un acuerdo sobre la propuesta de Los sistemas de identificación biométri- Institute for Gender Equality”, Instituto Eu-
De allí la necesidad de enfatizar una y Reglamento. ca remota y en tiempo real, como el reco- ropeo para la Igualdad de Género (EIGE),
otra vez, en las buenas prácticas, las polí- nocimiento facial, serán prohibidos, salvo que es la única agencia de la Unión Euro-
ticas públicas de inclusión, la democratiza- 2023 en espacios públicos con autorización ju- pea que focaliza todo su esfuerzo en esta te-
ción digital, los software de código abierto, dicial específica, enfocándose en la bús- mática (13).
la neutralidad de la red y la adopción de Diciembre: al cabo de tres días de con- queda de personas condenadas o sospe-
tecnologías disruptivas que sean siempre versaciones maratónicas, el Consejo y el chosas de delitos graves (terrorismo). Es tal su importancia, que se constituye
compatibles con la dignidad humana, la Parlamento Europeo alcanzan el 9 de di- como la principal fuente de información
protección de los nuevos derechos huma- ciembre de 2023 un acuerdo provisional De Alto riesgo, cuando afecten negativa- sobre igualdad de género en la Unión Eu-
nos y los Objetivos de Desarrollo Sosteni- sobre el Reglamento. mente a la seguridad o a los derechos fun- ropea, ayudando mediante un comité de
ble (ODS). damentales y sectores como el financiero, expertos e investigación, a los responsa-
El texto definitivo debe ser adoptado for- seguros, así como lo relacionado con las bles políticos de la UE en diseñar medidas
III. La IA Act de la Unión Europea de di- malmente tanto por el Consejo como por el decisiones de votantes y ciudadanía digital. que sean inclusivas, transformadoras y que
ciembre 2023 Parlamento, en su calidad de colegislado- promuevan la igualdad de género en todos
res de la UE. Para el caso de la IA generativa, como los ámbitos de la vida del bloque.
En ese marco, refiriendo a la pregun- ChatGPT, tendría que cumplir requisitos
ta formulada desde el inicio, y a modo de 2024 de transparencia: como revelar que el con- Entre sus tareas:
continuidad con artículos ya publicados tenido ha sido generado por IA, diseñar el
en esta revista (9), traemos a colación la Se espera por estos meses su ratificación modelo para evitar que genere contenidos - Elabora estudios y estadísticas sobre la
prolija y prolifera estrategia digital que (luego de las elecciones UE). No obstante, ilegales, publicar resúmenes de los datos igualdad de género en la UE;
viene realizando la UE, en torno a la IA, ya se ha creado la Oficina Europea de Inte- protegidos por derechos de autor utiliza-
en especial por su compromiso holístico ligencia Artificial en el seno del Comisión dos para el entrenamiento. -Realiza el seguimiento del modo en que
con la Agenda 2030, la sostenibilidad den- como parte de la estructura administrativa la UE cumpla sus compromisos internacio-
tro y fuera de la región, con un enfoque de de la Dirección General de Redes de Co- Sistemas de IA que solo tienen un riesgo nales en materia de igualdad de género a
regulación en IA basado en el análisis de municación, Contenidos y Tecnología, que limitado estarían sujetos a obligaciones de través de la denominada Plataforma de Ac-
riesgos, asentado en crear ecosistemas de establecerá las bases para un sistema único transparencia muy leves. ción de Beijing (14);
excelencia y de confianza “antropocéntri- de gobernanza de la IA, armónico y confia-
cos” con eje en las personas y la protección ble (24-01-2024). Además, incluye regulaciones sobre go- - Coordina diferentes campañas euro-
de sus derechos (10). bernanza de datos, trabajo científico y aca- peas para involucrar a los hombres en la
2026 démicos, cooperación multisectorial y el causa;
Al respecto resulta interesante visuali- cumplimiento de las garantías que todos
zar la cronología sobre el trabajo llevado a El Reglamento de Inteligencia Artificial los sistemas de IA utilizados en la UE de- - Pone sus conocimientos y recursos on-
cabo sin pausa por la UE sobre el tema en debe aplicarse a partir de 2026. ben ser seguros, transparentes, rastreables, line y apoya a las instituciones de la UE, a
cuestión (11): no discriminatorios y respetuosos con el los Estados miembros y las partes interesa-
Todas estas acciones, que dieron como medio ambiente. das de ámbitos diferentes y cooperación,
2020 resultado un primer marco regulatorio en sus esfuerzos para hacer frente a las
IA, servirán además comparativamen- IV. El kit de herramientas de evaluación desigualdades de género en Europa y fuera
Octubre: los dirigentes de la UE debaten te para ocuparse de la temática en otras de impacto de género de ella.
sobre la transición digital. Propuesta de jurisdicciones, fenómeno que se ha dado
Reglamento sobre la Inteligencia Artifi- en llamar “Efecto Bruselas”, pues ya se En lo que a tema de género e inclusión - Pone a disposición una base de datos,
cial y formas de aumentar las inversiones encuentran trabajando rápidamente sen- respecta, la “Ley de Inteligencia Artificial” como proyecto vivo continuo y en evolu-
europeas y nacionales públicas y privadas das normativas en EE.UU., China y Gran propuesta por la UE también es promete- ción con una lista de formadores y orga-
en la investigación, la innovación y el des- Bretaña. dora cuando se trata de minimizar el riesgo nizaciones de formación en materia de
pliegue de la inteligencia artificial; mejor de sesgo y discriminación, pues existe el género.
coordinación, así como más redes y siner- Este acuerdo, pionero en establecer me- compromiso del bloque en capacitar a más
gias entre los centros europeos de inves- didas integrales para salvaguardar y pro- especialistas en IA, especialmente a muje- Y el “Kit de herramientas para la incor-
tigación. teger el Estado de derecho, la democracia, res y personas de diversos orígenes. poración de la perspectiva de género”, tam-
los derechos de los ciudadanos y a la vez bién accesible online a través de la Plata-
2021 promover la innovación tecnológica en la Es dable recordar que la incorporación forma de Integración de Género del EIGE,
región, impulsado por el eurodiputado ita- de la perspectiva de género es una priori- que proporciona además de las ideas para
Abril: la Comisión publica una propuesta liano Brando Benifei (Grupo de la Alianza dad de larga data en la Comisión Europea, la incorporación de la temática en las polí-
de Reglamento para la armonización de las Progresista de Socialistas y Demócratas en ya que fue establecida como norma políti- ticas públicas en cada país, las herramien-
normas en materia de inteligencia artificial el Parlamento Europeo) y el rumano Dra- ca en el Tratado de Niza en el año 2003 y tas en línea para mejorar las competencias
(Reglamento de Inteligencia Artificial) y un gos Tudorachea (Grupo Renovar Europa), el Tratado de Lisboa del 2009. Además en individuales e institucionales transversali-
plan coordinado que incluye una serie de parten de la idea principal de una regula- 2010 se presentó una “Carta de la Mujer” y zando el género en los diferentes sectores
acciones conjuntas para la Comisión y los ción con el fin de no dañar a la sociedad, en 2011 el Pacto Europeo por la Igualdad y en las diferentes etapas del desarrollo de
Estados miembros. siguiendo un enfoque basado en los ries- de Género (2011-2020), no dejando dudas cualquier política/programa o proyecto.
la racionalidad teleológica afirmando que los conoci- (10) EU AI Act ver en: https://artificialintelligence- vol. 1, no. 1, ps. 65-77. Equality: A window of opportunity for gender equality
mientos están condicionados por la dinámica social y act.eu/es/ai-act-explorer/Reglamento de Inteligen- (12) Tratado de Niza. Ver en: https://eur-lex.eu- policies?”, European Journal of Women’s Studies, 2011,
los intereses dominantes. BALSECA, Juan Carlos Mar- cia Artificial UE: el Consejo y el Parlamento alcanzan ropa.eu/legal-content/ES/ TXT/?uri=celex%3A- vol. 18, no. 2, ps. 169-181. SÁNCHEZ MALCOLM, Mi-
cillo - HEREDIA LOGROÑO, Pablo Alfonso - BENÍTEZ un acuerdo sobre las primeras normas del mundo 12001C%2FTXT. Tratado de Lisboa. Ver en: https:// caela, “Reflexiones sobre la perspectiva de género en
TRIVIÑO, Andrés Sebastián, “Escuela de Frankfurt: en materia de inteligencia artificial. Ver en: https:// eur-lex.europa.eu/legal-content/ES/TXT/?uri=CE- Inteligencia Artificial”, Question/Cuestión, 2023, vol. 3,
Teoría Crítica”, Rev. Publicando, 2017, vol. 4, no. 12 (2), www.consilium.europa.eu/es/press/press-relea- LEX:12007L/TXT. Carta de la Mujer. Ver en: https:// no. 76, p. e846-e846. ALONSO BETANZOS, Amparo,
ps. 136-150. LÓPEZ, Dinora Hernández, “La Escuela ses/2023/12/09/artificial-intelligence-act-coun- eur-lex.europa.eu/legal-content/ES/TXT/?uri=- “Inteligencia Artificial y sesgos de género. Gender on
de Frankfurt. Un acercamiento a su metodología de cil-and-parliament-strike -a-deal-on-the -first- celex:52010DC0078. Pacto Europeo por la Igual- Digital”, Journal of Digital Feminism, 2023, vol. 1, ps. 11-
investigación y su filosofía del poder”, Sincronía, 2013, worldwide-rules-for-ai/ . Antecedente en: https:// dad de Género (2011-2020) Ver en: https://eur-lex. 32. ANARTE, Laura Flores, “Sesgos de género en la
no. 63, p. 1-20. OSORIO GARCÍA, Sergio Néstor, “La eur-lex.europa.eu/legal-content/ES/TXT/?uri=ce- europa.eu/legal-content/ES/TXT/PDF/?uri=CE- Inteligencia Artificial: El Estado de derecho frente a la
teoría crítica de la sociedad de la escuela de Frank- lex%3A52021PC0206 LEX:52011XG0525(01) discriminación algorítmica por razón de sexo”, Revis-
furt”, Educación y desarrollo social, 2007, vol. 1, no. 2, (11) Cronología - Inteligencia artificial UE. Ver en: (13) European Institute for Gender Equality. Ins- ta Internacional de Pensamiento Político, 2023, vol. 18,
ps. 104-119. https://www.consilium.europa.eu/es/policies/ar- tituto Europeo para la Igualdad de Género (EIGE). p. 95-120.
(9) ERRICO, Malena, “Human Justice. Cyborg Justice. tificial-intelligence/timeline-artificial-intelligence/ Ver en: http://eige.europa.eu/gender-mainstrea- (14) Declaración y Plataforma de Acción de Beijing,
DD.HH. 5.0 ¿Quién ordena al ordenador en el dictado SÁNCHEZ BRAVO, Álvaro Avelino, “Marco Europeo ming y https://eige.europa.eu/newsroom/news/ro- Declaración política y documentos resultados de Bei-
de las sentencias?. IA generativa. Virtudes cardinales para una inteligencia artificial basada en las personas bots-and-ride-hailing-women-and-men-face-diffe- jing+5. Ver en: https://www.unwomen.org/es/digi-
y ética para una justicia algorítmica”, TR LALEY AR/ (European framework for people-based artificial inte- rent-risks-economy-future HUBERT, Agnès - STRA- tal-library/publications/2015/01/beijing-declara-
DOC/1069/2023. lligence), International Journal of Digital Law, 2020, TIGAKI, Maria, “The European Institute for Gender tion
Mediante este Kit se colabora desde el En este sentido, los derechos humanos sico como virtual requerirá la formación Las políticas de gobierno abierto de la
origen en las estrategias, diseños, plani- deben formar parte esencial de la gober- de operadores/ciudadanos digitales con UE harán que se siga trabajando en foros
ficación, asignación de recursos suficien- nanza digital, tomado —conciencia huma- nociones amplias del ecosistema digital, regionales [Por ejemplo, en ocasión del G7
tes y, con posterioridad a su implementa- na— para poder discernir y no convertir capaces de comprender tanto el uso de tec- en el marco del proceso de la inteligencia
ción, se sigue a través de monitoreos los estos avances positivos en una “Matrix” o nología como el respeto a los nuevos dere- artificial de Hiroshima 2023, donde se es-
procesos de cambio y la evaluación de cárcel algorítmica con poder de manipula- chos, para así fomentar entornos jurídicos bozaron principios rectores internacio-
las acciones mirando el cumplimiento ción, evitando cualquier uso dañino de las predecibles y de confianza. nales y un código de conducta, voluntario
de la perspectiva de género, en el enten- tecnologías. para los sistemas avanzados de inteligencia
dimiento que de esta manera se logrará el Celebramos y vemos con buenos ojos artificial global (16)].
fortalecimiento de la totalidad de la polí- El factor humano sigue siendo el ma- las labores de la UE y sus iniciativas nor-
tica de la UE, aumentando su relevancia yor valor y el verdadero componente en el mativas, partiendo su regulación holística En la comunidad internacional las labo-
social y su capacidad de respuesta en la ecosistema digital. Las normas, garantías y a través del riesgo a la sociedad y su afec- res en OCDE, G20, servirán para promover
temática para los Estados miembros y como operamos las personas y sociedades tación a los derechos humanos, ex ante y internacionalmente normas sobre una in-
globalmente en su relación con otros blo- en la era digital con el sistema internacio- ex post. Del mismo modo la trazabilidad, teligencia artificial más fiable.
ques y/o países. nal de protección de los derechos humanos transparencia y el monitoreo constante
es una prioridad que debemos conjugar para verificar fallas, daños y sus posibles Respecto a Naciones Unidas, aliados
V. Conclusiones y sugerencias entre sí y profundizar en todas las comu- soluciones. Además, de tener en cuenta regionales y grupos de trabajo, nos resta
nidades, regiones y continentes de manera en sus prototipos, y esquemas de diseño esperar los documentos finales del “Pac-
Crear hubs de conocimientos en IA para trasnacional. embrionarios, la inversión económica, to Digital Mundial 2024” (17) cuyo fin será
el fortalecimiento de la democracia digital cualquiera sea la matriz tanto pública o también el diseño, normas y declaraciones
con enfoque en DD.HH., buscando el ma- Por ello, el enfoque de derechos huma- privada. sobre la IA y donde se formularán algunos
yor potencial de la tecnología. nos en lo que a IA refiere debe abordar todo principios compartidos para un futuro di-
el ciclo de los procesos algorítmicos o ciclo Propiciamos crear “hubs de conocimien- gital abierto, libre y seguro para toda la hu-
Ante la rapidez de los cambios digitales, de vida de la IA de principio a fin (recopila- tos en IA para el fortalecimiento de la de- manidad.
debe quedar claro que la avenida o auto- ción y selección de datos; diseño, desarro- mocracia digital” como buena estrategia
pista por la que debe transitar la observa- llo, implantación, procesos sin sesgos, uso política-social hacia la innovación integra- Finalmente, todos estos antecedentes
ción del desarrollo tecnológico es aquella de los modelos, instrumentos y servicios dora, inclusiva y con base en derechos hu- resultarán de marco para nuestro país,
de la ética y el respeto a los derechos fun- resultantes). manos, buscando aprovechar el potencial Argentina, a la hora de encarar el desafío
damentales. de la tecnología para vigorizar principios de diseñar e impulsar regulaciones inter-
Evaluar con la lupa de la inclusión a cada democráticos tradicionales y garantizar nas en Inteligencia Artificial, logrando, a
En la actualidad, aludiendo al pen- recurso humano que trabaja en el desarro- una participación más amplia, igualitaria y la vez, consolidar un sistema de derechos
samiento de uno de los más grandes filó- llo de sistemas de IA resultará una buena efectiva en la toma de decisiones políticas y humanos compacto, férreo, homogéneo
sofos italianos, Norberto Bobbio, sobre sus práctica, siendo necesaria no solo la in- a su vez lograr espacios de acercamiento de y actualizado en sintonía con la buena
estudios de la democracia y el problema de corporación de más mujeres, sino exigir la actores multidisciplinarios con el objeto de gobernanza digital y el desarrollo soste-
los derechos humanos, nos advierte que el realización de todas las tareas bajo la cos- gestionar el conocimiento, facilitar networ- nible que propicia la comunidad interna-
tema ya no es filosófico sino político. No se movisión y/o cultura de género. king, incentivar el análisis, promover polí- cional.
busca la justificación, sino más bien que el ticas públicas, generar nuevos liderazgos,
trabajo debe ir encaminado hacia su pro- Entender la democracia digital y buscar compartir calendarios de eventos públicos
tección (15). la protección ciudadana en el mundo fí- y privados a nivel interno, regional y global.
(15) JIMÉNEZ BECERRA, Absalón, “Una reseña a no. 1, ps. 114-116. tal-strategy.ec.europa.eu/es/library/g7-leaders-state- www.un.org/techenvoy/global-digital-compact
destiempo”; BOBBIO, N., “El problema de la guerra (16) Declaración de los dirigentes del G-7 sobre el pro- ment-hiroshima-ai-process
y las vías de la paz”, Gedisa, Barcelona, 2017, vol. 10, ceso de la IA de Hiroshima (2023). Ver en: https://digi- (17) Global Digital Pact UN (2024). Ver en: https://
¿Es posible una inteligencia artificial

libre de violencia?
Estereotipos y sesgos algorítmicos de género
Paola M. Petrillo
Abogada (UNC). Lic. en Ciencias Políticas (UCC). Magíster en Derecho y Magistratura Judicial (Univ. Austral). Jueza de Cámara en lo Civil, Comercial y de Minas de la Provincia de
La Rioja.
SUMARIO: I. Una discusión para pensar.— II. Para ubicarnos en el tema.— III. Avances que se traducen en violencia, pero invisible.— IV. Visibilizar, para erradicar
y eliminar.— V. A modo de conclusión: el diálogo como fuente del cambio.
I. Una discusión para pensar tecnológico y de las soluciones prácticas y llo ininterrumpido que registra, produce una La discusión queda allí y no se repite,
sencillas. violación sistemática, pero imperceptible de pero crea en mí más preocupación que
Quiero comenzar estas líneas de una ma- los derechos humanos y, en particular, de antes.
nera, que quizá es poco científica, pero que El tema que surgió fue el de la Inteli- los derechos de las mujeres. Esto se traduce,
es muy gráfica y reveladora del problema gencia Artificial (IA), materia a la cual po- desde luego y en mi opinión, en un retroceso Me pregunto si mi punto de vista es erró-
que deseo presentar, y que nos llama a pen- dríamos decir que mi amigo, aunque no de todas las conquistas que, en materia de neo —lo cual, por supuesto, puede ser po-
sar y reflexionar en este día tan especial. discuto que conoce y maneja, rinde culto género, fueron alcanzadas. sible—, e indago aún más en un tema que
y honores. apasiona, que en casi todas sus aristas es
Para ello me remontaré a una discusión Mi amigo no comprende mi razonamiento. ajeno a lo jurídico, y que despierta dudas y
que, hace varios atrás, mantuve con un Preocupada por las implicancias de la Me acusa de integrar el grupo de personas crea incertidumbres, por todo lo que apa-
amigo. cuestión, sus efectos y algunas de las conse- sin conocimientos en la materia, que cree reja y todo lo que se desconoce.
cuencias que poco se analizan, le expreso mi que el mundo pronto será gobernado por
Él, ingeniero, experto y especialista en postura: es imperioso regular la IA, pues, sin máquinas y robots —sí, igual que en la Y mi preocupación no es infundada: me
todo lo vinculado con tecnologías de la in- negar su utilidad y el gran aporte que reali- mítica película ‘Terminator’—, y directa- encuentro con estudios, discusiones, ar-
formación y comunicación. Desde su punto za en diversos ámbitos, es indiscutible que mente desprecia mi opinión, sobre todo tículos de opinión —con mayor o menor
de vista, yo, una simple conocedora de le- hay intereses económicos involucrados; que porque proviene de alguien que solo co- rigor científico, desde luego—, y múltiples
yes, y no dudo que, según también su con- aquella avanza de una manera que nadie conoce de códigos y normas, pero nada de declaraciones que muestran la dificultad
cepto, burócrata entorpecedora del avance noce con precisión (1); y que, en ese desarro- tecnología. para acordar sobre los alcances e impli-
Especial para La Ley. Derechos reservados (Ley 11.723) cia. La empresa, no solo desvinculó al ingeniero por ha- nes y los resultados obtenidos en esta materia. Sobre el pide al ingeniero que aseguró que un programa de inte-
(1) Aunque mucho se habla de esta cuestión, para ilus- ber violado la política de confidencialidad, sino que negó particular, ver “Google despide al ingeniero que aseguró ligencia artificial cobró conciencia propia”, https://www.
trar el punto, me parece útil traer a colación la noticia que que lo afirmado fuera cierto. Más allá de las implicancias que una inteligencia artificial tenía conciencia”, https:// bbc.com/mundo/noticias-62280846.
aseguraba que Google despidió a un ingeniero que ase- de la noticia, me atrevo a citarla, porque refleja que, en ri- www.elmundo.es/tecnologia/2022/07/25/62decbdd-
guraba que se estaba desarrollando una IA con concien- gor, no sabemos hasta dónde llegan hoy las investigacio- fc6c83957e8b4585.html; y “Blake Lemoine: Google des-
cancias de la IA (2). Observo, incluso, que de la cuestión, impactó positivamente y Esta afirmación destierra varias creen- temente— o porque los datos que se uti-
hace varios años atrás la UNESCO publi- con excelentes resultados en áreas sen- cias, como la que indica que los sistemas de lizan para entrenar a los algoritmos se
có un informe, y obligó a una empresa sibles del ser humano, tales como salud, inteligencia artificial son neutros y deciden basan en decisiones del pasado que im-
a introducir cambios en su asistente de educación, y comunicaciones, por mencio- objetivamente, pues “...lo cierto es que se plican discriminación o trato desigual en
voz (3). Y advierto, también, cómo ex- nar solo algunas. entrenan con datos. Si estos datos incluyen razón del género. Es decir, no es problema
pertos en la materia tratan de buscar un sesgos injustos, estos sistemas van a am- de los algoritmos o de la IA en sí misma.
marco común, y una regulación que ase- Parto así de la premisa de que la revo- plificar estructuralmente estos prejuicios Se trata de problemas que tienen que ver
gure el progreso, pero también el respeto lución tecnológica a la que asistimos, y el provenientes de los datos, consolidando y con acciones humanas que, en todo caso,
a la persona, a sus valores, a sus derechos uso creciente de la inteligencia artificial expandiendo la discriminación, dando lu- quedan en evidencia y son exacerbadas a
fundamentales, y al umbral ético que nin- son fenómenos que impactaron positiva- gar a un círculo vicioso que terminará por través de la IA” (10).
guna actividad humana puede soslayar, ni mente en todos los órdenes de la sociedad, excluir definitivamente a muchas perso-
sobrepasar (4). y trajeron consigo muchos e innumerables nas, sobre todo a aquellas que pertenecen Aunque las consecuencias que derivan
beneficios: comodidad, rapidez, velocidad, a grupos vulnerables” (6). de ese fenómeno son muchas, debo poner
Comprendo, entonces, que, aunque mi agilidad y celeridad en las comunicacio- de resalto —porque es el tema que inicio
amigo los desprecie, no son miedos in- nes; colaboración en la toma de decisio- La situación descripta se agrava frente aquella discusión con mi amigo y hoy nos
justificados, propios de una burócrata de nes; avances y predicciones en materia a técnicas conocidas como de caja negra, convoca— en el impacto que se produce
escritorio: cada escrito, estudio, recomen- de salud; perfeccionamiento de técnicas, es decir, aquellas a las que, por la manera sobre el derecho a la igualdad y el prin-
dación, informe o declaración que leo de- en diversas áreas del conocimiento; entre en que están diseñados los sistemas y su cipio de no discriminación, que pueden
muestra, en definitiva, el perjuicio que una tantas otras ventajas, que se manifiestan en complejidad, no se puede tener acceso, no ser afectados por la utilización de sesgos
IA mal entendida, y poco o nada regulada múltiples sentidos. resulta posible explicar la secuencia que algorítmicos que provocan distinciones
puede causar, sobre los derechos funda- utilizan, y que, por tanto, resultan difíciles injustas, y tienen el potencial de propa-
mentales y los derechos de las mujeres. Se Sin embargo, a pesar de reconocer esos de controlar. Estos sistemas difieren de los gar y reforzar los estereotipos de género,
admite, así, que existen sesgos algorítmi- avances y sus beneficios, paralelamente, llamados de caja blanca, los cuales “...se estigmatizar y profundizar las desigualda-
cos, y se comienza a hablar de una nueva no puedo dejar de destacar que asistimos basan en un conjunto de técnicas que se des, y hasta contrarrestar muchos de los
modalidad de violencia de género, que a una época de creciente inseguridad, utilizan para obtener también prediccio- progresos alcanzados en esta materia (11).
puede provenir de entornos digitales y para la protección de nuestros derechos, nes, automatizaciones, clasificaciones o Hay muchos ejemplos que demuestran la
aparecer con el uso de la IA y sus algorit- pues, junto con los beneficios que reporta detecciones inteligentes”, con resultados presencia de sesgos algorítmicos en los
mos (5). la tecnología y los sistemas de inteligencia que “...son auditables, trazables, explica- sistemas automatizados de toma de de-
artificial, se advierte un avance e impacto bles e interpretables...”, y algoritmos de cisiones, que tienen directa incidencia
El interrogante que me planteo, en ese preocupante y negativo sobre los derechos aprendizaje supervisado (7). sobre los derechos de las mujeres, en ra-
contexto y ante el desprecio demostrado humanos, y, sobre todo, los derechos de zón de que limitan y afectan su recono-
por mi amigo ingeniero, es si es posible las mujeres, que es en el aspecto en el que En tales situaciones, nos enfrentamos, cimiento y ejercicio (12).
hacer algo, para evitar esos perjuicios. quiero detenerme. Ese impacto negativo además, a los problemas de opacidad y
En otros términos, me pregunto si se se observa, por ejemplo y en lo que aquí falta de transparencia de los algoritmos, Esto, al ser contrario a lo expresamen-
puede garantizar el avance y desarrollo interesa, a través de sesgos que afectan el por lo que no es posible lograr trazabili- te establecido por la Convención sobre la
de una IA libre de estereotipos de géne- principio constitucional de igualdad y, por dad, explicabilidad, comunicación y, me- Eliminación de todas las Formas de Dis-
ro, que no sea fuente de una nueva forma ende, discriminan y provocan violencia. nos aún, control humano sobre el resul- criminación cintra la Mujer (CEDAW), de
de violencia. Tales situaciones demuestran el estado de tado de las decisiones tomadas por siste- jerarquía constitucional, la Convención
vulnerabilidad en que se encuentra el ser mas de inteligencia artificial (8). Se alude, Interamericana para Prevenir, Sancio-
Nada más adecuado que el Día de la humano y la mujer, frente a este fenómeno así, a ‘oscuridad por diseño’, resultando nar y Erradicar la Violencia contra la Mu-
Mujer, para reditar el debate, y buscar res- tecnológico. casi un privilegio acceder al algoritmo, jer (“Convención de Belém do Pará”), y la
puestas a esos interrogantes, con el conven- los datos seleccionados y utilizados, y las ley 26.485, da origen a lo que llamo violen-
cimiento de que, si admitimos la existencia Lo anterior me conduce: operaciones que los correlacionan y en- cia algorítmica de género.
del problema —sin negarlo, como hizo mi trecruzan (9).
amigo ingeniero—, siempre es posible que Por un lado, a afirmar que los datos o el Este tipo de violencia se caracteriza por:
aparezcan las respuestas. tratamiento que se haga de ellos pueden Es claro, por ende, que, aun cuando los
presentar sesgos, de distinta índole, que sistemas de inteligencia artificial pue- - Nacer al amparo de la inteligencia ar-
Analicemos un poco más la cuestión. son distorsiones —conscientes o incons- den llegar a adquirir autonomía, siempre tificial, y los algoritmos que se encuentran
cientes— que afectan, en definitiva, el re- el ser humano está presente en su fun- en su base —por eso es una modalidad de
II. Para ubicarnos en el tema conocimiento, ejercicio y goce de los dere- cionamiento, pues es quien: a) establece violencia digital—.
chos. Podría tratarse, así, de sesgos injustos los límites iniciales y objetivos, selecciona
Determinar que existe una solución a un que provienen de estereotipos de género, y regula la carga de datos, y su categori- - Tener la potencialidad de reproducirse
problema exige que primero acordemos provocan discriminación, afectan la digni- zación, en función de los atributos que y divulgar, expandir y consolidar estereo-
sobre ciertos conceptos fundamentales. dad de la mujer y sus derechos fundamen- él mismo elige, y, en definitiva, define su tipos, por medios digitales, de manera ili-
tales, y se transforman, como derivación, ámbito y forma de aplicación y ejecución; mitada y sin que sea posible ejercer control
Así, no desconozco ni reniego de los be- en actos de violencia, como más adelante b) efectúa la trazabilidad del sistema, lo sobre ello.
neficios que apareja la IA y su uso respon- analizaré. controla y audita, y realiza las correccio-
sable. Ya lo dije al comienzo y ahora lo rei- nes y ajustes necesarios; y c) finalmente, - Afectar en forma directa el ejercicio,
tero, pero con mayor énfasis. Y, por el otro, a reconocer que los sesgos interactúa con él y lo retroalimenta con los reconocimiento y goce de derechos funda-
algorítmicos de género no son ajenos a los datos que le proporciona, como usuario. mentales de la mujer, al producir discrimi-
Trajo comodidad a nuestras vidas, nos sistemas de IA, y están presentes en todo nación.
ayuda en un sinfín de tareas, y está presen- su ciclo de vida. No hay neutralidad en el De este modo, “Los algoritmos refle-
te en el quehacer diario, creo que más de lo fenómeno tecnológico, y no puede haber- jan las consecuencias de decisiones hu- - Y por ser invisible, porque está presen-
que podemos ser conscientes —sobre todo la, porque el ser humano es quien está pre- manas sesgadas. Ya sea porque quienes te, pero en ocasiones, se naturaliza, no se
quienes no somos expertos informáticos—. sente en su diseño, desarrollo, implemen- los diseñan, desarrollan o implementan analiza en profundidad ni se toman medi-
Además, y aquí reside lo más importante tación y posterior evaluación. discriminan —consciente o inconscien- das, para combatirla y erradicarla (13). “Lo
(2) Los puntos de discusión son muchos y los inten- tuaban los estereotipos de género. Cfr. UNESCO, “I’d mitigar la discriminación algorítmica”, en CORVALÁN, skills through education” (“Me sonrojaría si pudiera:
tos de regulación numerosos, al extremo que toda- Blush if I Could: closing gender divides in digital skills Juan G. (dir.), Tratado de inteligencia artificial, La Ley, cerrando brechas de género en la esfera digital a través
vía no es posible obtener un acuerdo ni siquiera res- through education” (“Me sonrojaría si pudiera: cerran- Buenos Aires, 2021, t. I, p. 308. de la educación”), al que antes hice referencia.
pecto de una definición única de la IA, que englobe do brechas de género en la esfera digital a través de la (7) Cfr. CORVALÁN, Juan G. y otros, “Inteligencia ar- (12) Son muchos y conocidos los ejemplos que de-
sus características, e implicancias. Así, se ensayaron educación”), año 2019, https://unesdoc.unesco.org/ tificial: Bases conceptuales para comprender la revolu- muestran la presencia de sesgos algorítmicos de gé-
y reprodujeron múltiples conceptos y definiciones, ark:/48223/pf0000367416/PDF/367416eng.pdf.mul- ción de las revoluciones”, en CORVALÁN, Juan G. (dir.), nero. Así, puedo citar: a) los algoritmos que tienden a
cuya extensión y alcance dependen de quién los haya ti.page=1. Tratado de inteligencia artificial, La Ley, Buenos Aires, colocar más a las mujeres que a los hombres en la co-
formulado. Empero, si se analiza la cuestión con de- (4) Es interesante observar los diversos proyectos e 2021, t. I, p. 58 y ss. cina, o las identifican con compras de ropa o zapatos,
tenimiento, es posible observar que, en todas esas intentos de regulación que existen en la materia, por (8) Cfr. GOÑI SEIN, José Luis, “Defendiendo los dere- en tanto los hombres están asociados al entrenamiento
conceptualizaciones, subyacen elementos comunes, ejemplo, en Estados Unidos, en la Unión Europea, e in- chos fundamentales frente a la inteligencia artificial”, físico y a los negocios, como suele ocurrir en las bús-
como son los referidos al uso de tecnologías y algo- cluso en nuestro país. Como muestra, basta ingresar en Lección Inaugural del Curso Académico 2019-2020, se- quedas que se realizan desde Google; b) programas
ritmos, el procesamiento de datos, y la resolución de las páginas web de la Cámara de Diputados de la Na- tiembre de 2019, Pamplona, p. 17. que utilizan asistentes virtuales o intelligent chatbots,
problemas y la capacidad de tomar decisiones y. hacer ción y de la Cámara de Senadores de la Nación, donde (9) Cfr. COTINO HUESO, Lorenzo, “Big Data e inte- recurriendo a voces femeninas sumisas y serviciales,
predicciones. Cfr. CARABALLO, María, “Inteligencia puede advertirse que se presentaron distintos proyec- ligencia artificial. Una aproximación a su tratamiento como Siri de Apple, Alexa de Amazon, Aura de Telefóni-
artificial, inequidad y discriminación en cajas negras”, tos de ley, que procuran dar un marco y regular la IA. Su jurídico desde los derechos fundamentales”, Dilema- ca, o Bixby de Samsung; c) los motores de búsqueda de
en CORVALÁN, Juan G. (dir.), Tratado de inteligencia estudio, desde luego, excede estas líneas. ta, ISSN-e 1989-7022, Nº 24, 2017 (Ejemplar dedicado Amazon, Facebook y LinkedIn que discriminan curricu-
artificial, La Ley, Buenos Aires, 2021, t. I, p. 273 y ss. (5) Cfr. de mi autoría, “Las violencias invisibles. Ses- a: Ética de datos, sociedad y ciudadanía), ps. 131-150, lum vitae de las mujeres, mostrando puestos mejor re-
Ver, también, en la misma obra, CORVALÁN, Juan G., go algorítmico, discriminación y violencia algorítmica https://dialnet.unirioja.es/ejemplar/465182. munerados a los hombres; o d) algoritmos diseñados,
“Preludio. ¿Qué hay de nuevo, viejo? Bienvenidos a de género”, LA LEY 21/04/2022, 1, y sus citas. Tampoco (10) TOLOSA, Pamela, “Algoritmos, estereotipos de para evaluar personas o predecir su comportamiento,
la era de la inteligencia artificial”, p. 5 y ss.; y COR- se puede perder de vista, en este punto, la sanción de género y sesgos. ¿Puede hacer algo el derecho?”, en pero de un modo que ocasiona que ciertos grupos sean
VALÁN, Juan G. y otros, “Inteligencia artificial: Bases la ley 27.736, que, al modificar la ley 26.485, incorporó CORVALÁN, Juan G. (dir.), Tratado de inteligencia artifi- excluidos o evaluados de forma diversa, como ocurrió
conceptuales para comprender la revolución de las la violencia digital como una forma de violencia contra cial, La Ley, Buenos Aires, 2021, t. I, 2021, p. 327. con los créditos otorgados por Apple Card. Sobre el
revoluciones”, p. 15 y ss. la mujer, aspecto en el que más adelante me detendré. (11) Estas cuestiones son enfatizadas en el informe particular, cfr. PETRILLO, Paola María, ob. cit., y sus
(3) Es conocido el informe de UNESCO que denun- (6) SÁNCHEZ CAPARRÓS, Mariana, “Inteligencia elaborado por UNESCO, en el año 2019, denominado citas.
ció que los asistentes de voz eran sexistas y perpe- artificial, sesgos y categorías sospechosas. Prevenir y “I’d Blush if I Could: closing gender divides in digital (13) Cfr. PETRILLO, Paola María, ob. cit.
peor es que, precisamente por su naturale- Para comprender la afirmación prece- res de búsqueda; a los problemas que ello La afectación de derechos fundamen-
za casi imperceptible, el contenido que se dente, debemos recordar que Natalia De- podría suscitar; al perfilamiento de datos, tales de la mujer proveniente de sistemas
presenta al usuario penetra en cada indivi- negri solicitó que supriman algunos sitios para la construcción de una identidad di- de IA, que contienen algoritmos sesgados,
duo, provocando una sumisión tácita, una de internet, que exponían información gital; y a la necesidad de que estos algo- encuadraría en esas dos hipótesis citadas,
suerte de complicidad inconsciente, inclu- vinculada con ella, respecto de hechos ritmos sean entendibles y transparentes pues hablamos de reproducción, y difu-
so de aquellos grupos dominados... De allí acaecidos más de veinte [20] años atrás, y para los usuarios, pero postergó su deba- sión de sesgos algorítmicos de género, que
que, indudablemente, los algoritmos, son a los que se podía acceder con solo colocar te “...hacia el futuro...”, e incluso lo delegó atentan contra la dignidad, integridad,
una de las formas más peligrosas de favo- su nombre, en el motor de búsqueda. Esos al foro de discusión mundial, sin ingresar igualdad y, en general, los derechos fun-
recer la violencia de género simbólica” (14). sitios remitían a videos y noticias periodís- en su examen concreto y específico, como damentales de la mujer. De eso no puede
ticas, que tenían relación con la cobertura hubiera correspondido, dada la trascen- haber dudas.
En consecuencia, es indiscutible, que los periodística que recibió el llamado ‘caso dencia que reviste la materia.
algoritmos y los sistemas de inteligencia Cóppola’, donde la actora tuvo una partici- Sin embargo, advierto con preocupa-
artificial, al tener la capacidad de producir pación activa. En definitiva, en contra del mandato ción que el supuesto ingresa por vía de
sesgos de género —en las distintas etapas constitucional, convencional y legal vigen- interpretación, pero, en rigor, la norma
del ciclo y de diverso modo—, tienen la po- Más allá de lo resuelto con relación a te, y de su propia jurisprudencia, omitió no examina con detenimiento la cues-
tencialidad de afectar derechos fundamen- los derechos fundamentales que estaban analizar el caso con perspectiva de género, tión, ni tampoco se ocupa de diseñar ac-
tales de las mujeres, producir discrimina- en pugna y todo lo que se discutió sobre y nada dijo de los episodios de violencia de ciones específicas para detectar este tipo
ción, y ser fuente de un tipo de violencia el derecho al olvido digital —que no es el los que la actora fue víctima, y que, con el específico de violencia y combatirla. Solo
digital, que es invisible. tema que nos convoca—, quiero detener- uso de los motores de búsqueda, revisten al modificar el inciso f ) del punto 3 del
me en el caso, por el silencio que guardó mayor gravedad, porque se reproducen, artículo 11 de la ley 26.485, aludió a la
III. Avances que se traducen en violencia, la Corte, respecto de ciertas cuestiones, con la ayuda de un algoritmo, cuyo fun- necesidad de promover la alfabetización
pero invisible que tienen directa vinculación con el cionamiento ni siquiera pudo ser explicado digital, las buenas prácticas en el uso de
tema en estudio. por el mismo demandado (16). las tecnologías de la información y la co-
Lo hasta aquí expuesto evidencia: municación, y en la identificación de las
Así, no distinguió adecuadamente entre Se añade que la difusión masiva y au- violencias digitales. Nada más dijo. Y nin-
Primero, que la inteligencia artificial se los hechos que revestían relevancia públi- tomatizada de videos, donde se identi- guna otra acción puede ser directamente
encuentra presente en prácticamente to- ca —por ejemplo, la falsa denuncia que fican episodios de violencia de género trasladada, sobre todo si se consideran
dos los órdenes de nuestra vida, y que pro- luego provocó la destitución de un juez—, simbólica mediática, en contra de una las características y contornos dentro de
duce múltiples beneficios, al combinar un de todo el resto que alimentó el escánda- mujer, provoca una nueva violencia de los cuales se desarrolla esta modalidad de
gran volumen de datos, por medio de algo- lo, y que mostraba a la actora —que, en ese género, ahora digital y algorítmica, que violencia digital.
ritmos, y permitir la toma de decisiones y momento y según la legislación entonces es una forma de discriminación, que
que se hagan predicciones, con celeridad y vigente, era menor de edad— ejecutando vulnera el ejercicio y goce de los dere- Es indiscutible, por tanto, que a los ojos
eficiencia. conductas que afectaban su dignidad y los chos de la mujer (17) . de nuestro legislador, y más allá del avance
derechos que le asisten por su condición que significó el reconocimiento normativo
Segundo, que, no obstante lo anterior, de mujer. Se identifica, de este modo, una violencia de la violencia digital, como una nueva for-
junto con los beneficios, debe prestarse algorítmica de género, respecto de la cual ma de violencia de género, la violencia al-
especial atención al impacto negativo que Tampoco advirtió que los videos y las el Máximo Tribunal de la Nación omitió gorítmica de género continúa siendo prác-
producen estos sistemas tecnológicos, que noticias presentaban elementos sexistas y pronunciarse. Este modo de actuar de la ticamente invisible, desde el momento que
implican la toma automatizada de decisio- estereotipados, que constituían claros epi- Corte ratifica el carácter invisible que asig- no fue expresamente considerada.
nes, sobre el reconocimiento, ejercicio y sodios de violencia simbólica mediática, no a este tipo de violencia.
goce de los derechos humanos y de los de- primero, y, con el paso del tiempo, digital En este contexto, me pregunto cómo
rechos de las mujeres. y algorítmica, y que esta cuestión debía ser ¿Y qué sucede con la legislación? podremos encontrar una solución al pro-
analizada, incluso de oficio, por tratarse de blema, si este no pierde su carácter de in-
Y, tercero, que la afirmación precedente una cuestión de orden público, conforme No es mi intención en este punto efec- visible.
puede percibirse de diverso modo y con lo establecido por la ley 26.486. En conse- tuar un examen de los diversos intentos de
relación a varios derechos fundamentales, cuencia, no analizó, de oficio y como co- regulación que pueden identificarse en la IV. Visibilizar, para erradicar y eliminar
pudiendo destacarse lo que acontece con rrespondía, si se configuraba una hipótesis materia, sino detenerme en la sanción de
el derecho a la igualdad y el principio de no de violencia de género, en los términos de la llamada Ley Olimpia. Cuando comencé estas líneas, dije que
discriminación, por la utilización de datos la Convención Interamericana para Pre- detectar el problema era el primer paso,
y algoritmos que pueden contener sesgos, venir, Sancionar y Erradicar la Violencia La elección de la ley 27.736 o Ley Olim- para encontrar una solución.
que discriminan, profundizan la desigual- contra la Mujer (‘Convención de Belém do pia (18) no es caprichosa, sino que respon-
dad y constituyen actos de violencia, pero, Pará’) y de la ley 26.485, que es de orden de a que el precepto constituye un hito El problema se conoce: hay sesgos al-
remarco una vez más, invisible. público. importante en la materia, en razón de que gorítmicos de género, que derivan del uso
admitió normativamente que la violen- de sistemas de IA, que pueden provocar la
¿Por qué sostengo en forma repetida que A su vez, aunque en el último conside- cia contra las mujeres puede encontrarse afectación de derechos fundamentales de
es una forma de violencia invisible? rando aludió a la imposibilidad de expli- también en los entornos digitales. La vio- la mujer y violencia de género.
car y controlar los resultados que arrojan lencia digital, de este modo, fue reconoci-
No solo por aquella vieja discusión que los algoritmos e incluso al perfilamiento da como una nueva modalidad de la vio- ¿Cuál es la solución?
mantuve con mi amigo ingeniero —que, de datos que los motores de búsqueda lencia de género.
desde luego, no aporta ningún dato cien- realizan, lo cual hasta puede afectar dere- Si decimos que esta modalidad de vio-
tífico a la cuestión—, sino en función de chos humanos y libertades fundamenta- La norma, que emplea una defectuosa lencia digital de género es invisible, el
antecedentes que provienen de la realidad. les, solo dejó planteado el tema, para que técnica legislativa (19), introdujo la noción primer paso, para erradicarla y eliminarla
otros organismos aborden la discusión, de violencia digital, como un nuevo tipo de es visibilizarla. Lo dije antes, y lo reitero
Para ilustrar el planteo, voy a detenerme pero sin decir nada sobre las acciones po- violencia de género, y determinó que esta ahora.
en un caso fallado por la Corte Suprema de sitivas que debía ejecutar, en los términos podía manifestarse en diversos ámbitos y
Justicia de la Nación, y en una ley sancio- del artículo 75, inciso 23 de la Constitu- ante diversas circunstancias. Visibilizar implica tomar conciencia del
nada en forma reciente. ción Nacional, para poner fin a esta cues- fenómeno y sus implicancias, para poder
tión. Así, no ingresó en el estudio y consi- Entre las que aquí interesan, una de ellas actuar en consecuencia. Si, por el contra-
En efecto, por el lado de la jurispruden- deración de los sesgos algorítmicos, aun- es la que alude a la reproducción en la es- rio, no sabemos que existe, no la definimos,
cia —donde prácticamente no se registran que dio a entender que pueden presen- fera digital, mediante la asistencia, utili- no tenemos claro en qué consiste y los per-
casos en los cuales el tema se haya deba- tarse. Solo hay una referencia a internet zación y/o apropiación de las tecnologías juicios que ocasiona —o el potencial que
tido y analizado—, la causa “Denegri, Na- y a los motores de búsqueda, pero no un de la información y la comunicación, de tiene para causarlos—, difícilmente poda-
talia Ruth c/ Google Inc. s/ derechos per- examen exhaustivo sobre el impacto que discursos de odio misóginos y patrones mos ejecutar acciones concretas que per-
sonalísimos: Acciones relacionadas”, falla- los algoritmos pueden producir en el re- estereotipados sexistas. Otra es la que indi- mitan erradicarla o, por lo menos, mitigar
da por la Corte Suprema de Justicia de la conocimiento y ejercicio de los derechos ca, empleando una redacción abierta, que sus efectos.
Nación, el 28 de junio de 2022 (15), es una humanos. Incluso, en el considerando 23, también debe considerarse violencia digi-
clara manifestación de por qué este tipo de y como un obiter dictum, hizo mención a tal cualquier ciberataque que pueda surgir ¿Quiénes es imperioso que identifiquen
violencia debe ser caracterizada como in- la inteligencia artificial y a los algoritmos, en el futuro, y que afecte los derechos de la esta modalidad de violencia de género di-
visible. que se encuentran en la base de los moto- mujer, que son los protegidos. gital?
(14) LEDESMA, José Osvaldo, “Algoritmos y género: voy a detenerme en él, porque excede el objeto de este Justicia de la Nación, pero que, en este caso, omitió (19) El manejo inadecuado de la técnica legislativa,
inteligencia artificial al servicio de la violencia simbó- escrito. aplicar. en la confección de nuestras normas, es un denomina-
lica”, en Revista de la Comisión Permanente de Acceso (16) En supuestos en que se alegue la violación del (17) Cfr. Recomendación General CEDAW Nº 19 dor común, que puede observarse en forma recurrente.
a la Justicia de Personas en Condición de Vulnerabilidad derecho a la igualdad y al principio de no discrimina- (1993), donde también se dijo que “La violencia con- En este caso particular, se advierte el empleo de una
y Justicia en tu Comunidad del Poder Judicial del Perú, ción, y que se detecte una categoría sospechosa, la tra la mujer, que menoscaba o anula el goce de sus redacción engorrosa, poco clara y hasta ambigua, y la
Vol. 4, Nº 5, julio-diciembre, Lima, 2022, ps. 209-236. Corte Suprema de Justicia de la Nación sugirió como derechos humanos y sus libertades fundamentales en utilización de párrafos demasiado extensos, que difi-
(15) Cfr. CS, Fallos, 245:482. En mi concepto, este fa- criterio obligatorio, para brindar tutela judicial efecti- virtud del derecho internacional o de los diversos con- cultan su comprensión y lectura. A modo de ejemplo,
llo, cuyo dictado tuvo en su momento mucha difusión va, que los tribunales realicen el análisis de las contro- venios de derechos humanos, constituye discrimina- traigo a colación lo dispuesto en el artículo 4 de la
pública, contiene errores en el tratamiento de algunas versias con perspectiva de género (cfr. Fallos, 337:611, ción...”. Ver, también, Recomendación General CEDAW ley 27.736, que incorporó el inciso i) al artículo 6 de la
cuestiones, que exceden, incluso, lo atinente al dere- entre muchos otros). La perspectiva de género es una Nº 35 (2017). ley 26.485.
cho al olvido digital, y otros derechos fundamentales herramienta constitucional, convencional y legal, cuya (18) La ley fue publicada en el Boletín Oficial
que son analizados. Aunque su examen es muy rico, no utilización es exigida por la misma Corte Suprema de Nº 35.282, del 23 de octubre de 2023.
En primer lugar, el Estado, en tanto ga- solo que están ocultos, sino también que la bre esas cuestiones, lo que permitiría saber obligue a registrar el detalle de los algorit-
rante de mantener indemne y libre de vio- mayoría de las empresas que utilizan algo- que, junto con la comodidad que implica mos, para que sean transparentes, traza-
lencia a las mujeres, asegurar y resguardar ritmos similares ni siquiera quieren saber el uso de la tecnología, hay peligros subya- bles y auditables. Asimismo, para que los
el goce y ejercicio de sus derechos funda- que incurren en ellos, o necesitan saber, ya centes, y que uno de ellos deriva de la exis- intereses económicos no se perjudiquen,
mentales, y sancionar y ejecutar medidas que no hay incentivos para ello” (22). tencia de sesgos algorítmicos de género, esa misma disposición debería permitir
de acción positiva, “...que garanticen la que afectan el ejercicio y goce de derechos que los algoritmos sean patentables o exi-
igualdad real de oportunidades y de trato, Por último, la sociedad, en razón de que fundamentales. gibles, como propiedad intelectual, y en
y el pleno goce y ejercicio de los derechos es imperioso que las personas seamos cuanto tales, y no solo como partes de un
reconocidos por esta Constitución y por conscientes de la habitualidad y el peligro Para que lo anterior sea posible, es pre- software (31), siendo este, quizá, un buen
los tratados internacionales vigentes sobre que conlleva esta nueva modalidad de vio- ciso que, además, se ejecuten diversas ac- incentivo para las empresas desarrolla-
derechos humanos, en particular respecto lencia, y las formas en que se manifiesta. ciones. doras de sistemas de IA, del que hasta el
de los niños, las mujeres, los ancianos y Si este conocimiento se alcanza, también momento se carece. La norma, en conse-
las personas con discapacidad”, tal como se tendrá noción de que tenemos derecho La más importante —y que quizá más cuencia, debe estar basada “...en la mini-
en forma expresa exige el artículo 75, inci- a la protección de los sesgos algorítmicos preocupa— se vincula con la determina- mización de datos, la rendición de cuentas,
so 23 de la Constitución Nacional. Además, y que, en consecuencia, tenemos a nuestra ción de un marco legal concreto, que abar- la transparencia, la no discriminación y la
conforme a las obligaciones que el Estado disposición acciones judiciales específicas que todos los aspectos en los que los sis- explicabilidad, sometiendo el desarrollo,
Argentino asumió al suscribir y ratificar la que permiten su defensa (23). temas de inteligencia artificial repercuten. despliegue y el uso de la IA a los principios
CEDAW, está obligado a ejecutar una polí- Urge, por ende, su sanción e implementa- de precaución y proporcionalidad” (32).
tica que elimine toda forma de discrimina- Ahora bien, ¿cómo logramos visibilizar ción, de forma tal que se impongan límites
ción contra la mujer y que permita lograr este nuevo tipo de violencia, para así iden- a su uso y actuación. El marco normativo deberá, además, fo-
la igualdad entre el hombre y la mujer en tificarla y poder deconstruirla? mentar la intervención y control humano,
el goce de los derechos humanos y las li- Esta regulación debe ser adecuada y en todo el ciclo de vida de la inteligencia
bertades fundamentales, prohibiendo toda Tomar conciencia de la problemática re- adaptarse a las características específicas artificial, con el fin de que pueda supervi-
acción que implique discriminación; esta- quiere de conocimiento y capacitación, y que presentan los sistemas de inteligen- sarse la actividad, desde el tratamiento que
bleciendo mecanismos de protección efec- que todos los actores del sistema —aludo cia artificial; estar sustentada en valores y se hace de los datos, el uso de los algorit-
tiva; eliminando cualquier manifestación al Estado, a las empresas y a la sociedad en principios éticos; tomar como referencia mos, y la decisión de cómo y cuándo uti-
expresada en ese sentido; modificando su conjunto— actúen con perspectiva de el modelo de derechos humanos; y, sobre lizar el sistema. Esto comprende el diseño,
los patrones socioculturales, con el fin de género, desde la función, tarea y rol que les todo, estar centrada en el ser humano (26). desarrollo y posterior despliegue y utili-
desterrar prejuicios y prácticas discrimi- compete, con el fin de que puedan deter- zación, e incluye, desde luego, evaluacio-
natorias; y adoptando, en definitiva, cual- minar cuándo se trabaja con sesgos algo- También debe asegurar que el Estado nes y auditorías (33). “El control humano
quier medida que conduzca a eliminar este rítmicos de género, y cuándo no; y en qué se involucre en la gobernanza de la inteli- comprende la supervisión, participación,
flagelo (20). A su vez, por haber suscripto casos se produce la afectación de derechos gencia artificial, y en el desarrollo de me- revisión y determinación humana, es de-
la Convención de Belém do Pará, también fundamentales y se incurre en violencia al- canismos que alcancen la transparencia, la cir, que los sistemas permanezcan siempre
debe actuar con la debida diligencia, para gorítmica de género. rendición de cuentas, y la efectiva repara- bajo el control humano, incluso de mane-
prevenir, investigar y sancionar la violencia ción, ante los abusos (27), pues no olvide- ra ex post con la revisión de las decisiones
contra la mujer (21). Ello lo obliga, como Esto exigiría, asimismo, tener acceso y mos que asumió la responsabilidad inter- que dichos sistemas determinen, siempre
lógica derivación, a tomar conciencia de la recibir capacitación, para adquirir cono- nacional de tomar todas las medidas que impulsados por consideraciones basadas
existencia de este problema, para actuar en cimientos, aunque sean mínimos, de las sean necesarias, para erradicar la violen- en valores” (34).
consecuencia. En mi concepto, la sanción tecnologías de la información y la comu- cia (28). Esto exige establecer procesos de
de la Ley Olimpia constituye un importan- nicación, como forma de comprender sus gobernanza de datos que se focalicen en la Esto permitirá identificar, medir, gestio-
te avance en este sentido, aunque todavía implicancias, alcances, efectos y conse- transparencia, responsabilidad y garantías nar y reducir el sesgo, mediante la utiliza-
insuficiente. cuencias que derivan de su uso. Lo anterior técnicas, y que permitan reducir proble- ción de guías que favorezcan su medición
debería integrarse con conceptos vincula- mas, preservar la neutralidad y efectividad, y evaluación, y que puedan aplicarse en
En segundo término, las empresas desa- dos con el género, y la defensa y resguar- y disminuir la probabilidad de resultados todos los contextos (35).
rrolladoras de sistemas de IA, quienes sería do de sus derechos fundamentales, como inesperados.
auspicioso que actúen más allá del aspecto forma de comprender mejor los problemas En esta tarea, junto con la intervención
técnico y económico, y se focalicen en la que la cuestión apareja, y las soluciones Para que lo anterior sea posible, la nor- que se reclama del Estado, se alienta al
persona, y el respeto de la legalidad vigente que podrían adoptarse, para reducir el im- ma debe asegurar accesibilidad al siste- sector privado y a las empresas, para que
y de los derechos fundamentales. Al obrar pacto que provocan los sesgos (24). En este ma, para así poder verificar que los datos realicen comunicaciones de riesgo y de
de esa manera, podrán ser conscientes de sentido, lo dispuesto por la Ley Olimpia, al utilizados son legítimos, correctos, actua- impacto de las aplicaciones de inteligencia
las desviaciones del sistema, en sus diver- establecer que deberán promoverse pro- lizados; y, paralelamente, garantizar la artificial, de forma tal que no interfieran
sas fases, y podrán actuar y hasta interve- gramas de alfabetización digital, de buenas transparencia y supervisión, en forma per- con los derechos humanos (36).
nir —cuando el sistema lo permita— en el prácticas en el uso de la tecnología, y de manente y periódica, pero por equipos in-
diseño e implementación, ejecutar accio- identificación de las violencias digitales, en terdisciplinarios (29). En la regulación es importante que, asi-
nes periódicas de control, y realizar evalua- el ámbito escolar y docente, constituye una mismo, se haga hincapié:
ciones de impacto, para evitar, y corregir los buena iniciativa, que se debe profundizar y El acceso a los algoritmos exigirá, ade-
sesgos algorítmicos de género. El inconve- trasladar a todos los ámbitos (25). más, que, en lo posible, el código-fuente Por un lado, en fomentar y alcanzar la
niente radica en que “...la industria tecno- sea abierto, de forma tal que pueda ser au- participación interdisciplinaria de todos
lógica no está haciendo lo suficiente para La sociedad, de esta manera, podría ac- ditable y responder ante los reclamos (30). los sectores, que ponga énfasis en la igual-
abordar estos sesgos. El problema no es ceder a información sencilla y detallada so- Por ello, sería auspicioso que la normativa dad, la diversidad lingüística, y la inclusión
(20) Conforme artículos 2, 4 y 5 de la CEDAW, el los buenos algoritmos se vuelven sexistas”, en https:// y CARBONELL, Miguel, “La inteligencia artificial y gadosenleonmv.com/2021/02/05/sentencia-del-tri-
que debe ser interpretado en consonancia con lo esta- ssires.tec.mx/es/noticia/cuando-los-buenos-algorit- los derechos humanos”, en https://miguelcarbonell. b u n a l- o rd i n a r i o - d e - b o lo n i a - d e -31 - d e - d i c i e m -
blecido por el artículo 75, inciso 23 de la Constitución mos-se-vuelven-sexistas. me/2021/06/21/la-inteligencia-artificial-y-los-dere- bre-de-2020-caso-deliveroo-discriminacion-algorit-
Nacional, y los artículos 2º, 3º, 7º y concordantes de (25) Cfr. artículo 7 de la ley 27.736, que modificó el chos-humanos/. mica-o-discriminacion-a-traves-de-un-algoritmo/.
la ley 26.485. Ver, también, Recomendación CEDAW inciso f del artículo 11 de la ley 26.485. (28) Cfr. artículos 7, 8, 9 y concordantes de la Con- (32) PRESNO LINERA, Miguel Ángel, “Una aproxi-
Nº 25/2004, y Recomendación CEDAW Nº 28/2010. (26) Cfr. LÓPEZ, María Elena, ob. cit.; y CORVA- vención de Belém do Pará. mación a la inteligencia artificial y su incidencia en los
(21) Conforme artículo 7 de la Convención de Belém LÁN, Juan Gustavo, “Inteligencia artificial y derechos (29) MILANES, Valeria, “Algoritmos y discrimina- derechos fundamentales”, https://idpbarcelona.net/
do Pará. humanos. Parte II”, Diario DPI Cuántico, Diario Cons- ción en el marco de la Ley de Protección de Datos Per- una-aproximacion-a-la-inteligencia-artificial-y-su-in-
(22) GUTIÉRREZ, Miren, “Sesgos de género en los titucional y Derechos Humanos, Ciudad Autónoma de sonales”, TR LA LEY AR/DOC/3034/2018; TOLOSA, cidencia-en-los-derechos-fundamentales/.
algoritmos: un círculo perverso de discriminación en Buenos Aires, 2017, nro. 157, 10 de julio de 2017, pu- Pamela, “Algoritmos, estereotipos de género y sesgos. (33) CORVALÁN, Juan C., y otros, “Inteligencia artifi-
línea y en la vida real”, en https://www.eldiario.es/ blicado en http://dpicuantico.com/area_diario/doc- ¿Puede hacer algo el derecho?”, en CORVALÁN, Juan cial...”, ob. cit., p. 33. El mismo autor indica que, según
tecnologia/sesgos-genero-algoritmos-circulo-perver- trina-en-dos-paginas-diario- constitucional-y-dere- G. (dir.), Tratado de inteligencia artificial, La Ley, Bue- la OCDE, las fases del ciclo de vida de la inteligencia
so-discriminacion-linea-vida-real_129_7198975.html. chos-humanos-nro-157-10-07-2017/. nos Aires, 2021, t. I, p. 360; y PETRILLO, Paola María, artificial son: 1) planificación, diseño, recolección y pro-
(23) Aunque estas acciones son variadas y diversas, (27) El dictado de una norma general que regule el ob. cit. cesamiento de datos, creación de modelos e interpre-
la que debe considerarse típica e idónea, para la defen- uso de la inteligencia artificial es una recomendación (30) Cfr. LÓPEZ, María Elena, ob. cit.; y BENÍTEZ EI- tación; 2) comprobación y validación; 3) despliegue; y
sa efectiva de los derechos, en hipótesis como la aqui´ constante que se realiza desde diversos ámbitos. Si ZAGUIRRE, Lucía, “Ética y transparencia para la de- 4) funcionamiento y seguimiento.
planteada, es la de ha´beas data. Esta acción, traslada- bien no hay duda de que es necesaria esta regulación, tención de sesgos algorítmicos de género”, Ediciones (34) SÁNCHEZ VÁZQUEZ, Carolina, ob. cit.
da al campo de la inteligencia artificial, los algoritmos es preciso discutir, también, qué tipo de disposición le- Complutense, https://revistas.ucm.es/index.php/ (35) Cfr. FERNÁNDEZ, Carlos B., “Una propues-
y los datos, puede asumir dos variantes: como un me- gal sería más útil, para comprender en toda su exten- ESMP/article/view/66989. Desde luego que este con- ta para identificar y gestionar los sesgos en la inteli-
canismo de tutela correctiva, o de tutela preventiva ex- sión el fenómeno en estudio. Debemos preguntarnos, trol no es posible ante los llamados sistemas de caja gencia artificial”, en https://diariolaley.laleynext.es/
cepcional. Junto con aquella, cabe reconocer otros me- en consecuencia, si la norma debe revestir la forma de negra, y no supervisados, en los que los algoritmos Content/DocumentoRelacionado.aspx?params=H-
canismos de tutela que regula el ordenamiento o ad- un tratado internacional, o regional, o de una norma aprenden solos, y los resultados no pueden ser explica- 4sIAAAAAAAEAC2NwU7DQAxEvwZfKqFNRFU4-BLa-
mite la jurisprudencia, tales como las tutelas preventi- nacional. A su vez, si las disposiciones serán abiertas dos. El inconveniente que apareja esta cuestión son los QyVUIYi4O7smsbTsFq8Tmr9noT08WTMaz3zPrGvP-
vas procesales —incluyo, en este punto, a las medidas y generales, o si convendrá que sean más específicas, derechos de patentes y derechos de propiedad intelec- F8Mgn6ycvNCmUCQVihsoa8pp_cJeZwajoaC72_mm-
cautelares y a las medidas autosatisfactivas-; la acción con el riesgo que esto conlleva de no poder adaptarse a tual que, difícilmente y en el estado actual que registra 0gJ5mynus8eH7Z-QhXsasIWsgbVb0YFlo_jGBb-
de amparo; las acciones derivadas de la ley de defensa un fenómeno que se encuentra en constante y perma- la cuestión, permitan que pueda lograrse acceso a los dPOyhT_jnRIiOZ5NSRXlslBDwdnHNt89hUYGEtN-
del consumidor; y las acciones de responsabilidad civil, nente evolución. Quizá, a lo mejor, sea el momento de códigos fuente de los algoritmos. YAfMnIyhknG6aVi13xhUj-90sh4TOIl31M5X252N5v-
por nombrar solo algunas. El examen pormenorizado buscar una nueva forma de regulación, amplia, flexi- (31) Cfr. MENDOZA, Fernando, “Sentencia del Tribu- V18HS-78GH-vdk_EzRU7hNvoLnj_xDPYAAAA=WKE.
de estas acciones excede con notoriedad los límites de ble y con posibilidad de adaptación a los cambios que nal Ordinario de Bolonia de 31 de diciembre de 2020 (36) Cfr. CARBONELL, Miguel, ob. cit.
este escrito. apareja el desarrollo tecnológico y esta cuarta revolu- (Caso Deliveroo) ¿Discriminación algorítmica o discri-
(24) SMITH, Genevieve - RUSTAGI, Ishita, “Cuando ción. Cfr. GASCÓN MARCÉN, Ana, ob. cit., ps. 339/341; minación a través de un algoritmo?”, en https://abo-
de los grupos minoritarios (37), que es un metidos, que deben estar siempre supedi- que todavía no fueron suficientemente vi- algorítmicos de género, que provocan des-
aspecto que hasta ahora se encuentra au- tados a la satisfacción del interés general sibilizadas e identificadas. igualdad, discriminación y violencia digital
sente (38). En este marco, es necesario que de la sociedad. de género.
la IA sea desarrollada y aplicada con pers- Segundo, que, para visibilizar y tomar
pectiva de género, pues de lo contrario es - Favorezca la intervención interdiscipli- conciencia del fenómeno, es necesario co- Exige hacer una pausa —tan extraña en
probable que se mantengan y refuercen los naria, y los aportes que pueden realizarse nocer; y, para conocer, es imperioso dar y estos días de corridas, con horas que se
estereotipos de género y normas sociales desde distintos ámbitos de la ciencia, y de recibir capacitación, trabajar en un espacio escapan—, y tomar conciencia de que, así
discriminatorias existentes. los sectores de la comunidad. donde la interdisciplina y la participación como el hombre fue capaz de lograr este
de todos los sectores se encuentren garan- avance tecnológico, también de él depende
Por el otro, en que los ciudadanos tengan - Resguarde los derechos de todos los tizadas —en esto pongo mucho énfasis—, impedir que aquel se vuelva en contra de
acceso al conocimiento de los datos, y de ciudadanos, en tanto últimos destinatarios focalizar el examen con perspectiva de gé- sus derechos y de todas las conquistas al-
toda cuestión vinculada con su utilización, de los sistemas de inteligencia artificial. nero, y saber el impacto que la tecnología canzadas, sobre todo en materia de género.
otorgándoles, incluso y, por ejemplo, el puede provocar sobre el ejercicio y goce de
derecho a que las dudas, consultas, incon- En síntesis y como derivación de lo hasta derechos fundamentales. Y esto lleva a preguntarme si no será
venientes o problemas de toda índole sean aquí expuesto, mientras no identifiquemos momento de retomar la charla con mi
resueltos por sistemas inteligentes. el problema y lo afrontemos, la violencia Y, tercero, que, junto con la capacitación, viejo amigo ingeniero, pero esta vez de
algorítmica de género continuará siendo es momento de iniciar acciones concretas manera más adulta y con puntos de vista
Y, además, en reforzar que hay un dere- invisible. Por esta razón, es imperioso, visi- que permitan regular el fenómeno tecnoló- superadores.
cho a la protección de los sesgos algorítmi- bilizar la cuestión; difundir conocimiento e gico, de forma tal que, tanto el Estado como
cos, siendo necesario delimitar cuáles son impartir adecuada capacitación en tecno- el sector privado, puedan conocer —y dar Aquel día discutimos, pero hoy no tengo
los usos permitidos y cuáles los prohibidos logía y en género, como modo de compren- a conocer— los datos sobre los que trabaja duda de que nos equivocamos.
de la inteligencia artificial, que permita ha- der dónde estamos ubicados; y emprender el algoritmo, sobre todo, cuando estos son
cer una utilización respetuosa y humani- las acciones necesarias, para que se regule sensibles y pueden afectar derechos funda- Expusimos nuestras posturas, sin buscar
zada de la tecnología, que sea compatible el uso de la IA y puedan establecerse cursos mentales. una alternativa superadora, que compren-
con el Estado Constitucional de Derecho y de acción definidos. diera y condensara los conocimientos que
con el sistema de derechos humanos (39), Sin lugar a equívocos, esto responde el cada uno, desde su ciencia y conocimiento,
lo cual nos conduce nuevamente a la ne- V. A modo de conclusión: el diálogo como interrogante inicial planteado: una IA li- podía aportar. Esto mismo sucede, quizá,
cesidad de que contar con una regulación fuente del cambio bre de estereotipos de género, y que no sea en la mayoría de los estudios, discusiones
específica y adecuada en la materia. fuente de violencia algorítmica de género y declaraciones que abordan la cuestión,
Después de indagar en la problemática es posible, si se conoce y comprende la donde no observo que exista diálogo de to-
De este modo, tal como indican los dis- que deriva del uso de los sistemas de IA, y dimensión del problema, y, en función de dos los saberes implicados.
tintos sectores que estudian, debaten y el impacto que produce sobre el ejercicio y ello, se ejecutan acciones, para prevenir,
analizan la problemática, es preciso esta- goce de los derechos fundamentales de la sancionar y erradicar la violencia. Esa alternativa superadora a la que alu-
blecer con prontitud un marco jurídico, mujer, vuelvo al punto de partida de este do, sin lugar a equívocos, existe, solo que
que, en lo principal: escrito: la discusión con mi amigo ingenie- De lo que se trata, en definitiva, es de exige diálogo permanente, y de una men-
ro. visibilizar, para poder actuar y, de esta talidad abierta —que no tuvimos—, prepa-
- Tenga como eje y centro al hombre, y manera, minimizar los riesgos que deri- rada para el cambio y que permita la labor
sea respetuoso de los derechos humanos, Admito que las respuestas que recibí en van del uso de sistemas de IA y de algo- conjunta de todos los saberes, aunar tiem-
que le deben servir de base. aquella discusión generaron en mí preocu- ritmos, que pueden contener sesgos de pos y lenguajes, y adaptarse a las particu-
pación, pues mostraron cómo, en ocasio- género, que provocan discriminación y laridades del fenómeno tecnológico. Y esto
- Exija la transparencia, accesibilidad, y nes, resaltar los beneficios y avances que violencia. es así, porque, en esta materia, nada puede
auditabilidad; como derivación, permita apareja esta Cuarta Revolución Industrial o construirse; la equidad y la justicia alcan-
y favorezca el control humano, en todo el Revolución 4.0 que transitamos nos impide El Día de la Mujer es un buen momento, zarse; ni menos los derechos respetarse y
ciclo de vida de la inteligencia artificial; y, advertir los riesgos que también conlleva y, para comenzar a trabajar en ese sentido. resguardarse, si el trabajo no es de todos,
además, requiera que el sistema sea fiable, en particular, que puede aparejar nuevas abarca una multiplicidad de disciplinas, y
lícito y no discriminatorio. formas de violencia. Invita a reflexionar una vez más sobre el comprende a todos los sectores involucra-
rol de la mujer en la sociedad actual; los dos, incluidos, desde luego, aquellos más
- Asegure la intervención y control, por Sin embargo, también permitieron refle- derechos y conquistas alcanzadas —que vulnerables, como el que representan las
parte del Estado, en los aspectos indicados. jar y confirmar: no se deben perder, ni abandonar—; y mujeres.
cómo impedir que el uso de sistemas de IA
- Involucre al sector privado, resguar- Primero, que esas nuevas formas de vio- afecte el derecho que tiene toda mujer a vi-
dando los intereses económicos compro- lencia no se conocen y son invisibles, por- vir una vida libre de violencia y de sesgos
(37) Ibídem. tecnología -dando paso, así, al surgimiento de un nue- Cecilia C., ob. cit.; ERRICO, Malena, “Techo de Cristal cia de Río Negro”, TR LA LEY AR/DOC/2361/2021. En
(38) Téngase presente que menos de una persona, vo techo de cristal-; y que la informática es una de las 4.0”, TR LA LEY AR/DOC/538/2021; SÁNCHEZ CAPA- el mismo sentido, también se pronunció el Comité para
de un total de cinco de quienes se gradúan en cien- disciplinas en las que la participación de las mujeres RRÓS, Mariana, “Inteligencia artificial, sesgos y cate- la Eliminación de la Discriminación Racial, en la Reco-
cias de la computación, son mujeres; que la industria disminuyó, con el transcurso de los años. Cfr. GUTIÉ- gorías sospechosas. Prevenir y mitigar la discrimina- mendación General Nº 36 (2020), relativa a la preven-
del machine learning emplea una proporción todavía RREZ, Miren, ob. cit.; y PETRILLO, Paola María, ob. cit. ción algorítmica”, CORVALÁN, Juan G. (dir.), Tratado ción y la lucha contra la elaboración de perfiles raciales
menor de mujeres, comparado con el resto del sector (39) Cfr. DÍAZ, Viviana Laura, “Violencia tecnológica: de inteligencia artificial, La Ley, Buenos Aires, 2021, t. I, por los agentes del orden.
tecnológico; que las mujeres ocupan solo el cinco por ¿las máquinas tienen derecho? ¿Y qué son los neuro- p. 301; y YUBA, Gabriela, “Comentario a la Acordada
ciento de los puestos de liderazgo de la industria de la derechos?”, TR LA LEY AR/DOC/2228/2021; DANESI, 13/2021 del Superior Tribunal de Justicia de la Provin-
Consumo digital y perspectiva de género

en la era de la inteligencia artificial
Laura V. Bonhote
Abogada (UBA). Maestranda L.L.M. (Univ. Austral). Diplomada en Derecho Procesal Constitucional (Univ. Austral) y en Derecho Ambiental y Derecho Aduanero y de la Integración
(UBA). Especialización en Criminología (Univ. Quilmes). Integrante del Ministerio Público Tutelar, Poder Judicial CABA.
SUMARIO: I. Introducción.— II. Nuevas experiencias de compra y un capítulo que se repite: estereotipos de género.— III. El derecho a la participación de Niñas
y Mujeres.— IV. Reflexión.
I. Introducción reflexionar y explorar el sentido histórico so- rol que tienen las niñas y mujeres frente a la desde la pandemia y ha permitido acercar al-
bre las luchas, reclamos y deudas existentes Inteligencia Artificial (IA). gunas discusiones a gran parte de una socie-
El 8 de marzo se conmemora a nivel inter- en el reconocimiento de los derechos de nidad que posiblemente no es consciente del
nacional el Día de la Mujer. Un espacio para ñas y mujeres. La IA se ha integrado a nuestra vida en for- impacto de estas tecnologías en lo cotidiano.
ma rápida y, como consecuencia, están cam-
En esta oportunidad, la actualidad del biando muchas reglas del juego. Si bien no es En este sentido, el consumo no quedó
Especial para La Ley. Derechos reservados (Ley 11.723) tema nos permite hacer foco en el vínculo o algo nuevo, ha tomado especial notoriedad exento. Hoy sostenemos comunicaciones
con chatbots para la atención de una com- dichas recomendaciones y, por supuesto, proporciona con la ayuda de sistemas de IA exclusión del uso de las tecnologías y los
pra o reclamo, recibimos ofertas perso- identifique los estereotipos de género de- de manera adecuada y oportuna (11). servicios digitales o cuando los procesos
nalizadas, contamos con buscadores que trás de aquellas, que fácilmente se repro- automatizados se basan en datos sesgados,
ayudan en la adquisición de aquello que ducen en los entornos digitales (5). En este sentido es clave la promoción parciales o injustamente obtenidos sobre
supuestamente “necesitamos”, asistentes de la responsabilidad empresarial, como un niño.
como Siri o Alexa, influencers virtuales, in- Esta situación se agrava en el caso de ni- actor social de la IA, para el cumplimiento
cluso podemos visitar exposiciones de arte ñas y mujeres (6), como producto de una de una ética que resguarde los derechos Por último, podemos señalar que esta
con IA (1), y observar nuevos movimientos brecha que no solo es digital, pero que se de niñas y mujeres en forma integral en preocupación también ha llegado al ámbi-
de arquitectura y diseño que aprovechan relaciona con el género y refiere a las dife- los entornos digitales, más aún teniendo to nacional, a través de la reciente disposi-
el uso de IA generativa, entre un sinfín de rencias existentes entre mujeres y varones en cuenta que nuestro ordenamiento con- ción de la Subsecretaría de Tecnologías de
otras posibilidades. en la disponibilidad de acceso a los entor- templa dicho deber de información en el la Información donde, basada en la impor-
nos digitales y cómo eso repercute no solo art. 42 de la Constitución Nacional, en el tancia de la diversidad y multidisciplina,
En ese marco, en el presente se formula- en el acceso y posibilidad de beneficiarse Código Civil y Comercial de la Nación (12) se reconoce la necesidad de conformar un
rán algunas consideraciones sobre el im- de todo el potencial que tienen estas herra- y en la ley nacional 24.240 de Defensa del equipo humano “para abordar los desafíos
pacto de la IA en las relaciones de consu- mientas, sino en un uso adecuado y cono- Consumidor . éticos, comprender las implicaciones so-
mo, en particular en lo que respecta a niñas cedor de los riesgos (7). ciales, priorizar soluciones centradas en el
y mujeres, donde referimos —individual o III. El derecho a la participación de Niñas usuario, evitar sesgos y discriminación, y
colectivamente— a un sector de consumi- En este marco las recomendaciones y Mujeres fomentar la innovación” (16).
doras hipervulnerables, no solo por su con- personalizadas que reciben usuarias y
dición de género y rango etario, sino por consumidoras no solo se ven influencia- Si bien en trabajos anteriores hemos di- En este campo, cuando hablamos de bre-
la hipervulnerabilidad ligada al consumo das con sus datos (muchos de ellos pro- cho que el consumidor/usuario digital de chas digitales, se dice que la población que
digital, los estereotipos de género y a las pios del ámbito de la privacidad), sino que por sí se encuentra inmerso en un supuesto no tenga acceso a entornos digitales estará
brechas existentes en materia tecnológica. se observa el riesgo de que estén sesgadas de hipervulnerabilidad, si esta persona es, subrepresentada en los algoritmos de la IA,
hacia ciertos productos, donde operan los a su vez, una niña o mujer, su falta de habi- dado que sus datos no serán procesados
II. Nuevas experiencias de compra y un ca- estereotipos de género y, en este sentido, lidades digitales la ponen en una situación por estos sistemas. Sobre este punto, debe-
pítulo que se repite: estereotipos de géne- la vulneración del principio de no discri- de desigualdad y clara desventaja frente al mos tener bien en claro la importancia que
ro minación contenido en numerosos trata- resto (13). tienen los datos para los sistemas alimen-
dos internacionales de derechos huma- tados por la IA.
Según estadísticas de la Cámara Argen- nos, entre los que corresponde destacar la Al respecto, un informe de CEPAL del
tina de Comercio Electrónico, el consumo Convención sobre los Derechos del Niño y año 2022 da cuenta de la falta de repre- Por ello, si vinculamos estas afirmacio-
electrónico continúa en ascenso y el mayor la Convención sobre la Eliminación de To- sentación de las niñas y mujeres en el nes con las estadísticas señaladas a nivel
porcentaje de sus usuarios son mujeres, en das las Formas de Discriminación contra ciclo de vida de las IA, donde no solo mundial, podemos considerar que niñas y
un 58% (2). la Mujer (8). persisten sesgos de género en los datos y mujeres representan un sector de la socie-
algoritmos, sino en los equipos profesio- dad que se encuentra online-mente invisi-
En este sentido, el uso de la IA como En este sentido se ha advertido sobre la nales que se desarrollan en ese campo, bilizado.
herramienta en la vida diaria nos trajo (y importancia que los datos para los siste- donde las cifras indican que solo un 25%
traerá) muchos beneficios como consu- mas de IA se recopilen, utilicen, compar- de mujeres participa en el mismo a nivel IV. Reflexión
midoras, porque de alguna manera pone a tan, archiven y supriman de forma respe- mundial (14).
disposición mucha información que puede tuosa con los marcos jurídicos nacionales, Es evidente que los entornos digitales no
sernos útil a la hora de elegir bienes y ser- regionales e internacionales pertinentes y En este sentido, es necesario garantizar la están exentos de la lucha histórica por la
vicios, ayudando, entre otras cosas, a ganar los numerosos interrogantes respecto a su participación de niñas y mujeres en los ci- igualdad de los géneros.
tiempo (3). compatibilización con el bloque de consti- clos de vida de las IA, para incorporar una
tucionalidad (9). perspectiva de género que permita romper Los ciclos de vida de la IA y las preocu-
Como fuera ejemplificado, la experiencia los sesgos transferidos al entorno digital y paciones detrás de una posible regulación
de compra actual sucede en gran parte gra- Al respecto, el Comité sobre los Dere- garantizar en forma integral sus derechos. para la promoción de una ética dejan al
cias a un algoritmo de inteligencia artificial chos del Niño al considerar que el interés Incluso, ya hablamos de una nueva catego- descubierto nuevos interrogantes y preo-
que “aprende” nuestro lenguaje y compor- superior del niño debería ser una consi- ría de sesgos, clasificada como sesgos algo- cupaciones acerca de algo que ya está su-
tamiento para poder reproducirlo en reco- deración primordial a la hora de regular ritmos, y sus efectos multiplicadores en ese cediendo y no está regulado.
mendaciones que predicen preferencias, la publicidad y la comercialización, re- terreno (15).
tomando en cuenta algunos factores como, comendó que “Los Estados partes deben Si bien la definición de la IA expone un
por ejemplo, la ubicación de la mercadería, prohibir por ley la elaboración de perfiles En ese marco, las recomendaciones de concepto dinámico y, en ese sentido, un
sistema de envíos, búsquedas realizadas, o la selección de niños de cualquier edad UNESCO a las que hemos referido ante- largo camino de análisis para su regulación
productos favoritos, y así brindarnos una con fines comerciales mediante un regis- riormente, bajo el título de “diversidad e legal, ello no quita que se deba cumplir con
experiencia de compra personalizada. tro digital de sus características reales o inclusión”, han referido a la importancia los mandatos establecidos en nuestro blo-
inferidas, incluidos los datos grupales o de que los Estados garanticen la partici- que de constitucionalidad.
Esta herramienta, que posiblemente colectivos, la selección por asociación o pación activa en los ciclos de IA de todas
mejora la satisfacción del consumidor/ los perfiles de afinidad. Las prácticas ba- las personas o grupos, con independen- Frente a la vulnerabilidad estructural
usuario, es utilizada por las empresas con sadas en la publicidad subliminal, la ana- cia de su raza, color, ascendencia, géne- que tienen los colectivos de niñas y muje-
el fin de impulsar sus ventas y, para ello, lítica emocional, la publicidad inmersiva ro, edad, idioma, religión, opiniones po- res, es claro que se requiere adoptar una
hemos visto que también puede ayudar en y la publicidad en entornos de realidad líticas, origen nacional, étnico o social, perspectiva de género en el diseño de es-
el proceso de diseño de productos inno- virtual y aumentada para promocionar condición económica o social de na- tas tecnologías emergentes y desarrollar
vadores. productos, aplicaciones y servicios tam- cimiento, discapacidad o cualquier otro acciones que garanticen la lucha contra
bién deben tener prohibida la interacción motivo. los sesgos, los estereotipos de género y las
Ahora bien, es muy probable que la ma- directa o indirecta con niños” (10). violaciones de la privacidad de los datos,
yoría de los usuarios de estos sitios web o Por su parte, y en lo que refiere a la si- además de promover políticas para lograr
aplicaciones no tenga pleno conocimiento Sumada a estas preocupaciones, en el tuación de niñas, hay que tener presente la paridad de género en los campos cientí-
(o, incluso desconozca por completo) (4) año 2021 la UNESCO publicó una serie de la manda establecida en el artículo 5 de la ficos y tecnológicos.
de cómo las empresas utilizan la informa- recomendaciones donde se explica que los Convención sobre los Derechos del Niño y
ción proporcionada y sus datos personales, actores de la IA deberían informar a los la Observación General Nº 25 donde se re-
no ponga en tela de juicio la fiabilidad de usuarios cuándo un producto o servicio se conoce como formas de discriminación la
( 1) https://w w w.moma.org/calendar/exhibi- unión de la Mesa Directiva de la Conferencia Regional lación con el entorno digital, año 2021. dicial o peligrosa para su salud o seguridad.”
tions/5535 sobre la Mujer de América Latina y el Caribe, 6 de febrero (11) UNESCO, Recomendación sobre la ética de la (13) BONHOTE, Laura V., “Hacia un Paradigma de
(2) Al respecto, KANTAR, Informe Mid Term, año de 2023, colaboración conjunta entre CEPAL, ONU Mu- inteligencia artificial, adoptada el 23 de noviembre de Infancia 4.0. Consideraciones sobre el Consumo Di-
2023, preparado para CACE. Disponible en https:// jeres y UNESCO, disponible en www.cepal.org. 2021. gital de Niñas, Niños y Adolescentes”, TR LALEY AR/
cace.org.ar/ (6) Recomendación general núm. 31 del Comité para (12) “Art. 1100.- Información. El proveedor está obli- DOC/3081/2023.
(3) Sobre impactos positivos en su uso, se recomien- la Eliminación de la Discriminación contra la Mujer y ob- gado a suministrar información al, consumidor en for- (14) VACA TRIGO I. y Valenzuela M.E., “Digitaliza-
da CHAMATROPULOS, Demetrio Alejandro, “Inteli- servación general núm. 18 del Comité de los Derechos ma cierta y detallada, respecto de todo lo relacionado ción de las mujeres en América Latina y el Caribe: ac-
gencia artificial, prevención de daños y acceso al con- del Niño (2019) sobre las prácticas nocivas, adoptadas con las características esenciales de los bienes y servi- ción urgente para una recuperación transformadora
sumo sustentable”, TR LALEY AR/DOC/2550/2017. de manera conjunta. cios que provee, las condiciones de su comercialización y con igualdad”, documentos de Proyectos (LC/TS.
(4) ANDRUET (h), Armando S., “Impactos y alcances (7) MAFFÍA, Diana, “¿Es sexista la ciencia? (Cómo y toda otra circunstancia relevante para el contrato. La 2022/79), Comisión económica para América Latina y
de la inteligencia artificial en el derecho y en el dere- probar la discriminación en las comunidades científicas información debe ser siempre gratuita para el consu- el Caribe (CEPAL), año 2022.
cho judicial”, La Ley, Buenos Aires, Córdoba: Academia con las mismas herramientas de la ciencia)”, disponible midor y proporcionada con la claridad necesaria que (15) Se recomienda, RUANO, M.C. - DE VENEZIA,
Nacional de Derecho y Ciencias Sociales de Córdoba, en www.dianamaffia.com.ar. permita su comprensión. L., “Inteligencia Artificial y Justicia. Navegando los di-
2022, p. 127. (8) SÁNCHEZ CAPARRÓS, M., “Violencia de gé- Art. 1101.- Publicidad. Está prohibida toda publicidad lemas Éticos de la Revolución Digital”, TR LALEY AR/
(5) Resultan muy interesantes los aportes obrantes nero digital en la era de la Inteligencia Artificial. La que: a) contenga indicaciones falsas o de tal naturaleza DOC/1538/2023.
en la Consulta Regional previa al Sexagésimo Séptimo sanción de la Ley Olimpia: Un hito en materia de pro- que induzcan o puedan inducir a error al consumidor, (16) Jefatura de Gabinete de Ministros, Subsecre-
Período de sesiones de la Comisión de la condición jurí- tección de derechos de las mujeres”, TR LALEY AR/ cuando recaigan sobre elementos esenciales del pro- taría de Tecnologías de la Información, Disposición
dica y social de la mujer, sobre “la innovación y el cam- DOC/3040/2023. ducto o servicio; b) efectúe comparaciones de bienes o Nº 2/2023, DI-2023-2-APN-SSTI#JGM, Ciudad de
bio tecnológico y la educación en la era digital para lo- (9) CS, Fallos: 345:482. servicios cuando sean de naturaleza tal que conduzcan Buenos Aires, 01/06/2023.
grar la igualdad entre los géneros y el empoderamiento (10) Comité sobre los Derechos del Niño, Observación a error al consumidor; c) sea abusiva, discriminatoria o
de todas las mujeres y niñas”, en el marco de la 64 re- general Nº 25 relativa a los derechos de los niños en re- induzca al consumidor a comportarse de forma perju-
Las mujeres frente a la IA

El determinismo algorítmico como mecanismo hegemónico de control
y la violencia de género ejercida a través de la explotación de sus datos
Johanna C. Faliero
PhD. Doctora en Derecho en Protección de Datos Personales en el área de Derecho Civil (UBA). Especialista en Derecho Informático (UBA). Directora del Programa de Actualización
en Abogacía de Datos: Data Governance, Data Compliance, Data Ethics, Data Analytics, Algoritmos, Infosec & Ciberseguridad e E-Discovery (UBA). Directora de Faliero Attorneys At
Law. Consultora internacional. Asesora y representante legal especializada para Argentina, LATAM, Caribe y UE en Derecho Informático. Directora del posgrado en Derecho Infor-
mático Avanzado, LegalTech, IA y Algoritmos (UP). Profesora Titular de la materia “Régimen Legal de Datos” de la Especialización en Criptografía y Seguridad Teleinformática y la
Maestría en Ciberdefensa de la UNDEF. Integrante del Comité Académico del Instituto de Ciberdefensa de las Fuerzas Armadas (Escuela Superior de Guerra Conjunta de las FFAA) y
Prof. Titular de Derecho en el Ciberespacio y Derecho Internacional en el Ciberespacio I y II. Investigadora adscripta del Instituto Gioja. Autora de siete libros, entre ellos: “La protección
de datos personales” (3ª Edición Actualizada y Ampliada, Ed. Ad-Hoc, 2024).
SUMARIO: I. Introducción.— II. Las mujeres frente a la IA.— III. El determinismo algorítmico como mecanismo hegemónico de control y la violencia de género ejercida a través de
la explotación de sus datos.— V. Reflexiones finales.
I. Introducción jeres también han quedado en la bisagra Y la inteligencia artificial tiene que ver dinámica genuina (engaños y eufemismos
de la disputa del campo en lo ideológico, mucho con ello, porque en la actualidad muchos, cosas científicas concretas y no
En oportunidad de la conmemoración donde ya no solo está en debate el reco- el acceso al financiamiento lo determina retóricas muy escasos).
del Día Internacional de las Mujeres 2024, nocimiento o no de un derecho como en su mayoría el perfilamiento que se hace
esta edición especial sobre las mujeres puede ser el de la interrupción voluntaria de las mujeres con el uso de algoritmos por - A las mujeres no se les reconoce su
frente a la inteligencia artificial nos vuelve del embarazo, sino aristas de mayor gra- los cuales se las categoriza colectivamen- derecho de anonimato (4) en contextos
a traer a nosotros el lema que sostuviera la vedad aún por su carácter principiológico te de forma negativa respecto del resto de digitales a los fines de su autoprotección
ONU en 2023, sabiendo que su meta aún se universal como la tolerancia progresiva y los sujetos perfilados que responden a los digital, máxime con el crecimiento expo-
encuentra muy lejos de concretarse: “Por creciente al trato discriminatorio de estas, patrones hegemónicos heteropatriarcales nencial de todos los ciberdelitos y contra-
un mundo digital inclusivo: innovación y al resurgimiento de violencias cuya con- que siguen presentes en nuestra sociedad venciones digitales a las que se las somete
tecnología para la igualdad de género”. tracción se estaba trabajando a nivel socio algoritmocentrista y dataísta. como producto de su sobreexposición.
cultural —como lo es la violencia simbó-
En 2023 la ONU perseguía, bajo el lema lica masiva que opera sobre las mujeres II. Las mujeres frente a la IA - La industria de la inteligencia artificial
referido, el apuntar la persistencia de la de forma generalizada, sistémica y siste- es un espacio de dominación hegemónica,
brecha de género en cuanto al acceso digi- mática—, a la devastación de su rol social, Al ponernos a pensar en las mujeres fren- heteropatriarcal y masculina, el dominio
tal, realidad dolorosa que continúa siendo cultural, comunitario y familiar, al desco- te a la inteligencia artificial, lo primero que de sus medios productivos lo es, como así
igualmente cierta. nocimiento y negacionismo de su lucha, surge es qué posicionamiento debemos también su programación.
a la cosificación de las maternidades, a la tener frente a ella y con qué fuerza nos po-
En segundo lugar, señalar la infrarrepre- reducción de la mujer como producto de demos permitir sostenerlo, porque en un - La industria de la inteligencia artificial
sentación profesional y académica de las consumo (1) (2), a la eliminación de ins- mundo hegemónico existe una gran bre- ha sabido eludir naturalmente los con-
mujeres, otra realidad que no ha cambiado tituciones protectorias, solo por nombrar cha silente entre el deseo colectivo y lo que troles exigibles a cualquiera que procesa
puesto que el acceso va mejorando, pero algunos de los fenómenos colectivos iden- verdaderamente la sociedad permite cana- datos, máxime con el riesgo con el que lo
no a la velocidad deseada. tificables. lizar del deseo y de la protesta, puesto que hacen, convenciendo por la fuerza bruta de
también aquí, existen deseos, reclamos y su lobby planetariamente a los actores jurí-
En tercer lugar, la amenaza persistente En el Día Internacional de las Mujeres protestas hegemónicos, que se reconocen dicos (5), regulatorios y políticos de la ne-
de la violencia de género y la ausencia de 2024 la ONU renueva su lema: “Financiar los y toleran, con los que se coexiste, y deseos, cesidad de regulación a través de recomen-
amparo en lo legal, lo que en términos de derechos de las mujeres: acelerar la igual- reclamos y protestas no hegemónicos que daciones, lo que dilató por años la llegada
resultado sigue reflejándose a nivel local en dad”, y es allí donde el lema anterior y el ac- deben ser acallados, ocultados, silenciados de los primeros abordajes regulatorios de
los casos de femicidios, violencia de género tual confluyen con la inteligencia artificial, y negados. mediana solidez, lo que implica un retra-
en todas sus formas, manifestaciones, tipo- porque es sabido que uno de los grandes y so madurativo en lo normativo que traerá
logías, hostigamiento en todas sus formas, devastadores efectos del sesgo algorítmico El mayor enfrentamiento ocurre con el consecuencias e impactos a los afectados
grooming, producción de imágenes de ex- es en efecto la restricción de las mujeres en reconocimiento colectivo de que una téc- por la inteligencia artificial. Entre estos, los
plotación sexual infantil, abuso sexual de su derecho de acceso al financiamiento. nica riesgosa de procesamiento de datos colectivos discriminados, tales como las
NNA, extorsión, acoso, abusos sexuales, la como lo es la inteligencia artificial, que mujeres.
difusión no autorizada de imágenes o gra- “En un mundo que enfrenta múltiples cri- ayuda infinitamente a la profundización
baciones íntimas, la suplantación de iden- sis que someten a las comunidades a una de los efectos del perfilamiento al cual se - La industria de la inteligencia artificial
tidad, las exhibiciones obscenas, etc. inmensa presión, lograr la igualdad de gé- nos somete y por el cual se nos restrin- no ha realizado todos los estudios de im-
nero es más vital que nunca. Garantizar los ge derechos, nos daña como mujeres. Y pacto en materia de protección de datos
Asimismo es dable destacar que los derechos de las mujeres y las niñas en todos como fuente de daños generalizados so- personales que debería haber realizado,
avances en las materias que nos afectan los ámbitos de la vida es la única forma de bre nuestro colectivo, deberíamos hacer con el visto indiferente de las inertes auto-
como mujeres tampoco fluyen a la veloci- asegurar el desarrollo sostenible. algo. ridades regulatorias de todas partes.
dad suficiente que sirva para neutralizar
los retrocesos que vamos viviendo. Uno de los principales obstáculos para Ahora bien, la inteligencia artificial tam- - La industria de la inteligencia artificial
lograr la igualdad de género en 2030 es la bién tiene su propio efluvio de lo hegemó- no ha posado aún su mirada en el ejerci-
Un ejemplo de ello es el caso argentino, alarmante falta de financiamiento, con un nico, toda vez que: cio de los derechos fundamentales de los
donde la cuestión de género por un cam- abrumador déficit anual de 360.000 millo- titulares de los datos, como el derecho más
bio en la tónica ideológica vigente en el nes de dólares, en las medidas destinadas a - Las visiones y objetivos que persigue su fundamental y elemental de la protección
ámbito político está teniendo en la actua- alcanzar la igualdad de género” (3). aplicación en su mayoría están modulados de datos que es el derecho de autodeter-
lidad serias repercusiones en el plano de lo por metas que responden a los patrones minación informativa y el consentimiento
jurídico, al debatir o controvertir el reco- Ese déficit anual que se señala no es un hegemónicos heteropatriarcales que se se- informado, que en el caso de esta industria,
nocimiento de derechos a las mujeres que déficit inocente o que linealmente se arre- ñalaban antes. deberían ser tal como insisto hace años, di-
han sido producto de una lucha incansable gla de forma específica sin consecuencias námico por naturaleza por su complejidad
en lo social, cultural, político y jurídico, y o ramificaciones; la falta de financiamiento - El sesgo algorítmico en todas sus for- y mutabilidad (6).
que, por la no regresividad y progresividad implica un impedimento masivo de acceso mas es una consecuencia natural e insepa-
de los derechos, no deberían cuestionarse. a derechos (salud, educación, justicia, de- rable de esta técnica. - La industria de la inteligencia artificial
sarrollo, calidad de vida, proyecto de vida, mucho menos ha avanzado en el planteo al
Por otra parte asimismo, en este cuadro dignidad, libertad, empleo, protección so- - A la fecha no se han desarrollado me- respecto del ejercicio de los restantes dere-
de situación vigente a nivel local, las mu- cial, etc.). canismos científicos reales de auditoría chos de los titulares de los datos, entre ellos
Especial para La Ley. Derechos reservados (Ley 11.723) cláusulas abusivas en los términos y condiciones nal-de-la-mujer-2024 bles y el data lake como paradigma de descontrol en
(1) FALIERO, Johanna, “Guía Práctica Edición 30 de privacidad. Los cambios de términos y condicio- (4) FALIERO, Johanna Caterina, “El derecho al ano- protección de datos”, Revista Jurídica Franco-Argen-
Aniversario de la Ley de Defensa del Consumidor nes de privacidad de WhatsApp y la multa a Face- nimato. Revolucionando el paradigma de protección tina / Revue Juridique Franco-Argentine, Facultad de
24.240”. Pregunta 27 - ¿Qué nuevas problemáticas book (Meta) de la Dirección Nacional de Defensa del en tiempos de la posprivacidad”, Ad Hoc, 2024, 2ª ed. Ciencias Jurídicas, Universidad del Salvador - Faculté
tienen los consumidores en lo referente a la protec- Consumidor y Arbitraje de Consumo”, TR LALEY AR/ actualizada y ampliada. de Droit, Université Lumière Lyon 2. ISSN 2683-7641,
ción y seguridad de sus datos? URL: https://aldiaar- DOC/994/2022. (5) FALIERO, Johanna Caterina, “Peligros de alto Núm. 7, 2022.
gentina.microjuris.com/2023/07/ 18/guia-prac- (2) Ibídem. impacto y elevada criticidad que introduce el uso de (6) FALIERO, Johanna Caterina, “La Protección de
tica-edicion-30-aniversario-de-la-ley-de-defen- (3) Mujeres ONU - Día Internacional de las Muje- Inteligencia Artificial en la Justicia y el dictado de Datos Personales”, Ad Hoc, 2024, 3ª ed. actualizada y
sa-del-consumidor-24 -240/FALIERO, Johanna res 2024. 02/01/2024. URL: https://lac.unwomen. sentencias: el sesgo algorítmico y el perfilamiento ampliada.
Caterina, “La protección de datos personales y las org/es/stories/noticia/2024/01/dia-internacio- algorítmico como amenazas impalpables e implaca-
uno de los más complejos para su ejercicio La inteligencia artificial ha consolidado

en atención a esta técnica y que tiene una ya principios entre los cuáles lo anterior no
incidencia absoluta y letal para las mujeres sería admisible, sin perjuicio de lo cual, si-
en un gran número de situaciones abusivas gue ocurriendo.
e ilícitas a las que se pueden ver expuestas:
el derecho al olvido digital en el uso de in- Los principios de la OCDE sobre inte-
teligencia artificial, el estudios de sus me- ligencia artificial del año 2019 disponen
todologías de factibilidad y sus costos, así que: “1. La IA debe estar al servicio de las
como accesibilidad. personas y del planeta, impulsando un cre-
cimiento inclusivo, el desarrollo sostenible
- Finalmente y para condensar las pro- y el bienestar. 2. Los sistemas de IA deben
blemáticas en las más salientes, la in- diseñarse de manera que respeten el Esta-
dustria de la inteligencia artificial no se do de derecho, los derechos humanos, los
ha comprometido aún en la seguridad valores democráticos y la diversidad, e in-
informática (7) que se le debe exigir a su corporar salvaguardias adecuadas —por
actividad, porque su industria inserta en ejemplo, permitiendo la intervención hu-
el mercado productos y servicios inma- mana cuando sea necesario— con miras a
duros o con ciclo de vida de desarrollo garantizar una sociedad justa y equitativa.
inmaduro y como consecuencia de ello, 3. Los sistemas de IA deben estar presidi-
con muy poco análisis, estudio, auditoría dos por la transparencia y una divulga-
al respecto de su seguridad informática. ción responsable a fin de garantizar que
Por lo que los riesgos son cada vez más las personas sepan cuándo están interac-
altos (8). Las fugas de datos crecen (9), tuando con ellos y puedan oponerse a los
así como su criticidad (10), cada vez hay resultados de esa interacción. 4. Los siste-
más ciberincidentes (11), y en ellos se van mas de IA han de funcionar con robustez,
nuestros datos, metadatos, información, de manera fiable y segura durante toda su
perfiles, etc., sin que nadie haga nada, sin vida útil, y los potenciales riesgos deberán
que nadie prevenga estas situaciones (12) evaluarse y gestionarse en todo momento.
y sin que las autoridades de aplicación se 5. Las organizaciones y las personas que
ocupen de algo más que su propia retórica desarrollen, desplieguen o gestionen siste-
política (13) y exijan en cambio y como de- mas de IA deberán responder de su correc-
ben respuestas y reparaciones y apliquen to funcionamiento en consonancia con los
multas (14). principios precedentes” (15).
Es por todo ello que las mujeres tenemos Producto de la 41ª reunión de la Con-
que ser más claras en estos puntos y dejar ferencia General de la Organización de
de apelar a las formas hegemónicas y este- las Naciones Unidas para la Educación, la
reotípicas femeninas de planteos quejosos Ciencia y la Cultura de la UNESCO de 2021
tales como y del estilo de: “la inteligencia se adoptó la “Recomendación sobre la Éti-
artificial nos discrimina, utilicémosla para ca de la Inteligencia Artificial”, cuyos ob-
que no lo haga”. jetivos fueron: “a) proporcionar un marco
universal de valores, principios y acciones
Siguiendo un grafismo explícito, se nos para orientar a los Estados en la formula-
ha adoctrinado colectivamente a lo largo ción de sus leyes, políticas u otros instru-
de toda nuestra existencia de que nuestras mentos relativos a la IA, de conformidad
formas deben ser las formas que le agra- con el derecho internacional; b) orientar
dan al lobo y que nuestros problemas no las acciones de las personas, los grupos, las
deben incomodar al lobo, y que debemos comunidades, las instituciones y las empre-
permanecer silentes mientras algunas ove- sas del sector privado a fin de asegurar la
jas de nuestro rebaño van desapareciendo incorporación de la ética en todas las eta-
o enmudeciendo, porque mientras no nos pas del ciclo de vida de los sistemas de IA;
toque, hemos sobrevivido un día más en el c) proteger, promover y respetar los dere-
sistema. chos humanos y las libertades fundamenta-
les, la dignidad humana y la igualdad, in-
Esto no puede seguir ocurriendo. cluida la igualdad de género; salvaguardar
los intereses de las generaciones presentes
La inteligencia artificial causa estragos y futuras; preservar el medio ambiente, la
financieros en las mujeres, porque el ac- biodiversidad y los ecosistemas; y respetar
ceso al financiamiento se logra por medio la diversidad cultural en todas las etapas
del perfilamiento algorítmico que deter- del ciclo de vida de los sistemas de IA; d) fo-
mina la capacidad económica de esas mentar el diálogo multidisciplinario y plu- la arena regulatoria y ante su trastabi- necesarias para acompañar el desarrollo y
mujeres, su solvencia patrimonial, econó- ralista entre múltiples partes interesadas llado y mal formado intento de reforma uso de la Inteligencia Artificial (IA), tanto
mica, comercial, financiera, bancaria. Si y la concertación sobre cuestiones éticas de la Ley de Protección de Datos Per- en el sector público como en el ámbito pri-
el perfilamiento es negativo, el acceso se relacionadas con los sistemas de IA; e) pro- sonales (17) (18) (19) (20), la AAIP creó vado, garantizando el efectivo ejercicio de
restringe. mover el acceso equitativo a los avances y por medio de la Resolución 161/2023 el los derechos de la ciudadanía en materia de
los conocimientos en el ámbito de la IA y el “Programa de transparencia y protección transparencia y protección de datos perso-
Por otra parte, las restricciones al dere- aprovechamiento compartido de los bene- de datos personales en el uso de la Inteli- nales.
cho de acceso nunca son transparentes, ficios, prestando especial atención a las ne- gencia Artificial”, en cuyo Anexo único se
por lo que las mujeres difícilmente identifi- cesidades y contribuciones de los países de establece: Objetivos específicos
can el origen real técnico del trato indigno, ingreso mediano bajo, incluidos los PMA,
abusivo, vejatorio, discriminatorio e inti- los PDSL y los PEID” (16). “Objetivo general Indagar acerca de las implicancias so-
midatorio que reciben. Se falla en el deber ciales, económicas, laborales, culturales y
de información, más luego en la transpa- A nivel local, en un intento desespe- Impulsar procesos de análisis, regulación ambientales del desarrollo de la IA en Ar-
rencia de su resultado. rado de acaparamiento premuroso de y fortalecimiento de capacidades estatales gentina;
(7) FALIERO, Johanna Caterina, “Infosecurity, Segu- (10) FALIERO, Johanna Caterina, “Informe 2022 del (14) FALIERO, Johanna Caterina, “El Informe de Ges- ya no quede protección de datos”, en Relación de con-
ridad Informática, Ciberseguridad & Hacking. “To Hack CERT.ar: avances y retrocesos en medio de los impactos tión 2022 de la Agencia de Acceso a la Información Pú- sumo 4. Doctrina, selección y análisis de fallos, Hammu-
And Not To Jail”, en Tratado integral de aspectos legales jurídicos en la Ciberseguridad de Argentina”. 21-mar- blica (AAIP): Perlas del enmascaramiento de la crisis rabi, 2023.
y técnicos avanzados en Seguridad Informática y Hac- 2023. Microjuris . en protección de datos personales en Argentina”. Ru- (18) FALIERO, Johanna Caterina, “Hacia la nueva ley
king y Manifiesto Legal para Hackers y especialistas en (11) FALIERO, Johanna Caterina, “Cronología del de- binzal Culzoni. de protección de datos personales en Argentina”, Mi-
Infosecurity, Ad Hoc, 2023. sastre entre ciberincidentes y fugas de datos, en medio (15) OCDE - Cuarenta y dos países adoptan los Prin- crojuris. 05/09/2022.
(8) FALIERO, Johanna Caterina, “La ciberseguridad de un nuevo paradigma de desprotección de datos per- cipios de la OCDE sobre Inteligencia Artificial. URL: (19) FALIERO, Johanna Caterina, “El texto definitivo
en Argentina: relevancia, estado actual y mirada inter- sonales”. 12-dic-2022. Microjuris . https://www.oecd.org/espanol/noticias/cuarentay- del Proyecto de Ley de Protección de Datos Persona-
nacional que se posa sobre nuestro modelo de madu- (12) FALIERO, Johanna Caterina, “La “Guía de Noti- dospaisesadoptanlosprincipiosdelaocdesobreinteli- les. La pretendida reforma y su debate parlamentario:
rez de la capacidad de ciberseguridad. Análisis crítico y ficación y Gestión de Incidentes de Ciberseguridad” y genciaartificial.htm “Acta est fabula”“, LA LEY 05/09/2023, 1, TR LA LEY
reflexiones respecto del Informe 2021 del CERT.ar”. 11- las previsiones del Texto Definitivo del Proyecto de Ley (16) UNESCO - Recomendación sobre la ética de la AR/DOC/2138/2023.
mar-2022, Microjuris. de Protección de Datos Personales sobre los Incidentes Inteligencia Artificial. URL: https://unesdoc.unesco. (20) FALIERO, Johanna Caterina, “El Mensaje
(9) FALIERO, Johanna Caterina. “Análisis del infor- de Seguridad de Datos Personales”, Microjuris, 2023. org/ark:/48223/pf0000380455_spa.locale=es 87/2023 del texto definitivo del Proyecto de Ley de Pro-
me ‘Panorama Nacional de Ciberseguridad de Argen- (13) FALIERO, Johanna Caterina, “Retórica de la ci- (17) FALIERO, Johanna Caterina, “El estado actual tección de Datos Personales y la persistencia de sus
tina’ y las falacias de la optimización de la ciberseguri- berseguridad: la Segunda Estrategia Nacional de Ci- de la protección y privacidad de datos y la integración desaciertos vitales: “Errare humanum est, sed perseve-
dad en torno a nuestro modelo de madurez de capaci- berseguridad y la realidad en materia de ciberdelitos y normativa del Art. 3º de la Ley 24240 y la Ley de Pro- rare diabolicum”, RC D 344/2023.
dad de ciberseguridad”, Rubinzal Culzoni. ciberincidentes”. 2-mar-2023. Microjuris . tección de Datos Personales: qué nos quedará cuando
Analizar el estado de situación respecto al de la Inteligencia Artificial como industria datos personales de carácter patrimonial roles: ya sea como ciudadanos, trabajado-
uso de la IA en las organizaciones del Sector del conocimiento, el día 12 de junio del pre- relativos a la solvencia económica y al res o consumidores; todos somos objeto del
Público nacional; sente salió publicada la noticia de que: “El crédito, obtenidos de fuentes accesibles al perfilamiento algorítmico, que tiene múlti-
BID aprueba destinar 35 millones de dóla- público o procedentes de informaciones ples finalidades, matices y efectos, así como
Generar conocimiento que permita iden- res al MINCYT en apoyo al desarrollo de la facilitadas por el interesado o con su con- intereses en juego.
tificar buenas prácticas, aprendizajes y re- inteligencia artificial - Los Ministerios de sentimiento.
comendaciones en materia de transparen- Ciencia, Tecnología e Innovación, de Eco- Es por ello que resulta necesario establecer
cia, transparencia algorítmica y protección nomía, y la Agencia I+D+i serán los ejecu- 2. Pueden tratarse igualmente datos per- un límite jurídico concreto a esa dependencia
de datos personales en el uso de la IA; tores del programa” (22), por todo lo cual es sonales relativos al cumplimiento o incum- algorítmica: para frenar la proliferación, in-
innegable que la actividad atrae recursos y plimiento de obligaciones de contenido pa- flación y expansión de las prácticas abusivas
Realizar acciones de fortalecimiento de financiamientos que son muy requeridos y trimonial, facilitados por el acreedor o por digitales en el procesamiento y tratamiento
capacidades institucionales de actores cla- apreciados. quien actúe por su cuenta o interés. de datos, que terminarán por aniquilar
ves en la implementación de la IA en mate- nuestro derecho a la privacidad y a la protec-
ria de transparencia y protección de datos Es por todo ello que el debate sobre la In- 3. A solicitud del titular de los datos, el ción y seguridad de nuestros datos” (27).
personales; teligencia Artificial, el uso de algoritmos y responsable o usuario del banco de datos,
su regulación es algo de lo que deberemos le comunicará las informaciones, evalua- La Ley de Protección de Datos Personales
Impulsar procesos participativos para la ocuparnos en algún momento, pero debe- ciones y apreciaciones que sobre el mismo reguló por su parte también la generación
generación de propuestas regulatorias de la rá ser de forma abierta, verdaderamente hayan sido comunicadas durante los últi- de perfiles en su art. 20 (28), establecien-
IA en el país, en coordinación con otros or- federal y transparente, apartidaria, con mos seis meses y el nombre y domicilio del do la prohibición de toma de decisiones
ganismos gubernamentales competentes en una genuina legitimación social, y no sin cesionario en el supuesto de tratarse de da- judiciales o administrativas basadas ex-
la materia”. antes resolver la adopción de una mejorar tos obtenidos por cesión. clusivamente en ellos y en su art. 27 (29)
protección de datos personales con una re- habilitó la generación de perfiles con fi-
He señalado al respecto de esto últi- forma a la histórica Ley 25.326 que genere 4. Solo se podrán archivar, registrar o nes promocionales, comerciales o publi-
mo: “...es necesario destacar que a nivel lo- orgullo y no tristeza por la inexorable pér- ceder los datos personales que sean signifi- citarios, lo que tampoco dimensionaba el
cal este debate sobre la transparencia y el dida de derechos que significará de pros- cativos para evaluar la solvencia económi- riesgo al que nos exponemos por ello en
uso de la Inteligencia Artificial y los algorit- perar carente de sus más altos principios co-financiera de los afectados durante los la actualidad.
mos no puede estar monopolizado y pasar protectorios” (23). últimos cinco años. Dicho plazo se reducirá
de forma exclusiva por una cámara de eco a dos años cuando el deudor cancele o de Y tristemente, los sucesivos intentos de
de impulso y composición exclusivamen- Pues bien, deteniéndonos allí y sin hacer otro modo extinga la obligación, debiéndo- reforma no han hecho mucho por cambiar
te partidaria a manos de profesionales sin análisis en lo que resta de otros ejemplos se hace constar dicho hecho. seriamente el impacto que esto tiene espe-
experiencia real técnica ni jurídica, como regulatorios de abordaje tales como el Eu- cialmente en las mujeres; no lo ha hecho el
así tampoco idoneidad profesional espe- ropeo, como su Ley de IA, la Estrategia so- 5. La prestación de servicios de informa- Proyecto de 2017/2018 como así tampoco
cífica (21). Si no se ha alcanzado esa meta bre Inteligencia Artificial y el Libro Blanco ción crediticia no requerirá el previo con- el de 2022/2023, ambos de diferentes ges-
en materia de datos personales, menos aún sobre Inteligencia Artificial, principios so- sentimiento del titular de los datos a los tiones de la AAIP.
puede habérsela alcanzado en algo aún bran y autoridades de aplicación hipócritas efectos de su cesión, ni la ulterior comuni-
más complejo como lo es la Inteligencia Ar- también (24). cación de esta, cuando estén relacionados Haciendo foco solamente en el segundo
tificial y el uso de algoritmos. con el giro de las actividades comerciales o nombrado, el texto definitivo del Proyecto
Las mujeres necesitamos más y mejores crediticias de los cesionarios”. de Ley de Protección de Datos Personales
En este sentido y al apresurar sin cono- esfuerzos de reversión de las inequidades enviado por el PEN mediante el Mensaje
cimientos y experiencias estertores regula- y desigualdades que sufrimos colectiva- Reflexionando al respecto de su con- 87/2023 el 29 de Junio de 2023 a la Honora-
torios como el que se analiza en el presente mente. texto gestacional, en una época donde las ble Cámara de Diputados de la Nación no
artículo y por efecto de ello se podría llegar problemáticas de datos personales se re- introdujo cambios sustanciales esperables
a ocasionar un avance poco anunciado, III. El determinismo algorítmico como me- ducían o interpretaban por la lupa de los al respecto de sus versiones de septiem-
transparentado y divulgado sobre todas las canismo hegemónico de control y la vio- informes crediticios erróneos y sus conse- bre 2022, octubre 2022, noviembre 2022 y
temáticas clave relativas a los datos perso- lencia de género ejercida a través de la ex- cuencias, este artículo no demostraba la febrero 2023, por lo que en su art. 2 quedó
nales. plotación de sus datos potencia en la cual se convertiría el perfi- definida la elaboración de perfiles de la si-
lamiento relacionado a la solvencia patri- guiente forma:
Lo que en realidad parece observarse no es El determinismo algorítmico (25) ha sido monial, económica, comercial, financie-
un sincero interés respecto de aquello que se utilizado desde siempre en nuestra era de ra, bancaria como consecuencia del uso “Elaboración de perfiles: Toda forma de
regula, sino en realidad veladamente la dis- datos como mecanismo hegemónico de de técnicas tales como el Big Data, Data tratamiento automatizado o parcialmen-
puta por el dominio del territorio regulato- control y resulta innegable e imposible de Mining, Inteligencia Artificial, Machine te automatizado de datos personales con-
rio antes de que cualquier otro participante ocultar que a través de su disimulo se ejer- learning. sistente en utilizar estos para evaluar de-
tenga capacidad de avanzar o presentarse ce violencia. terminados aspectos de una persona hu-
como opción en ello, por la opacidad con la “La parametrización no es solo tensión de mana; en particular, para analizar o pre-
que han estado saliendo últimamente estas La que aquí estamos tratando es espe- derechos, nos vuelve vulnerables, nos expo- decir cuestiones relativas al rendimiento
novedades espontáneas. cíficamente y de conformidad con el lema ne a peligros de los que no podemos escapar profesional, situación económica, salud,
de la ONU 2024, es la violencia económi- una vez realizada. El volumen de datos y preferencias personales, intereses, fiabili-
Recordemos que la Inteligencia Artificial ca, patrimonial, simbólica y política que la complejidad del relacionamiento de los dad, comportamiento, ubicación, etnia,
es una industria lucrativa y es por ello que surge como consecuencia de su perfila- mismos, sumada a la incapacidad de conte- género o movimientos de dicha persona”.
todo avance regulatorio también puede miento relacionado a su solvencia patri- ner la distribución física y lógica de los mis-
guardar alguna relación posible y poten- monial, económica, comercial, financiera, mos y la imposibilidad de circunspección El Proyecto reguló el derecho de opo-
cial con los grandes intereses económicos bancaria. de sus daños, permite arriesgar que, por sición de los titulares de los datos en el
subyacentes típicamente en los emprendi- principio precautorio, al respecto de estas Art. 29 con la siguiente redacción final:
mientos de la industria de esta técnica. Si Nuestra histórica Ley de Protección de técnicas listadas como otras que surjan, de-
quien se quede con el monopolio del tema Datos Personales establecía puntualmente bemos tomar medidas proactivamente que “Art. 29.- Derecho de oposición. La perso-
pudiera a futuro también monopolizar sus al respecto de la prestación de servicios de inhiban la expansión del peligro que repre- na Titular de los datos puede oponerse al tra-
proyectos y financiamiento, esto podría información crediticia: sentan” (26). tamiento, o una finalidad específica de este,
llegar a ser complejo y es por ello que de- si no ha prestado consentimiento. El Respon-
bemos analizar todo asunto con responsa- “Art. 26. — (Prestación de servicios de in- Y por su parte: “La dependencia algorít- sable de tratamiento debe dejar de tratar los
bilidad y cautela. formación crediticia). mica es una realidad operativa. Las organi- datos personales objeto de oposición, salvo
zaciones públicas y privadas son codepen- que existan motivos legítimos para el tra-
Solo por enunciar un ejemplo local en 1. En la prestación de servicios de in- dientes de los algoritmos, en todas las esfe- tamiento que prevalezcan sobre los derechos
materia del financiamiento del desarrollo formación crediticia solo pueden tratarse ras de nuestras vidas, para todos nuestros de la persona Titular de los datos.
(21) FALIERO, Johanna Caterina, “El estado actual de datos pretendida por la AAIP en el Proyecto de Re- cisiones, el targetting y el perfilamiento”. Suplemento a la disposición precedente serán insanablemente
de la protección y privacidad de datos y la integración forma a la Ley 25.326”, Rubinzal Culzoni. Especial #LegaltechII El Derecho ante la Tecnología. nulos.
normativa del Art. 3º de la Ley 24240 y la Ley de Protec- (24) FALIERO, Johanna Caterina, “Imperitia confi- Octubre 2019. La Ley. (29) Ley 25.326 - Art. 27. (Archivos, registros o ban-
ción de Datos Personales: qué nos quedará cuando ya dentiam, eruditio timorem creat. La declaración con- (27) FALIERO, Johanna Caterina, “Limitar la depen- cos de datos con fines de publicidad). 1. En la recopi-
no quede protección de datos”, en Relación de consumo junta sobre data scraping vs. la nota de opinión de la dencia algorítmica. Impactos de la inteligencia artifi- lación de domicilios, reparto de documentos, publici-
4. Doctrina, selección y análisis de fallos, Hammurabi, AAIP sobre el proyecto de reforma a la ley de protección cial y sesgos algorítmicos”, Revista Latinoamericana de dad o venta directa y otras actividades análogas, se
marzo 2023. de datos personales”, Microjuris. la Fundación Friedrich Ebert - https://www.nuso.org/. podrán tratar datos que sean aptos para establecer
(22) Ministerio de Ciencia, Tecnología e Innova- (25) FALIERO, Johanna Caterina, “Coronavirus, pri- Link: https://static.nuso.org/media/articles/down- perfiles determinados con fines promocionales, co-
ción - “El BID aprueba destinar 35 millones de dó- vacidad y protección de datos personales. Los peligros loads/9.TC_Faliero_294.pdf. Tema central | NUSO merciales o publicitarios; o permitan establecer hábi-
lares al MINCYT en apoyo al desarrollo de la inteli- del determinismo algorítmico, la inteligencia artificial Nº 294 / Julio - Agosto 2021. Argentina. Año 2021. tos de consumo, cuando estos figuren en documentos
gencia artificial”. URL: https://www.argentina.gob. y el perfilamiento en tiempos de pandemia”, LA LEY (28) Ley 25.326 - Art. 20. (Impugnación de valo- accesibles al público o hayan sido facilitados por los
ar/noticias/el-bid-aprueba-destinar-35-millones- 13/05/2020, 5. FALIERO, Johanna Caterina, “CO- raciones personales). 1. Las decisiones judiciales o propios titulares u obtenidos con su consentimiento.
de-dolares-al-mincyt-en-apoyo-al-desarrollo-de- VID-19 y protección de datos personales - Hipervigilan- los actos administrativos que impliquen apreciación 2. En los supuestos contemplados en el presente ar-
la cia y perfilamiento algorítmico en tiempos pandemia”, o valoración de conductas humanas, no podrán te- tículo, el titular de los datos podrá ejercer el dere-
(23) FALIERO, Johanna Caterina, “La Resolución Rubinzal Culzoni. ner como único fundamento el resultado del tra- cho de acceso sin cargo alguno. 3. El titular podrá en
161/2023 de creación del “Programa de transparencia (26) FALIERO, Johanna Caterina, “Los desafíos jurí- tamiento informatizado de datos personales que cualquier momento solicitar el retiro o bloqueo de su
y protección de datos personales en el uso de la Inteli- dicos del big data. Tensiones de derechos entre la pa- suministren una definición del perfil o personalidad nombre de los bancos de datos a los que se refiere el
gencia Artificial” y sus incongruencias con la protección rametrización analítica, la toma automatizada de de- del interesado.2. Los actos que resulten contrarios presente artículo.
La persona Titular de los datos también oponerse a ser objeto de una decisión auto- sobre el incumplimiento del deber de infor- deben comunicar en forma diligente a la
puede oponerse al tratamiento de sus datos matizada o semiautomatizada de datos, el mación (es fácil claro está sancionar o con- persona Titular de los datos el cambio de si-
personales si tuvieran por objeto la publici- derecho a obtener la intervención humana trolar que se dé información, ya que es un tuación crediticia, por un medio que permi-
dad, la prospección comercial o la merca- por parte del responsable de tratamiento y acto desprovisto de complejidad), lo impor- ta acreditar el envío y su fecha. Dicha comu-
dotecnia directa, incluida la elaboración de el derecho a requerir la exhibición de los pa- tante es que la autoridad de aplicación au- nicación se debe efectuar, cuando las obli-
perfiles. trones de programación del algoritmo por el dite y controle las técnicas y procedimiento gaciones pasen de cumplimiento normal a
cual se llegó a dicha decisión, todo ello en el de tratamientos que se realizan para la incumplimiento, dentro de los diez [10] días
Cuando la persona Titular de los datos se Art. 30 citado precedentemente. toma de decisiones automatizadas, prohi- hábiles de producida la nueva clasificación.
oponga al tratamiento para esos propósitos, biendo su utilización si hubiera un atisbo de El cedente tiene la carga de acreditar el
sus datos personales deben dejar de ser tra- Nada de ello era real. duda de afectación irreversible de derechos cumplimiento de la comunicación aquí dis-
tados. humanos del titular del dato. Lo importante puesta. En el caso que se deniegue a la per-
En primer lugar, el derecho de “no infe- también es que la autoridad de aplicación sona Titular de los datos la celebración de
La persona Titular de los datos tiene dere- rencia” quedó limitado ... audite las iniciativas de elaboración a per- un contrato, solicitud de trabajo, servicio,
cho a que el tratamiento de datos persona- files, las sujete a su estricto examen de lega- crédito comercial o financiero, sustentado
les se limite a su almacenamiento durante En segundo lugar, en el Art. 30 no se men- lidad, las prohíba cuando fuere necesario e en un informe crediticio, se le debe informar
el período que medie entre una solicitud de ciona como se anunció en la filmina exhibi- intervenga y supervise celosamente la revi- tal circunstancia, así como la empresa que
rectificación u oposición hasta su resolución da en el evento de presentación del Proyecto sión humana que se brinda como garantía proveyó dicho informe, y hacerle entrega de
por el Responsable de tratamiento”. “el derecho a obtener la intervención huma- al titular del dato. una copia”.
na por parte del responsable de tratamiento
Y en lo relativo a las decisiones automa- y el derecho a requerir la exhibición de los De nada sirve una autoridad de aplica- De qué sirve saber “el detalle de la fór-
tizadas y elaboración de perfiles, la redac- patrones de programación del algoritmo por ción espectadora. Ya lo ha sido lo suficiente mula aplicada, las variables consideradas,
ción final es esta: el cual se llegó a dicha decisión”; la palabra a lo largo de todos estos años y bien puede el procedimiento y la información que se
“algoritmo” no existe en el Art. 30 publicado tomar las riendas de sus propias funciones toma en cuenta, o el algoritmo que se uti-
“Art. 31.- Decisiones automatizadas y ela- y el sueño de la “auditoría algorítmica” de para hacer algo al respecto y frenar de una liza y su composición” cuando la autoridad
boración de perfiles. La persona Titular de avanzada en materia de toma de decisio- vez por todas los abusos sistemáticos que se de aplicación no tiene capacidad técnica
los datos tiene derecho a no ser objeto de nes automatizadas y perfilamiento, quedó dan en materia de toma de decisiones auto- para perseguir y auditar de forma nacional
una decisión que le produzca efectos jurídi- limitado al Art. 49 del nuevo Anteproyecto matizadas y elaboración de perfiles, las que ese punto.
cos perniciosos, lo afecte de forma negativa y solo respecto del régimen del Capítulo 6 a la fecha han pasado y se han permitido
o tengan efectos discriminatorios, basada, sobre “Protección de Datos de Información bajo sus narices sin ninguna objeción ni De qué les sirve a las mujeres saber el
única o parcialmente, en el tratamiento Crediticia”, como si esta fuera la única área examen serio. detalle por el cual se las discrimina en su
automatizado de datos, incluida la elabo- en la que se realiza tratamiento automati- derecho de acceso al crédito, si no se va a
ración de perfiles e inferencias. Se entiende zado, perfilamiento e inferencias. Dice al Tampoco de nada sirve en un sistema hacer nada por ello. De hecho, se va a po-
por decisiones parcialmente automatizadas respecto el Art. 49 del nuevo Anteproyecto: corrupto que el titular del dato tenga de- der hacer mucho menos que antes en un
o semiautomatizadas a aquellas en las que “Para los supuestos en que los Responsables recho además del de obtener intervención contexto donde la autoridad de aplicación
no hay intervención humana significativa. de tratamiento elaboren un sistema de pun- humana por parte del Responsable del tra- en su proyecto habilitó el procesamiento
tuación y/o calificación de acuerdo al com- tamiento, a expresar su punto de vista y a de datos prescindente del consentimiento
El interesado tiene derecho a solicitar la portamiento crediticio de las personas, se impugnar la decisión, cuando no se encuen- informado y basado en el interés legítimo
revisión por una persona humana de las deberá comunicar detalladamente al Titu- tra establecido ningún mecanismo de “escu- del responsable de tratamiento.
decisiones tomadas sobre la base del tra- lar de los datos cuál es la fórmula, variables, cha” eficiente a esas quejas. ¿De qué le sirve
tamiento automatizado o semiautomatiza- el procedimiento y la información que tomó expresar su punto de vista e impugnar la A modo de cierre, la autoridad de aplica-
do que afecten a sus intereses, incluidas las en cuenta o el algoritmo que se utiliza y su decisión cuando nadie imparcial va a reci- ción deberá pensar más profundamente en
decisiones encaminadas a definir sus as- composición. ...”, por lo que sí, el titular po- birla y a revisarla realmente? la perspectiva de género que debe aplicarle
pectos personales, profesionales, de consu- drá requerir la exhibición de los algoritmos, a este artículo para reformular el capítu-
mo, de crédito, de su personalidad u otros. pero respecto de los que se utilizan para sco- Por último, entender que puede haber tra- lo entero y que sea más que palabras que
ring en sistemas crediticios. tamientos de datos con fines de perfilamien- emulan aparente acción sin efecto en el
El Responsable de tratamiento debe pro- to que no tengan efectos directa o indirec- campo de los abusos que se sufren colec-
porcionar, siempre que se le solicite, infor- Es decir, cuando el titular del dato ejerza tamente discriminatorios para el titular del tivamente.
mación clara, completa y adecuada sobre su derecho a no ser objeto de una decisión dato, es simplemente negacionista.
los criterios y procedimientos utilizados basada única o parcialmente en el tra- V. Reflexiones finales
para la decisión automatizada o semiauto- tamiento automatizado de datos, incluida Aquí se adeuda una genuina perspecti-
matizada, con observancia de secretos co- la elaboración de perfiles e inferencias, que va de derechos humanos que atienda a la Elípticamente y volviendo al punto de
merciales e industriales. le produzca efectos jurídicos perniciosos, lo prohibición de utilización de técnicas de partida con el lema ONU 2024 y cual cróni-
afecte significativamente de forma negati- procesamiento de datos riesgosas en áreas ca de una muerte anunciada, una nota pu-
En caso de no proporcionar la informa- va o tenga efectos discriminatorios, podrá críticas en las que puedan existir impac- blicada por el mismo organismo interna-
ción a que se refiere este artículo con base solicitar la revisión por una persona hu- tos masivos perjudiciales a derechos hu- cional reza en su título: “¿Es la IA un arma
en la observancia del secreto comercial e mana de las decisiones tomadas sobre la manos, tales como la salud, la justicia, la positiva?” (31) en su traducción al español,
industrial, la Autoridad de Aplicación pue- base del tratamiento automatizado o semi educación, etc., lo que debió encontrarse lo que adquiere un matiz un poco diver-
de realizar auditorías para verificar, entre automatizado que afecten a sus intereses, verbalizado” (30). so al de su redacción anglófona original
otros, aspectos discriminatorios o de con- pero la pregunta aquí es cómo se verifica deood ood”, es decir, “fuerza para el bien”
tenido erróneo o sesgado en el tratamiento fácticamente y cómo se audita y controla Por otra parte, el Capítulo 6 del Proyecto más que “arma positiva”.
automatizado o semiautomatizado de in- la revisión de la persona humana, ya que sobre “Protección de Datos de Información
formación personal. si es meramente ritual, no servirá de nada, Crediticia” deja mucho que desear, más Sumergiéndonos en ese delicioso y es-
como así tampoco si es parcial (revisión allá de la indignación natural que provoca pontáneo juego de palabras provocado
El Responsable de tratamiento debe humana de parte de alguien que depende el meta-mensaje regulatorio de destinar por una incómoda traducción y reinter-
adoptar las medidas adecuadas para sal- de forma directa de quien impone el tra- en una ley tan relevante un capítulo sola- pretación terminológica idiomática, si
vaguardar los derechos de la persona Titu- tamiento automatizado y la elaboración mente a esta temática y no a tantas otras algo encuentra su significado en algo que
lar de los datos; como mínimo, el derecho del perfil está plagada de parcialidad y igualmente riesgosas y aún más básales y arroja letalidad, deberíamos ser como
a obtener intervención humana por parte conflictos de interés, será todo menos neu- humanas (ej. datos de salud, datos biomé- sociedad más decididos, porque el lobby,
del Responsable de tratamiento, a expresar tral y en los hechos infecunda para el titu- tricos, protección de datos personales e hi- la política, la corrupción, el poder, la in-
su punto de vista y a impugnar la decisión. lar del dato porque solo convalidará aque- pervulnerabilidad, etc.). dustria, el mercado si no decidirán por
llo que procura evitar, agotando la instan- nosotros.
El Responsable de tratamiento no puede cia que por ley sirve para revisar aquello En este capítulo se regula la protec-
llevar a cabo tratamientos automatizados de lo cual se queja). ción de datos de información crediticia Las mujeres hemos padecido histórica-
o semiautomatizados de datos personales del sector financiero y no financiero en mente esas decisiones y esta es una más.
que tengan como efecto la discriminación Por otra parte, que el responsable de tra- el art. 49, el plazo de conservación de Adosar positividad artificialmente en una
en detrimento de las personas Titulares de tamiento proporcione información clara, la información crediticia en el art. 50, el técnica de procesamiento de datos que
los datos, particularmente si se encuentran completa y adecuada sobre los criterios y llamado “deber de comunicación” en el tiene riesgo de letalidad es impruden-
basados en alguna de las categorías de datos procedimientos utilizados para la decisión art. 51 que se citará a continuación y la te desde lo jurídico, cuando ya ha sido
contenidas en la definición de datos sensibles automatizada o semiautomatizada, obser- publicación de la información crediticia identificada la peligrosidad y capacidad
del artículo 2º de la presente Ley.” vando secretos comerciales e industriales, en el art. 52: expansiva dañosa en materia de derechos
de poco sirve, ya que la información no pur- humanos.
He criticado al respecto de la redacción ga el defecto de la técnica. Ej. que nos expli- “Art. 51.- Deber de comunicación. A soli-
de estos artículos señalando el año pasa- quen detalladamente el uso de algoritmos, citud de la persona Titular de los datos, los Por ello dejo aquí pronunciado mi de-
do que: no le elimina a estos su sesgo. Responsables de tratamiento que elaboren seo como mujer para este día de lucha tan
un sistema de puntuación y/o calificación especial y de conformidad con el lema
“...Se había anunciado que se iba a recono- En suma a todo ello, la auditoría de la au- de acuerdo al comportamiento crediticio de que nos unge en consigna en esta cele-
cer el derecho de “no inferencia”, el derecho a toridad de aplicación debe posarse no solo las personas deberán comunicar a la perso- bración:
na Titular de los datos el detalle de la fór-
mula aplicada, las variables consideradas, - No dejemos que nuestra voz sea re-
(30) FALIERO, Johanna Caterina, “Análisis del Ante- (31) ONU - Ámbitos digitales. “¿Es la IA un arma po- el procedimiento y la información que se emplazada por el eco de los deseos, recla-
proyecto de reforma de la ley 25.326 de Protección de sitiva?”, 23/02/2024. URL: https://www.ohchr.org/ toma en cuenta, o el algoritmo que se utili- mos y protestas modulados que permiten
Datos Personales. Examen crítico, reflexiones y obser- es/stories/2024/02/ai-force-good za y su composición. Las entidades crediti- la perpetuación de los abusos y prácticas
vaciones”, TR LALEY AR/DOC/2880/2022. cias, financieras, y cualquier otro acreedor, ilícitas que se cometen con nuestros da-
tos con el uso de inteligencia artificial y determinismo algorítmico instalado por la - Persistamos en construir un proyecto sentimiento informado dinámicos de los
algoritmos, que restringen entre tantos de industria de la inteligencia artificial como de reforma al marco regulatorio en pro- titulares de los datos, con una verdadera
nuestros derechos, el derecho de acceso al barrera de acceso generalizada a nuestros tección de datos personales que incluya la perspectiva de género y protección de las
financiamiento. derechos, a los fines de imponer normati- temática de la inteligencia artificial y el uso vulnerabilidades y colectivos postergados.
vamente una industria de procesamiento de algoritmos, en el que el procesamiento
- Disputemos el terreno de la hegemo- de datos en la que se respete también la de datos deba basarse en el ejercicio de
nía heteropatriarcal que nos impone el perspectiva de género. la autodeterminación informativa y con-
Proteger perfiles digitales humanos ante

el imparable avance de la inteligencia artificial
Carina M. Papini Giselle Heleg
Abogada (UBA). Distinción a la Excelencia por la Calidad Académica acredi- Abogada. Magister en Negocios Digitales (Univ. San Andrés). Diplomada en
tada en los Estudios de Derecho por el Colegio de Abogados de la Ciudad de Derecho 4.0 (Univ. Austral) y en Administración Pública 4.0 por la Procura-
Buenos Aires. Cursó las Especializaciones en Derecho Constitucional y en De- ción del Gobierno de la Ciudad de Buenos Aires. Investigadora asociada en
recho Procesal Civil (UBA). Diplomada en Derecho 4.0 (Univ. Austral). Diplo- el Estudio sobre uso estratégico de datos e inteligencia artificial en la Justicia
mada en Administración Pública 4.0 por la Procuración General de la Ciudad. del Banco de Desarrollo de América Latina (CAF). Ha participado como coau-
Ayudante en las materias Elementos de Derecho Administrativo y Elementos tora en la obra colectiva “Artificial Intelligence in Cardiothoracic Imaging” publicada por la Editorial
de Derechos Reales en la Facultad de Derecho (UBA). Coordinadora Acadé- Springer. Coordinadora de gestión académica del Departamento de Posgrado de la Facultad de De-
mica del Posgrado en Inteligencia Artificial y Derecho (UBA). Coautora en el Tratado de Inteligencia recho (UBA). Coordinadora académica del Posgrado de Inteligencia Artificial y Derecho de la misma
Artificial y Derecho de la Editorial La Ley. Universidad. Coautora en el Tratado de Inteligencia Artificial y Derecho de la Editorial La Ley.
SUMARIO: I. Tratamiento de datos personales.— II. En resumen.
La inteligencia artificial (1), tecnología Desde el año 2020, junto a Juan Gustavo La evolución tecnológica y el desarro- ley frente al desarrollo del tratamiento au-
de uso general (2), tal como ha sido defi- Corvalán, hemos realizado diversas pu- llo de la inteligencia artificial ha llevado a tomatizado.
nida por la Organización para la Coopera- blicaciones en la Editorial La Ley donde que tome protagonismo el tratamiento de
ción y el Desarrollo Económico (OCDE), abordamos el fenómeno de la elaboración datos personales a través de procedimien- En el año 2018 se presentó un Proyecto
cuenta con el potencial para cambiar la de perfiles digitales humanos a través del tos automatizados (5). de Ley que perdió estado parlamentario.
lógica de realización de las actividades tratamiento automatizado de datos perso-
humanas. Los datos constituyen el princi- nales con inteligencia artificial. Los algoritmos de inteligencia artifi- En el año 2019 Argentina adhirió (9) al
pal insumo de la inteligencia artificial que cial (6) cuentan con la habilidad de procesar Reglamento 108 del Consejo de Euro-
funciona a través de técnicas de aprendi- En este artículo, se repasarán algunas enormes cantidades de datos (7) a velocida- pa (10), para la protección de las personas
zaje automático. En esencia, el aprendiza- de las cuestiones allí presentadas. En par- des antes impensadas, lo cual permite ob- con respecto al tratamiento automatizado
je automático (machine learning) consis- ticular, el ciclo de vida del perfilado, algu- tener rápidamente y con bastante precisión de datos de carácter personal y su Proto-
te en una serie de técnicas que permiten a nos desafíos y ciertos mecanismos para información sobre gustos, intereses, prefe- colo Adicional.
las máquinas aprender y hacer prediccio- mejorar el ecosistema de protección. rencias, características de la personalidad,
nes a partir de datos históricos, con base útiles para predecir distintas cuestiones. Hoy en día en Argentina existe un pro-
en la identificación de patrones, sin que I. Tratamiento de datos personales yecto de Ley de Protección de Datos Per-
sean necesarias las instrucciones de un I.1. Tratamiento automatizado en la sonales que se encuentra en tratamiento
humano (3). El tratamiento de datos personales in- normativa argentina legislativo (11). Este proyecto, en su ar-
cluye diversas acciones. De acuerdo con el tículo 2, define el tratamiento de datos, de
El procesamiento de datos personales artículo 2º de la ley 25.326 de Protección La Ley vigente en Argentina no prevé el manera similar a la ley vigente, pero aclara
para ofrecer productos, realizar recomen- de Datos Personales de Argentina (4), in- tratamiento automatizado de datos perso- que las operaciones o conjuntos de opera-
daciones, generar necesidades y enviar volucra las operaciones y procedimientos nales con inteligencia artificial en su articu- ciones pueden ser automatizadas, parcial-
información basadas en los intereses, gus- sistemáticos, electrónicos o no, que per- lado. Es lógico, debido a que fue sancionada mente automatizadas o no automatizadas.
tos, costumbres y necesidades, es una de mitan la recolección, conservación, orde- en el año 2000. Téngase en cuenta que, a la
las actividades en las que la inteligencia nación, almacenamiento, modificación, época de su sanción, Argentina fue precur- De este modo Argentina se encuentra
artificial ha demostrado un potencial ini- relacionamiento, evaluación, bloqueo, sora en la región, ya que sentó las bases y allanando el camino para sentar las bases
gualable, a partir de la generación de per- destrucción y en general el procesamiento brindó un marco regulatorio robusto (8). que le permitirán posicionarse a la altu-
files digitales humanos, que captan, pro- de datos personales, así como su cesión a ra de otros países de la región que ya han
cesan y comparan datos constantemente terceros a través de comunicaciones, con- Desde el año 2017 Argentina intentó dar avanzado en la regulación del tratamiento
y sin pausas. sultas, interconexiones o transferencias. algunos pasos para la actualización de la automatizado de datos personales. Es el
Especial para La Ley. Derechos reservados (Ley 11.723) ciones y recomendaciones o tomar decisiones que in- net, dirección de correo electrónico, nombre de cuen- 108, en Argentina.gob.ar, disponible en: Argentina, Es-
(1) Un sistema de IA es un sistema basado en una ciden en entornos reales o virtuales. Estos sistemas esta, número de seguridad social, número de licencia de tado Parte del Convenio 108 | Argentina.gob.ar
máquina que, para objetivos explícitos o implícitos, tán diseñados para operar con diversos grados de au- conducir, número de pasaporte u otros identificadores (10) Ver más en Convention 108 +. Convention for
infiere, a partir de la información que recibe, cómo tonomía. Ver más en ARÁNGUIZ VILLAGRÁN, Matías, similares, o información comercial, información biomé- the protection of individuals with regard to the proces-
generar resultados tales como predicciones, conte- “Auditoría algorítmica para sistemas de toma o soporte trica, información de internet u otra actividad de redes sing of personal data, Council of Europe, disponible en:
nidos, recomendaciones o decisiones que pueden de decisiones”, BID, 2022, p. 5, disponible en: Auditoría electrónicas (como historial de navegación, historial de 16808b36f1 (coe.int).
influir en entornos físicos o virtuales. Los sistemas algorítmica para sistemas de toma o soporte de decisio- búsqueda e información sobre la interacción de un Ti- (11) Ver más en Proyecto de Ley de Protección de Datos
de IA varían en sus niveles de autonomía y adapta- nes (iadb.org). tular con un sitio web, aplicación o anuncio, datos de Personales, AAIP- Transparencia, Acceso a la informa-
bilidad después del despliegue. Ver más en OECD AI (6) Los algoritmos son los motores que impulsan el geolocalización, información de audio, electrónica, vi- ción pública, Datos personales, febrero de 2023: proyec-
Principles overview, disponible en: https://oecd.ai/ aprendizaje automático. Generalmente, en la actuali- sual, termal, olfatoria u otra similar, información pro- to_leypdp2023.pdf (argentina.gob.ar). Este proyecto
en/ai-principles dad se utilizan dos tipos principales de algoritmos de fesional o relacionada al trabajo, información educati- constituye un documento de relevancia ya que incluye
(2) Ver más en Declaración sobre un futuro digital fia- aprendizaje automático: el aprendizaje supervisado va e inferencias derivadas de lo anterior para crear un derechos especialmente aplicables al tratamiento au-
ble, sostenible e inclusivo, Instrumentos jurídicos de la y el aprendizaje no supervisado. La diferencia entre perfil de las preferencias, características, tendencias tomatizado de datos personales. De hecho, en los fun-
OCDE, Traducción no oficial, p. 6. ellos se define por cómo cada uno aprende acerca de psicológicas, predisposiciones, comportamiento, ac- damentos se explica que en la propuesta se contem-
(3) Ver más en CAF, ExperiencIA, Datos e Inteligencia los datos para hacer predicciones. Ver más en ¿Qué es titudes, inteligencia, habilidades y aptitudes del Titu- plaron tres pilares: i) el derecho humano a la protección
Artificial en el Sector Público, Caracas: CAF, 2021, p. 24, el machine learning?, Oracle, disponible en página web lar de datos, entre otras.” Ver Principios actualizados de los datos personales y la autodeterminación infor-
disponible para su descarga en: Experiencia: Datos e In- oficial: ¿Qué es el aprendizaje automático? | Oracle Ar- sobre la privacidad y la protección de datos personales, mativa, ii) la innovación tecnológica —basada en prin-
teligencia Artificial en el sector público (caf.com). gentina. OEA, 2021, p. 24, disponible en: Publicacion_Protec- cipios éticos— que promueva un desarrollo económico
(4) Ver ley 25.326 en: Protección de los datos (infoleg. (7) Resulta interesante la enumeración de datos per- cion_Datos_Personales_Principios_Actualizados_2021. inclusivo, iii) la construcción de confianza a través de
gob.ar). sonales que realiza la OEA, ya que permiten visualizar pdf (oas.org). reglas de juego claras. Además, para la elaboración del
(5) Los sistemas automatizados de toma o soporte claramente algunos de los que surgen, se recolectan y (8) Ver más en Nuevo Proyecto de Ley de Protección de proyecto se convocaron mesas de debate con distintos
de decisiones (ADS por las siglas en inglés de Automa- procesan en el mundo digital: “Ejemplos de Datos Per- Datos Personales, en Argentina.gob.ar, disponible en: actores. El Laboratorio de Innovación e Inteligencia Ar-
ted Decision Support) consisten en sistemas computa- sonales incluyen identificadores como el nombre real, Nuevo Proyecto de Ley de Protección de Datos Personales tificial de la Facultad de Derecho de la UBA, fue convo-
cionales que pueden, para un determinado conjunto de alias, dirección postal, identificador personal único, | Argentina.gob.ar cado y participó a través del envío de sugerencias espe-
objetivos definidos por seres humanos, hacer predic- identificador en línea, dirección de protocolo de inter- (9) Ver más en Argentina, Estado Parte del Convenio cíficas y concretas al proyecto.
caso de Brasil, Ecuador, Colombia, Mé- junto a Juan Gustavo Corvalán, decidi- realizadas en ambas ediciones del Trata- sirven para recoger datos que permiten
xico y Perú (12), los cuales, inspirados en mos llamarlos perfiles digitales huma- do de Inteligencia Artificial y Derecho de comprender el modo en que los usuarios
el Reglamento General de Protección de nos (17) debido a que la inteligencia ar- La Ley, dirigido por Juan Gustavo Corva- interactúan con un servicio en particular.
Datos de la Unión Europea (13), fueron ac- tificial actualiza constantemente el perfil lán (18), hemos realizado la descripción de Las de publicidad permiten, justamente,
tualizando sus normas internas. dinámico de las personas a partir de la las fases del ciclo de vida de la elaboración publicar y renderizar anuncios, persona-
recolección de datos explícitos e implíci- de perfiles, consecuencia del tratamiento lizarlos, limitar el número de veces que
De hecho, en el año 2023, en Argenti- tos y comparaciones, a su vez, con otros automatizado de datos con inteligencia un usuario recibe un anuncio, ocultarlos
na se dictó la disposición 2/2023 de Jefa- perfiles digitales humanos correspon- artificial. cuando ha indicado que no desea volver a
tura de Gabinete de Ministros (14) donde dientes a otros titulares. Si la persona verlos y medir la eficiencia (20).
se realizaron las Recomendaciones para cambia sus intereses o gustos sobre una A continuación se repasarán brevemen-
una inteligencia artificial fiable. El ma- determinada cuestión, los algoritmos se- te las etapas, ya que facilitan el estudio de Las tecnologías similares, como los iden-
nual busca ofrecer herramientas teóricas rán capaces de detectarlo y los perfiles este fenómeno y permiten observar los tificadores únicos que se usan para identi-
y prácticas a quienes formen parte del de personalidad cambiarán, así como desafíos a los que las regulaciones deben ficar una aplicación o dispositivo, las eti-
sector público, ya sea liderando proyec- las predicciones que se realicen sobre el intentar brindar respuestas, para mejorar quetas de píxel y el almacenamiento local,
tos de innovación, desarrollando tecnolo- titular. Con el tratamiento automatizado el ecosistema de protección. pueden realizar la misma función (21).
gías, adoptando tecnologías desarrolladas de datos personales por medio de la in-
por otros equipos técnicos/proveedores, teligencia artificial cambia la lógica del I.3.a. Recolección de datos En esencia, la recolección de los datos
formulando las especificaciones técnicas mundo analógico donde las predicciones del pasado es útil para el procesamiento.
para esas adquisiciones. Lo interesante dependían, en gran medida, de los datos La primera etapa en el ciclo de elabo- Por ejemplo, a partir de la utilización de
en el tema que nos convoca radica en que que el titular declaraba a través de dis- ración de perfiles digitales consiste en la datos sobre el comportamiento pasado
se reconoció la necesidad de establecer tintas manifestaciones. En el paradigma recolección. de los consumidores, los algoritmos de
reglas claras para promover la responsa- actual, a través de su vida en el mundo IA pueden ayudar a descubrir tendencias
bilidad en la recolección y uso de los da- digital, el usuario otorga y genera cons- La clave de la recolección de datos a en los datos para desarrollar estrategias
tos personales. También se reconoció que tantemente datos sobre su persona que partir de algoritmos inteligentes consis- de venta cruzada más eficaces (22). El
desde la primera etapa “Diseño y modela- pueden ser captados rápidamente por te en que es posible captar aquellos da- tratamiento automatizado a través de la
do de datos” se requiere incluir como cri- estos sistemas; y no es de extrañar que tos que surgen de comportamientos que IA permite la recolección de datos de un
terios de diseño aspectos éticos que facili- existan múltiples interesados en benefi- se realizan a partir de una manifestación pasado que tuvo lugar hace milésimas de
ten el cumplimiento de los principios de- ciarse de todas aquellas oportunidades de voluntad expresa del titular de los da- segundos.
finidos y aumenten, en consecuencia, las que brindan las predicciones. tos, por ejemplo, cuando decide publicar
probabilidades de éxito del proyecto (15). una foto o dar un “me gusta” en una red Recolección de datos a través del uso de
Hoy en día se agregó una fuente de ge- social. También se captan aquellos datos la IAGen
I.2. Elaboración de perfiles digitales neración y recolección de datos con un que surgen de un comportamiento im-
humanos gran potencial, pero que complejiza aún plícito, como por ejemplo, observar las A todo el cúmulo de datos que otorga-
en mayor medida el perfilamiento y pro- historias de una determinada marca de mos y generamos en el mundo digital se
El Reglamento General de Protec- fundiza la necesidad ya existente de esta- ropa, durante más tiempo que la ofrecida suman aquellos que brindamos cuando
ción de Datos de la Unión Europea UE blecer políticas y medidas de protección por otras. Estos datos que provienen de utilizamos sistemas de inteligencia arti-
2016/679 se refirió a la elaboración de efectivas para los usuarios. La inteligencia comportamientos implícitos son esen- ficial generativa como ChatGPT de Ope-
perfiles (16), consecuencia del tratamiento artificial generativa, con los principales ciales para realizar inferencias y proceder nAI (23), Bing Chat de Microsoft (24) o
automatizado de datos personales. El pro- sistemas que generaron una disrupción a la elaboración de perfiles que reflejen Gemini (25), que es el nombre que se le
yecto de Ley de Argentina, inspirado en en prácticamente todos los ámbitos de los intereses con la mayor precisión po- asignó actualmente a Bard de Google.
esta norma, definió a la elaboración de nuestra vida, ChatGPT, Bing Chat y Ge- sible.
perfiles como toda forma de tratamiento mini (anteriormente llamada Bard), se En la segunda edición del Tratado de
automatizado o parcialmente automati- constituye como fuente de información Los datos que se recolectan en el mundo Inteligencia Artificial y Derecho anali-
zado de datos personales consistente en donde los usuarios directamente pueden digital incluyen los metadatos (19) como la zamos en detalle las políticas de privaci-
utilizarlos para evaluar determinados as- aportar datos íntimos, en ciertos casos ubicación en la que se toma una fotogra- dad que aplican al uso de estos sistemas
pectos de una persona humana. Seguida- considerados sensibles, sobre su estado fía, la dirección IP del dispositivo, entre de IAGen y, nuestras hipótesis sostienen
mente aclara que, en particular, se utilizan de ánimo, problemas personales, alimen- otras cuestiones. que los sistemas de inteligencia artificial
para analizar o predecir cuestiones relati- tación, estado de salud, e incluso, sobre generativa (IAGen) almacenan datos per-
vas al rendimiento profesional, situación las mismas tareas que realiza en el ámbito Las recolecciones de datos personales sonales (26).
económica, salud, preferencias persona- de desarrollo personal. Tal como se verá, se pueden realizar a partir de distintas he-
les, intereses, fiabilidad, comportamiento, si estas IA comienzan a utilizar sistemas rramientas, entre las que se destacan las En esencia, la política de privacidad de
ubicación, etnia, género o movimientos de procesamiento de datos para la elabo- cookies. Estas herramientas, en definitiva, OpenAI (27), por ejemplo, establece que
de dicha persona. ración de perfiles, la auditabilidad de las se encargan de registrar todos los rastros recogen información de la cuenta, conte-
personas a partir de la IA podrá realizarse que dejamos cada vez que visitamos sitios nido del usuario, información de comu-
En esencia, los perfiles se logran a par- a partir de conversaciones directas entre web. Las cookies son pequeños fragmen- nicación, información de redes sociales
tir de la recolección y procesamiento de los usuarios y la IA. tos de texto que los sitios web que el usua- y otra información que los usuarios pro-
datos personales a gran escala, que a su rio visita, envían al navegador y permiten porcionen cuando participa en eventos
vez permiten predecir situaciones, gus- I.3. Ciclo de vida del perfilado que los sitios web recuerden información o contesta encuestas. Además, se explica
tos, intereses, condiciones, caracterís- sobre la visita. Existen distintos tipos de que recogen información personal que re-
ticas, estados, preferencias, entre otras En el libro Perfiles digitales humanos cookies. Entre ellas, se encuentran las ana- ciben automáticamente por el uso de los
múltiples cuestiones. En el año 2020, y, posteriormente, en las publicaciones líticas y las de publicidad. Las primeras servicios: datos de registro, datos de uso,
(12) Ver sobre la Lei General de Proteção de Dados Protección de Datos europea es uno de los controles rectiva 95/46/CE (Reglamento general de protección que se generan en el ordenador con diferentes progra-
Pessoais (LGPD) de Brasil, en: Lei Geral de Proteção de regulatorios más simples pero de mayor alcance para de datos), disponible en: Reglamento (UE) 2016/ 679 mas tienen datos concretos, que son los que la perso-
Dados Pessoais (LGPD) - Ministério do Esporte (www. controlar algunas prácticas del sector privado que son del Parlamento Europeo y del Consejo - de 27 de abril na introduce, pero también hay otra serie de datos que
gov.br), Ley Orgánica de Protección de Datos Perso- francamente escandalosas. En general, ha movido el de 2016 - relativo a la protección de las personas físicas describen otras características sobre el contexto del
nales de Ecuador, 2021, disponible en: 1162059_-_ péndulo hacia el usuario, que ahora tiene más capa- en lo que respecta al tratamiento de datos personales archivo, unos metadatos de los que por defecto no tie-
LEY_ORGÁNIC A_DE_PROTECCIÓN_DE_DATOS_ cidad de gestionar sus datos privados y qué terceras y a la libre circulación de estos datos y por el que se de- nes control directo. Ver más en Qué son los metadatos
PERS_202107011248165227 (consejodecomunicacion. partes tienen acceso a ellos”. Ver más en GRANDIO, roga la Directiva 95/ 46/ CE (Reglamento general de de un archivo, qué información muestran y cómo se bo-
gob.ec). Ley de Protección de Datos Personales en Pose- Sheila - BRACKEN, Mike,: “El ciudadano no debería te- protección de datos) (boe.es). rran, Xataka, 17 de septiembre de 2018, disponible en:
sión de Sujetos Obligados en la Ciudad de México, 2021 ner que proporcionar al gobierno la misma información (17) Ver CORVALÁN, Juan Gustavo (Director), Carina Qué son los metadatos de un archivo, qué información
disponible en: Portal Consejería Jurídica y de Servicios dos veces”, 30 de julio de 2019, disponible en: https:// Mariel Papini (Colaboradora), “Perfiles digitales huma- muestran y cómo se borran (xataka.com).
Legales del DF - Ley de protección de datos personales blogs.iadb.org/administracion-publica/es/mike-brac- nos. Proteger datos en la era de la inteligencia artifi- (20) Ver más en Cómo utiliza Google las Cookies,
en posesión de sujetos obligados de la Ciudad de Mé- ken-el-ciudadano-no-deberia-tener-que-proporcio- cial. Retos y desafíos del tratamiento automatizado”, Google, disponible en: Cómo utiliza Google las cookies
xico. (cdmx.gob.mx)Ley 29733 de Perú, disponible en: nar-al-gobierno-la-misma-informacion-dos-veces/ Thomson Reuters, La Ley, año 2020. Ver Título Actuali- - Privacidad y Condiciones - Google.
Cuadro_Ley_Proteccion_Datos_Personales.pdf (con- (14) Ver más en disposición 2/2023 de Jefatu- zación constante, elaboración y comparación de perfiles. (21) íbidem.
traloria.gob.pe). ra de Gabinete de Ministros, Subsecretaría de Tec- (18) Ver CORVALÁN, Juan Gustavo – PAPINI, Carina (22) Ver más en ¿Qué es la inteligencia artificial?,
(13) El Reglamento 2016/679 relativo a la protec- nologías de la Información, disponible en: https:// Mariel, “Perfiles digitales humanos. Episodio recarga- IBM, disponible en: ¿Qué es la Inteligencia Artificial
ción de las personas físicas en lo que respecta al tra- www.argentina.gob.ar/normativa/nacional/dispo- do”, publicado en Corvalán, Juan Gustavo (Director), (IA)? | IBM.
tamiento de datos personales y a la libre circulación de sici%C3%B3n-2-2023-384656/texto (consultado el Tratado de Inteligencia Artificial y Derecho, Tomo I, Edi- (23) Ver en Chat GPT: ChatGPT (openai.com).
estos datos de la Unión Europea, entró en vigor el 24 3/03/2024). ción 1a, Thomson Reuters - La Ley, año 2021. Ver COR- (24) Ver en Bing Chat: Chat de Bing | Microsoft Edge.
de mayo de 2016 y se aplica desde el 25 de mayo de (15) Ver más en Anexo 1 de la disposición 2/2023 de VALÁN, Juan Gustavo – PAPINI, Carina Mariel, “Explo- (25) Ver en Gemini: ¿Gemini - Habla para dar rienda
2018. Ver Reglamento (UE) 2016/679 del Parlamento Jefatura de Gabinete de Ministros, Subsecretaría de rando los perfiles digitales humanos: cómo los algorit- suelta a tus ideas (google.com).
Europeo y del Consejo de 27 de abril de 2016 relativo a Tecnologías de la Información, disponible en: Boletin mos nos conocen más que nosotros mismos. Incluye (26) Ver CORVALÁN, Juan G. - PAPINI, Carina Mariel,
la protección de las personas físicas en lo que respecta Oficial Republica Argentina - Jefatura de Gabinete de el análisis del nuevo proyecto de Ley de Protección de HEGEL Giselle, “Privacidad y tratamiento automatiza-
al tratamiento de datos personales y a la libre circula- Ministros Subsecretaría de Tecnologías de la Informa- Datos Personales de Argentina”, publicado en Corva- do de datos personales en la IA generativa. Los gran-
ción de estos datos y por el que se deroga la Directi- ción - Disposición 2/2023. lán Juan Gustavo (Director), Tratado de Inteligencia Ar- des modelos de lenguaje (LLM): ChatGPT, Bing y Bard”,
va 95/46/CE, disponible en: https://eur-lex.europa. (16) Ver más en Reglamento (UE) 2016/679 del Par- tificial y Derecho, Tomo II, Segunda edición, Thomson publicado en Corvalán Juan G. Director, Tratado de In-
eu/legal-content/ES/TXT/?qid=1532348683434&u- lamento Europeo y del Consejo, de 27 de abril de 2016, Reuters - La Ley, año 2023. teligencia Artificial y Derecho, Tomo II, Segunda Edición,
ri=CELEX%3A02016R0679-20160504 (consultado el relativo a la protección de las personas físicas en lo que (19) Los metadatos son los datos que se utilizan Thomson Reuters, La Ley, año 2023.
3/03/2024)Sobre esta norma, Mike Bracken señaló, respecta al tratamiento de datos personales y a la libre para describir otros datos, por lo que solemos referir- (27) Ver más en Política de privacidad de Open AI, dis-
en una entrevista realizada desde el BID: “La Ley de circulación de estos datos y por el que se deroga la Di- nos a ellos como los “datos sobre datos”. Los archivos ponible en: Política de Privacidad (openai.com).
información del dispositivo, cookies (28). Con el uso de herramientas de IAGen, les de la persona, quien podrá manifestar- siguientes datos para personalizar las re-
Si bien aclara, con relación a ciertos tipos a través de los prompts, el usuario reali- los y actualizarlos constantemente. Esto comendaciones: hora del día en que el
de datos que los recoge automáticamente, za solicitudes, preguntas, busca conten- colabora con la mayor precisión que con- usuario ve el contenido; los dispositivos
no especifica si realiza perfilamientos. ción y respuesta a problemas de todo tipo, sideramos que se tendrá en el tratamiento que usa para ver Netflix y durante cuánto
de manera directa. Se suma el carácter automatizado de datos personales, en tiempo ve contenido (35).
Google, cuando el usuario ingresa a de que estas herramientas de IAGen son caso de que estas plataformas lo realicen.
Gemini, directamente declara que con multipropósito (32), por lo que los temas Piénsese que hoy en día las personas so- Es decir que en el contexto actual de ela-
solo tener una conversación está mejo- sobre los que se pueden otorgar y generar licitan a ChatGPT que colabore con ellas boración de perfiles por las plataformas y
rando sus servicios, incluso los modelos datos son casi ilimitadas. en el armado de guías de viaje, de planes páginas web, la comparación es una de las
de aprendizaje automático en los que se de alimentación, de rutinas de ejercicio, actividades principales que permite rea-
basa el agente conversacional. De hecho La recolección de datos aumenta en vo- eventos con amistades, de actividades la- lizar sugerencias novedosas de informa-
especifica que los revisores capacitados lumen y se reducen las probabilidades de borales, manejo de agenda, entre muchas ción, basada en los intereses y caracterís-
deben procesar las conversaciones, como error en el perfilamiento del usuario. otras actividades. Ya no se trata de prede- ticas del usuario.
parte de la mejora, aunque para ello decir que el usuario tiene interés en viajar
claran que toman medidas para proteger I.3.b. Tratamiento automatizado de da- por haber buscado el precio de un pasaje Tratamiento con la IAGen
la privacidad, como la disociación de con- tos personales y comparación de perfiles en una página web, sino que el usuario di-
versaciones de la cuenta de Google (29). rectamente indica el viaje que quiere rea- Tal como hemos visto, la lógica de re-
Sin embargo, alerta a los usuarios en uso La recolección y generación de datos lizar, la cantidad de días, los lugares que le colección de datos a partir del uso de sis-
de Gemini, para que eviten ingresar infor- constante que se realiza a través de los sis- interesa visitar, su posibilidad económica, temas de IAGen se modifica. Si bien no
mación que no quiera que vea un revisor o temas de inteligencia artificial se someten entre otras cuestiones. existe información que asegure que estos
que use Google. Por lo tanto, los datos que a tratamiento automatizado que permite, sistemas elaboran perfiles, cuentan con
surgen de las conversaciones se recogen y en definitiva, la elaboración constante de I.3.d. Comparación de perfiles una fuente de datos que permitiría ela-
se someten a tratamiento (30). perfiles digitales humanos. Estos perfiles borar perfiles más sofisticados, a partir
definen al usuario y, por lo tanto, a la per- La posibilidad de captar datos persona- de los datos que el mismo usuario aporta
Microsoft, por su parte, en su política sona. les y procesarlos automáticamente con IA y genera a través del uso del mismo sis-
de privacidad establece que recopila los se perfecciona a través de la comparación tema a través de conversaciones. En ese
datos a través de las interacciones entre Los algoritmos captan y a la vez definen de perfiles. contexto, los cálculos de probabilidad de
el usuario y los productos. Declara que nuevos intereses, gustos, modas e inclu- intereses y gustos se podrían realizar di-
el usuario proporciona algunos datos di- so, sentimientos y estados. Téngase en Por un lado, como hemos visto, la IA rectamente en base a la misma actividad
rectamente y Microsoft (31), obtiene otros cuenta que la clave del perfilamiento de recoge los datos que otorga y genera el del usuario, con lo cual aumentaría la
recopilando datos sobre las interacciones, las personas consiste en el ofrecimiento mismo usuario en el mundo digital como precisión de las predicciones. Esto podría
uso y experiencias con los productos. Por de información a gran escala, vinculada a las ventanas que abre, las visualizaciones generar un impacto mayor en la privaci-
lo tanto, podría afirmarse que utiliza los diversas temáticas, basadas en los mismos que realiza, los clics y todo el historial dad de la persona.
datos que se otorgan y generan a partir de datos que la persona entregó y generó en que va generando a través de la navega-
las interacciones de Bing Chat. el mundo digital. De este modo se envían ción y el uso de sistemas que contienen I.3.e. Transferencia de perfiles digitales
publicidades, ofertas, anuncios, noticias, aplicaciones integradas que recolectan humanos
¿Nuevo canal de recolección de datos basados en los resultados que la IA arro- datos, como Google Maps. Esos datos se
para la elaboración de perfiles digitales ja, a partir del uso de los datos personales. procesan y forman perfiles que permiten Una vez que se elaboran los perfiles di-
humanos? Por ese motivo los organismos internacio- enviar información adaptada a los gustos gitales humanos, se procede a la transfe-
nales insisten en la necesidad de proteger e intereses. Este proceso se perfecciona rencia.
La IAGen abre un nuevo canal de reco- la privacidad (33). con las comparaciones con otros perfiles
lección de datos personales, que comple- de otros usuarios que tienden a compartir La transferencia implica el envío de da-
menta y perfecciona la recolección que I.3.c. Actualización constante intereses. Esto permite, a la vez, descubrir tos personales, en el mismo territorio o al
se realiza a través de las páginas web y el nuevos intereses que podrían compartir, plano internacional. En el artículo 2 del
uso de redes sociales. De hecho, los datos La velocidad y la constancia del proce- lo cual determina que la IA ofrezca nueva Nuevo Proyecto de Ley de Protección de
que se pueden recolectar a través de siste- samiento automatizado, cuando los algo- información sobre la cual existe una pro- Datos se prevén expresamente las trans-
mas como ChatGPT surgen de la interac- ritmos funcionan correctamente, permite babilidad cierta de que al usuario le guste ferencias internacionales de datos y esta-
ción del usuario con la IA que aporta de que los perfiles se actualicen casi simul- o interese. Los patrones de visualización y blece ciertos requisitos y cuestiones que
manera directa y manifiesta información táneamente a la recolección de datos. De preferencia son útiles para el perfilamien- el transferente debe cumplir y controlar
sobre su situación sentimental, su estado este modo, cada dato captado vinculado to, así como también el procesamiento antes de proceder al envío.
de ánimo, sus necesidades laborales, inte- a un interés —e incluso a un desinterés de los datos de millones de personas que
reses, entre otros, de manera constante y del usuario— se procesa automáticamen- cuentan con un perfil similar. Si a una per- En esencia, la dinámica del tratamiento
como consecuencia del uso principal que te y actualiza el perfil. Así se explica que sona con un perfil similar le ha gustado un automatizado de datos personales con
se hace de estas tecnologías. cada vez que se realiza una búsqueda vin- nuevo contenido, hay posibilidad de que inteligencia artificial implica la transfe-
culada a un determinado producto, casi ambos coincidan, con lo cual las platafor- rencia constante de datos dentro del país
Un ejemplo puede ilustrar las nuevas inmediatamente se reciban publicidades mas ofrecerán este contenido. y hacia el extranjero. De hecho, los mis-
posibilidades. En las redes sociales el in- relacionadas con este a través de las redes mos desarrolladores de las plataformas
terés del usuario por la indumentaria de- sociales, en las distintas páginas web y en Para ello, utiliza diversas técnicas y distin- y redes sociales más utilizadas, así como
portiva depende de distintas acciones que el correo electrónico. tas habilidades. Por ejemplo, los sistemas de las firmas a las que pertenecen, tienen su
realiza en la plataforma, como la búsque- recomendación basados en nuestro com- sede en el extranjero. La publicidad que se
da y seguimiento de ciertos perfiles, los La actualización permite, a su vez, comportamiento como Amazon, Netflix o HBO envía en el mundo digital, en ocasiones,
“me gusta” que coloca e incluso la obser- binar distintos intereses de los usuarios Max, se basan en modelos K-NN para re- corresponde a firmas extranjeras.
vación detenida de los anuncios que las que pueden determinar la preferencia a comendar series y películas (34).
mismas tecnologías envían. Estas accio- ciertas ofertas. Por ejemplo, si la persona I.3.f. Los perfiles digitales humanos como
nes constituyen datos que permiten que disfruta de viajar y, a la vez, le gusta pasar Netflix brinda una explicación sencilla productos u objetos contractuales
los sistemas de IA perfilen al usuario, lo tiempo al aire libre a solas y tiene vacacio- sobre el modo en que perfilan para reco-
cual dará como resultado un cálculo pro- nes el 12 de diciembre, probablemente se mendar contenidos. La plataforma indica Es necesario hacer foco en que exis-
babilístico, a través de trabajos de analítica genere el entorno para que ciertas empre- que el sistema de recomendación intenta ten múltiples interesados en obtener los
de datos, que llevarán a la conclusión de sas turísticas envíen promociones y pa- ayudar a encontrar una serie o película del perfiles digitales humanos que se elabo-
que existe una posibilidad cierta de que el quetes que se adapten en la mayor medida agrado del usuario. Para calcular la proba- ran como consecuencia del tratamiento
usuario se encuentre interesado, aunque posible a estos datos. Por ese motivo, a lo bilidad de interés sobre un determinado automatizado. A través de la lógica de la
sujeto a un —mínimo— margen de error. largo de nuestras investigaciones, hemos título de su catálogo, usan varios factores, IA, es posible conocer con bastante pre-
La IAGen, a partir de las conversaciones afirmado que existen múltiples perfiles de entre ellos: La interacción del usuario con cisión el comportamiento, los intereses,
que los usuarios pueden mantener con los una misma persona que se actualizan y el servicio, como el historial de visualiza- gustos, deseos e intenciones de una gran
sistemas, permite recoger datos que redu- combinan constantemente. ción y las calificaciones asignadas a otros cantidad de usuarios, instantáneamente
cen este posible margen de error, ya que títulos; la actividad de otros miembros y, a la vez, predecir los futuros. Se abre un
el usuario puede indicar en concreto la Actualizaciones a partir de la IAGen con gustos y preferencias similares a los atractivo canal que almacena, actualiza y
indumentaria que necesita, para qué acti- del usuario; la información sobre los títu- genera datos de valor relacionados con los
vidad, con qué características, el ambien- Si se procede a la elaboración de perfiles los, como género, categorías, actores, año usuarios, el cual adquiere un gran valor a
te en el que espera utilizarla, entre otras a través de la IAGen, los algoritmos ten- de lanzamiento, etc. A los datos sobre lo la hora de basar en ellos estrategias de ne-
cuestiones. drán como insumo datos concretos y rea- que la persona vio en Netflix suman los gocio, de publicidad y marketing. En cier-
(28) Ver más en Política de privacidad de Open AI, 14 (32) Ver más en HEIKKILÄ, Melissa - DOUGLAS HEA- las máquinas- afecta al derecho a la intimidad y a otros (34) Ver más en AIRON, Palak, “Inteligencia artifi-
de noviembre de 2023, disponible en: Política de Priva- VEN, Will, “Cuatro tendencias de la IA que nos asom- derechos, incluidos los relativos a la salud, la educa- cial. Una guía rápida para comprender un algoritmo
cidad (openai.com). brarán en 2023”, MIT Technology Review, 9 de enero de ción, la libertad de movimiento, la libertad de reunión y KNN”, Unite.AI, diciembre de 2022, disponible en:
(29) Ver más en Centro de Privacidad de Apps con Ge- 2023, disponible en: Cuatro tendencias de la IA que nos asociación pacífica, y la libertad de expresión. Ver más https://www.unite.ai/es/una-gu%C3%ADa-r%C3%A-
mini, disponible en: Centro de privacidad de Apps con asombrarán en 2023 | MIT Technology Review en esen Los riesgos de la Inteligencia Artificial para la priva- 1pida-para-el-algoritmo-knn/
Gemini - Ayuda de Gemini Apps (google.com). pañol. cidad exigen medidas urgentes - Bachelet, Centro de (35) Ver más en Cómo funciona el sistema de reco-
(30) Ver Gemini, en: Gemini (google.com). (33) La Oficina de Derechos Humanos de la ONU pu- Prensa de Naciones Unidas, 15 de septiembre de 2021,: mendaciones de Netflix en página web oficial de Netflix,
(31) Ver más en Declaración de Privacidad de Micro- blicó un informe en el que se analiza cómo la IA -in- Los riesgos de la inteligencia artificial para la privaci- disponible en: Cómo funciona el sistema de recomen-
soft, disponible en: Declaración de privacidad de Micro- cluidas la elaboración automática de perfiles, la toma dad exigen medidas urgentes —Bachelet | OHCHRA_ daciones de Netflix | Centro de ayuda de Netflix.
soft: privacidad de Microsoft. de decisiones y otras tecnologías de aprendizaje para HRC_48_31_AdvanceEditedVersion.docx (live.com).
tos casos, las páginas y plataformas trans- Sin embargo, existen otros tipos de sco-
fieren y ceden los datos a terceros que los ring que pueden resultar más lesivos. Por
utilizan con distintos fines. En otros casos, ejemplo, los scoring bancarios que deter-
las mismas páginas y plataformas utilizan minan la probabilidad de que un cliente
algoritmos de recomendación que envían determinado cumpla con sus obligaciones
anuncios, publicidades y otra información en caso de obtener un crédito. Las técnicas
casi simultáneamente a la elaboración de de credit scoring fueron introducidas en la
los perfiles. década del ‘70 y generalizadas en la déca-
da del ‘90 gracias al desarrollo de recursos
El hecho de captar datos, someterlos estadísticos y computacionales (38), por
a tratamiento automatizado, actualizar- lo tanto es costumbre que las entidades
los, compararlos de manera constante, financieras recurran a ellas. Sin embargo,
genera un valor estratégico que trans- la IA y el tratamiento automatizado gene-
forma los perfiles digitales humanos en ran desafíos vinculados a la posibilidad de
un producto, objeto de múltiples tran- toma de decisiones basadas en datos per-
sacciones. Por un lado se encuentran las sonales que no se relacionan de manera
plataformas que llevan adelante el tra- directa a las actitudes de los usuarios fren-
tamiento automatizado. Por el otro, las te a sus obligaciones bancarias anteriores,
empresas interesadas en utilizar dichos como la composición de su patrimonio y
perfiles para basar en ellos su lógica de con el hecho de que cuente con un em-
negocio o conocer todo tipo de compor- pleo. El hecho de que la IA haya captado
tamientos, gustos, intereses o preferen- que la persona no se encuentra cómoda
cias. El producto son los perfiles digita- con su empleo o que determine que hay
les pertenecientes a los mismos usuarios un riesgo cierto de que sea despedida en
humanos (36). En definitiva, en el mun- el corto plazo, podrían ser procesados y
do digital se llevan adelante transaccio- arrojar como resultado que la persona no
nes sobre los datos que pertenecen a las sea merecedora del crédito (39).
personas, de las cuales terceros obtienen
beneficios. Párrafo aparte merecen los casos en los
que se han realizado scorings para conce-
Los efectos que se generan en el mundo der o denegar la libertad condicional, con
digital no se limitan a este: En el mundo sistemas como COMPAS (40). En esencia,
analógico el humano que se encuentra de- este sistema asigna un puntaje de ries-
trás del perfil se beneficia, enfrenta, sufre go en función de una comparación que
o soporta las consecuencias del perfila- determina cómo se ve el sujeto con rela-
miento. ción al resto de la sociedad, en cuanto a
su criminalidad. Esto revela si la sociedad
Además de los mecanismos de protec- se ve más riesgosa que un determinado
ción robustos y adecuados, se genera el porcentaje de la población o viceversa. El
desafío para las plataformas que elaboran peso que se asigna a ciertas cualidades o
perfiles y transfieren datos consistentes en características puede resultar discrimina-
realizar los controles necesarios para ase- torio y conducir a estigmas en base a es-
gurar que los terceros a quienes se ceden tereotipos.
los protegerán adecuadamente.
La Propuesta de Reglamento de Inte-
I.3.g. Scoring a partir de los perfiles digi- ligencia Artificial de la Comisión Euro-
tales humanos pea (41) aborda de manera específica los
desafíos vinculados a la realización de
Tanto en el libro Perfiles digitales hu- scorings a partir de sistemas de IA; pro-
manos como en las publicaciones rea- híbe la ‘puntuación social’ y establece
lizadas en el Tratado de Inteligencia requisitos específicos para aquellos siste-
Artificial y Derecho, ediciones 1 y 2, se mas de IA de alto riesgo, como es el caso
ha resaltado la realización de scoring a de los scorings bancarios.
partir del tratamiento automatizado de
datos personales, con distintas finalida- Esta Propuesta, conocida como Ley de
des. El scoring permite categorizar a los IA, fue presentada en abril de 2021 y está
usuarios a través de diversos parámetros siendo debatida en el ámbito del Conse-
previamente definidos que desemboca jo y el Parlamento desde hace un tiempo.
en que se tomen ciertas decisiones con Este texto que espera una adopción for-
relación a ellos. Basándose en su activi- mal en una próxima sesión plenaria del
dad —e inactividad— pasada en el entor- Parlamento, clasifica a los sistemas de in-
no digital se predicen intereses, deseos, teligencia artificial siguiendo un enfoque ner un préstamo. El uso de estos sistemas Scoring con IAGen
acciones, decisiones y, a partir de ello, se basado en el riesgo, señala prohibiciones está permitido, sujeto al cumplimiento de
toman decisiones. y establece requisitos obligatorios al uti- ciertos requisitos obligatorios y una eva- Actualmente, carecemos de informa-
lizar estos sistemas. Los scorings de IA luación de conformidad ex ante. En lo que ción que determine que los datos que sur-
Algunas de estas decisiones pueden que posibilitan la “puntuación social” por respecta a la utilización de scorings para gen de las conversaciones de los usuarios
parecer más banales como las que se vin- parte de los gobiernos son considerados determinar la peligrosidad de una perso- con los sistemas de IAGen como Bing, Ge-
culan al envío de anuncios y publicidad sistemas de IA de riesgo inaceptable y su na, el Reglamento establece que la posi- mini y ChatGPT se utilicen para realizar
reiterativa a quienes se consideran hot uso se encuentra prohibido. Por otra par- bilidad de que una persona física cometa scoring.
leads, es decir, aquellos perfiles a los que te, considera de alto riesgo la utilización un delito o reincida en su comisión no
la IA considera con mayor probabilidad de scorings basados en IA en otros ám- depende únicamente de la elaboración de Imagínese los desafíos que podrían sur-
de comprar un determinado producto. bitos como en la formación educativa o perfiles de personas físicas ni de la evalua- gir si esto ocurriese. En esencia, a partir
Esto es posible gracias al Lead Scoring vocacional capaz de determinar el acceso ción de rasgos de personalidad o compor- de las conversaciones, se podrían realizar
que es el proceso de asignar valores, en la a la educación y el curso profesional (por tamiento delictivo pasado. todo tipo de predicciones y asignaciones
forma de puntos numéricos, a cada lead ejemplo, la calificación de exámenes); la de puntaje, a partir de las propias conver-
que se genere para un negocio, el cual utilización de IA para la clasificación de Por último, en lo que respecta al tra- saciones directas del usuario con la IA.
ayuda al equipo de ventas y marketing a CC.VV. para los procedimientos de contra- tamiento automatizado de datos perso- En este contexto, los temas de conversa-
priorizar usuarios, contactarse con ellos, tación; sistemas de IA destinados a utili- nales, el Reglamento de IA no pretende ción, las expresiones utilizadas e incluso
responderles de manera más apropiada, zarse para evaluar la solvencia de perso- afectar la aplicación de la legislación la frecuencia de uso para ciertos temas
aumentar la tasa de conversión de clien- nas físicas o establecer su calificación cre- vigente en la Unión, como es el caso del en particular, podrían ser reveladores de
tes, a partir del envío de ciertos anuncios diticia; la calificación crediticia que niega Reglamento de Protección de Datos Per- ciertos criterios que conduzcan a asignar
atractivos, entre otros (37). a los ciudadanos la oportunidad de obte- sonales. determinado puntaje basado en scoring a
(36) Esta problemática ha sido explicada también en coring.pdf (bcra.gob.ar). (40) Sobre el funcionamiento de COMPAS ver LU- tomo IV del Tratado. Ver también CORVALÁN, Juan G.,
el documental de Netflix El dilema de las redes sociales. (39) Ver más en CORVALÁN, Juan G. - PAPINI, Carina MIENTO, María Elena, “Predicción, prueba y derecho “El peligro de la inteligencia artificial como oráculo del
(37) Ver más en SORDO, Ana Isabel, “Qué es lead M., “Explorando los perfiles digitales humanos: cómo penal. Algunas líneas en ocasión del análisis del pro- siste-ma penal”, 30/08/2017, disponible en “El peligro
scoring y cómo calcular un lead score”, HubSpot, dis- los algoritmos nos conocen más que nosotros mismos. grama COMPAS Risk Assessment”, disponible en Cor- de la inteligencia artificial como oráculo del sistema
ponible en: Qué es lead scoring y cómo calcular un lead Incluye el análisis del nuevo Proyecto de Ley de Protec- valán Director, Tratado de Inteligencia Artificial y Dere- penal”, Infobae.
score (hubspot.es). ción de Datos Personales de Argentina”, disponible en cho, Segunda Edición, tomo IV, Thomson Reuters, La (41) “Propuesta de Reglamento de la inteligencia ar-
(38) Ver más en GUTIÉRREZ GIRAULT, Matías Alfre- Corvalán Juan G. (Director), Tratado de Inteligencia Arti- Ley, año 2023. DUPUY, Daniela, “Una mirada integral tificial “, Parlamento Europeo, 21 de abril de 2021, dis-
do, “Modelos de Credit Scoring- Qué, Cómo, Cuándo y ficial y Derecho, segunda edición, Thomson Reuters, La del fenómeno de la ciberdelincuencia y el impacto de la ponible en: https://eur-lex.europa.eu/legal-content/
Para Qué –“, octubre de 2007, disponible en: CreditS- Ley, año 2023. inteligencia artificial en las investigaciones digitales”, EN/TXT/?uri=CELEX:52021PC0206
la persona. Las búsquedas de los usuarios cos y que existen cuentas duplicadas. De- —en qué consiste un tratamiento auto- - En relación con el listado de datos
en las grandes plataformas como Google, pende de las identidades de los usuarios matizado, un perfil digital, los motivos y recopilados, las plataformas en general
los “me gusta” en redes sociales, las listas en las redes. finalidades por los que se realiza, incluyen listados extensos y meramente
de contacto y las visualizaciones de histo- enunciativos, por lo que no pueden cono-
rias, serían datos poco reveladores al lado - En relación con las edades, el número —cómo se transfieren, a quién se trans- cerse con precisión y exactitud los datos
de las posibilidades que arrojan los siste- de usuarios de más de 18 años equivale a fieren, qué intenciones tienen los terceros efectivamente recopilados.
mas de IAGen a partir de su interacción más del 84% de todos los adultos de ese para acceder a los datos.
directa con el usuario. Más grandes aún grupo. - Sobre la transferencia de datos, en ge-
son los riesgos que se derivan de ello. Tén- En menor medida aún se brinda infor- neral, mencionan reiteradamente a de-
gase en cuenta que, cuando una persona - El usuario típico de redes sociales uti- mación sobre la inteligencia artificial, su terminados socios o terceros a quienes
inicia una conversación con un sistema de liza o visita activamente una media de 6,7 funcionamiento, su capacidad de proce- transmiten información. Sin embargo, no
IA predictiva, este realiza preguntas y re- plataformas sociales diferentes cada mes. samiento constante y la posibilidad de detallan quiénes son, por qué quieren ac-
querimientos para intentar llegar al resul- programar los algoritmos para que ofrez- ceder a la información y cuál es el bene-
tado que el usuario desea. Aquí también - El usuario típico pasa un promedio de can cierta información y oculten otra so- ficio que recibe la empresa al transferirlo,
podrían visualizarse riesgos vinculados a 2 horas y 23 minutos en redes sociales. Se bre la base de los perfiles y los scoring, tampoco el tiempo de disponibilidad de la
los intentos de persuasión e incluso, de explica que si duermen entre 7 y 8 horas con la incidencia que esto puede tener información ni las garantías de protección
manipulación que lo dirijan a tomar cier- por día, las personas pasan el 15% de sus en numerosos aspectos de la vida, donde de estos últimos al recibirlos.
tas decisiones o a realizar elecciones. vidas usando las redes sociales. las decisiones vinculadas al consumo son
solo uno de ellos. - En cuanto a los motivos que justifi-
I.4. Desafíos a partir del uso de IA en la - El mundo pasa más de 12 mil millones can la recopilación de los datos perso-
protección de datos personales de horas usando plataformas sociales al El escenario de desinformación y de nales, en esencia, suelen darse razones
día, lo que equivale a más de 1,35 millones ocultamiento deliberado por parte de las vinculadas a la publicidad, la personali-
Los desafíos en la actualidad se gene- de años de existencia humana (44). plataformas, páginas web y redes sociales zación y mejora de productos, servicios
ran, en gran medida, por la ausencia de sobre las actividades que realizan con los de mediciones y análisis, así como segu-
regulaciones adaptadas estrictamente al Usuarios por red social: datos personales, incide en la imposibili- ridad, protección y comunicación con el
funcionamiento de la inteligencia artifi- dad de brindar un consentimiento libre y usuario. Se incluyen investigaciones o
cial. Las transferencias internacionales, - Facebook tiene 3.049 millones de consciente por parte de los usuarios, con innovaciones y medición de rendimien-
el tratamiento constante de datos, la ge- usuarios activos mensuales. lo cual se afectan justamente los derechos tos para ayudar a los anunciantes con
neración, comparación y actualización a la información y al consentimiento, con- sus campañas publicitarias. También
de perfiles, se realizan en un entorno - El alcance publicitario potencial de sagrados prácticamente por todas las le- se mencionan razones vinculadas a la
que supera las posibilidades de control. YouTube es de 2.491 millones. yes de protección de datos personales. administración del servicio y las infe-
La capacidad de la IA es incomparable rencias sobre la cuenta del usuario. Este
a la capacidad de procesamiento huma- - WhatsApp tiene al menos 2 mil millo- Tampoco se explican claramente y de último punto, aunque no se detalla en
na. Si se observa la cantidad de usuarios nes de usuarios activos mensuales manera adaptada al entendimiento de los concreto y precisión, consideramos que
que poseen las grandes plataformas y, usuarios los canales de acceso a los datos refiere al perfilamiento.
por lo tanto, el alcance de estas, se pue- - Instagram tiene 2 mil millones de ni la posibilidad de solicitar la rectifica-
de comprender claramente la dimensión usuarios activos mensuales. ción y supresión. De hecho, incluso lue- Las normas más modernas e inclu-
del tratamiento automatizado y del perfi- go de la baja de un usuario, ciertas redes so, el Proyecto de Ley de Protección de
lamiento y sometimiento a scoring y, de - Los anuncios de TikTok pueden llegar sociales conservan la información duran- Datos Personales que se encuentra en
ese modo, el grado de afectación que las potencialmente a 1.562 millones de adul- te algunos meses. Con estas acciones, se tratamiento en el Congreso argentino, fo-
acciones pueden generar, si no se toman tos mayores de 18 años cada mes. afectan los derechos de acceso, rectifica- calizan en el derecho a que no se tomen
las medidas adecuadas. Con solo una ac- ción y supresión. decisiones basadas únicamente en el
ción por parte de una plataforma, se po- - Snapchat tiene 750 millones de usua- tratamiento automatizado de datos per-
drían lesionar los derechos de millones rios activos mensuales. I.4.b. Políticas de datos y privacidad in- sonales. Sin embargo, en el mundo digi-
de usuarios titulares de datos. adecuadas tal, se toman decisiones constantemente,
- El alcance publicitario potencial re- basadas en el perfilamiento y los scoring
De acuerdo con el informe publicado portado de X (Twitter) fue de 619 millones Las políticas de datos y de privacidad que impactan en múltiples derechos, sin
por We are social, Data Reportal y Mel- (a) en julio de 2023. no allanan ni iluminan el camino de la que los usuarios tengan la debida infor-
twater (42): protección, por lo que no alcanzan a ga- mación para brindar el consentimiento.
- LinkedIn no publica datos mensuales rantizar los derechos. Por el contrario, Tampoco las políticas de privacidad se
Internet en general: de usuarios activos (45). son confusas, no se redactan con lenguaje refieren al tratamiento automatizado de
claro, detallado ni conciso y suelen ser in- datos personales. Es difícil garantizar el
- A principios de 2024, 5530 millones Por lo tanto, si bien los principios y de- completas. En El dilema de las redes so- derecho de acceso, rectificación y supre-
de personas en el mundo usaban inter- rechos tradicionales de protección de titu- ciales (46), publicado en el Tomo II de la sión si las personas ni siquiera saben en
net. Equivale al 66,2% de la población to- lares de datos personales pueden ser rein- segunda edición del Tratado de IA y Dere- qué consiste un perfilamiento y si los res-
tal mundial. terpretados y, de este modo, ser aplicados cho, analizamos pormenorizadamente las ponsables del tratamiento efectivamente
ante el tratamiento automatizado, resulta políticas de datos de Google, Instagram y lo hacen.
- La población mundial conectada cre- esencial consagrar nuevos principios y Meta (ex Facebook), FaceApp, LinkedIn,
ció en 97 millones de usuarios en los 12 derechos que nacieron en la nueva era, X (es Twitter), Tik Tok y Threads. Entre las I.4.c. Medidas inadecuadas para prote-
meses hasta enero de 2024 (43). tal como hemos señalado desde la publi- conclusiones generales, podemos extraer ger a los menores de edad
cación de Perfiles digitales humanos, y de allí que las políticas de privacidad, las
Redes sociales: en nuestras publicaciones posteriores. El cuales constituyen un contrato legal y vin- Las acciones para proteger a los meno-
nuevo Proyecto de Ley de Protección de culante entre el usuario y el titular de la res de edad tampoco son suficientes. Tén-
- En enero de 2024, existieron 5040 mi- Datos Personales que se encuentra en tra- plataforma: gase en cuenta que, en general, la edad
llones de usuarios de redes sociales, lo tamiento ante el Congreso, constituye un para crear un usuario en redes sociales, en
que equivale al 62,3 por ciento de la po- gran aporte para acercarse a la protección - En cuanto a su estética, se ofrecen por Argentina, es de trece años. Sin embargo,
blación mundial total. más eficiente y efectiva. escrito, son extensas y, hoy en día, cinco los niños y preadolescentes pueden supe-
de ellas incluyen un índice que permite rar rápidamente este obstáculo a través de
- Se unieron 266 millones de nuevos Veamos a continuación algunos desa- que el usuario se dirija directamente a los la introducción de datos erróneos al re-
usuarios a las redes sociales desde el año fíos que, en concreto, se generan: temas que más le interesen. Incluso, Goo- gistrarse. El análisis de las problemáticas
pasado. Ello equivale a un crecimiento gle y LinkedIn ofrecen algunos videos con que se derivan a partir del uso de redes
anualizado del 5,6 por ciento, a una tasa I.4.a. Falta de información adecuada resúmenes de la información. X ofrece un sociales, páginas web y plataformas por
promedio de 8,4 nuevos usuarios cada se- videojuego para facilitar la comprensión menores de edad, frente al perfilamiento,
gundo. Téngase en cuenta que los problemas se de la política de privacidad. En este pun- excede el marco de este trabajo, pero lo
generan en el mismo momento en que el to, se puede considerar que, desde el año hemos desarrollado en otra publicación
- El total de usuarios activos globales titular de los datos se transforma en usua- 2020, fecha en que publicamos Perfiles di- anterior (47).
aumentó en un promedio de 9,4 usuarios rio de una red social, plataforma digital o gitales humanos, hasta el año 2023 cuan-
por segundo entre octubre de 2023 y enero página web sin la debida información so- do publicamos la segunda edición del Tra- I.4.d. Afectación de derechos
de 2024. bre: tado de IA y Derecho, hay mejoras sustan-
ciales en términos de presentación de las En distintas publicaciones hicimos foco
- Más de 9 de cada 10 usuarios de Inter- —qué son los datos personales y cuáles políticas de privacidad. Ahora bien, la crí- en los riesgos que se presentan para el de-
net utilizan las redes sociales cada mes. Se son los que se recopilan y procesan, tica que puede realizarse consiste en que recho a la intimidad, a la privacidad, a la
aclara que hay que tener en consideración los usuarios se pueden limitar a colocar libertad, a la autodeterminación e incluso,
que las cifras de usuarios de redes sociales —qué implica consentir su uso por los tilde en “Acepto la política de privacidad” a la libertad de la persona a la hora de to-
pueden no representar a individuos úni- responsables, al registrarse, sin siquiera visualizarla. mar una decisión consentida.
(42) Ver más en Digital 2024: Global Overview Re- (44) “Estadísticas Globales de Redes Sociales” - Da- el ecosistema de protección”, publicado en Corvalán, niños y adolescentes en la era de la inteligencia artifi-
port, disponible en: Digital 2024: Informe Global Glo- taReportal - Global Digital Insights. Juan G. (Director), Tratado de Inteligencia Artificial y cial”, LA LEY, 2021-D, Derechos de los niños en el entor-
bal - DataReportal - Global Digital Insights. (45) Ibídem. Derecho, Tomo II, Segunda Edición, Thomson Reuters no digital, Coordinadoras Ojeda y Pancino, 23 de junio
(43) Ver más en “Digital around the world”, Data Re- (46) Ver CORVALÁN, Juan G. - DE BERTI, Carla - - La Ley, año 2023. de 2021.
portal, disponible en: Digital en todo el mundo - Data- PAPINI, Carina M. - HEGEL, Giselle, “El dilema de las (47) Ver más en CORVALÁN, Juan G. – PAPINI, Ca-
Reportal - Global Digital Insights. redes sociales. Políticas de privacidad y cómo generar rina M., “Perfiles digitales humanos. Proteger niñas,
Los riesgos mencionados desembocan la actualidad. Este principio implica una - Derecho a solicitar la supresión de los calizar a los responsables que llevan ade-
también en la posibilidad de determinar forma de responsabilidad proactiva y se datos al responsable. Ver artículo 30 del lante los tratamientos automatizados y
la voluntad de las personas a través del refiere a la etapa previa a la recopilación Proyecto. perfilamientos deben establecer medidas
tratamiento automatizado de datos. En de los datos, es decir, antes de que inicie que resulten realmente proporcionales a
definitiva, la persona, sin tener el debido el tratamiento por parte del responsable Además, es destacable que el Proyecto los daños acaecidos.
conocimiento e imposibilitada de brin- o encargado. Tal como se explica desde la incorpora derechos específicamente en
dar un consentimiento informado real, OEA, en estas primeras etapas es cuando virtud del tratamiento automatizado y el Las redes sociales y grandes plataformas
recibe anuncios, persecuciones publici- los responsables o encargados de los da- perfilamiento: obtienen grandes ganancias al elaborar
tarias, envío de información constante y tos deberían identificar las características perfiles y enviar anuncios e información.
desinformación. La creación de necesida- y posibles riesgos del Tratamiento al que - Derecho a no ser objeto de una de- Por lo tanto, ante un descuido de los datos
des nuevas a partir de la actividad pasada van a someter los datos que eventualmen- cisión basada única o parcialmente en personales, las medidas para efectivizar la
en combinación con la comparación de te obtengan en función de la tarea que de- el tratamiento automatizado de datos, responsabilidad deben ser proporcionales
perfiles genera que los usuarios se vean sarrollen, producto que ofrezcan, o servi- incluida la elaboración de perfiles e in- al daño generado.
inducidos y, en muchos casos, manipu- cio que presten (49). ferencias. Dicho derecho procedería en
lados, para tomar ciertas decisiones sin caso de que le produzca efectos jurídicos I.5.e. ¿Oportunidades para regular ante
la suficiente reflexión. Sumado a ello, tal Sumado a este principio se encuentra perniciosos, lo afecte significativamente el advenimiento de la IAGen?
como hemos mencionado, los scoring en la privacidad por defecto, que implica de forma negativa o tengan efectos discri-
base a perfilamientos pueden ser usados que la protección de los datos personales minatorios. Ver articulo 31 del Proyecto. Hoy en día sabemos que los desarrolla-
para la toma de decisiones que inciden en se garantice, sin esperar a que el usuario dores como Open AI y Google utilizan las
la persona gravemente, como la denega- rechace el tratamiento para hacerlo. En la - Derecho a solicitar la revisión de la conversaciones de los usuarios para reen-
ción de un crédito e incluso, la negación actualidad se tratan los datos personales decisión tomada. trenar sus productos. De hecho, Google
de la libertad condicional como en el caso de los usuarios titulares de los datos más anuncia la posibilidad de que las conver-
de COMPAS. El agravante en este último allá de contar o no con un consentimiento - Derecho a la portabilidad de los da- saciones sean revisadas por humanos. En
punto es que se toman parámetros y datos válido. Por ese motivo, consideramos que tos, incluso cuando estos se tratan por este contexto, es necesario anticiparse a
que no guardan una necesaria relación de el principio general debe cambiar: Se pro- medios electrónicos o automatizados. los riesgos. No existe la certeza de que los
razonabilidad y proporcionalidad y que tegen los datos, a pesar de contar con la Ver artículo 32 del Proyecto. Este derecho grandes modelos de IAGen se encuentren
pueden exceder las finalidades de reco- expresión del titular. En el artículo 40 del es muy interesante debido a que permite perfilando a partir de las conversaciones
lección. Proyecto de Ley de Protección de Datos en que el titular de los datos solicite la copia de los usuarios.
tratamiento en Argentina, se incluyen es- de los datos que hubiese proporcionado
De hecho la IAGen presenta desafíos estos principios. al responsable o que sean objeto de tra- Consideramos que nos encontramos
pecíficos. UNESCO ha señalado que el uso tamiento. en un momento crítico e indispensable
de datos y contenidos sin consentimiento I.5.b. Consagración de nuevos princi- para comenzar a establecer medidas ade-
por parte de los sistemas de IAGen plan- pios y derechos aplicables al tratamiento Aquí hemos repasado brevemente los cuadas, regulaciones robustas y definir
tea un desafío mayor para la protección de automatizado de datos personales, a la derechos que se incluyeron en el Proyec- límites al uso de la inteligencia artificial
datos (48). Ni siquiera podemos tener la elaboración de perfiles y al scoring to de Ley de Protección de Datos. En el generativa. Esto permitirá, en parte, evitar
certeza de que se elaborarán perfiles digi- artículo Explorando los perfiles digitales que se produzca la situación actual donde
tales humanos acerca de los usuarios. Entre estos, consideramos plausibles al- humanos, publicado en el Tomo II del la inteligencia artificial, el procesamiento
gunos de los que se han incluido en el Pro- Tratado de Inteligencia Artificial y Dere- automático de datos personales, la ela-
Los derechos de consentimiento, in- yecto de Ley de Protección de Datos Per- cho, junto con Juan Gustavo Corvalán, he- boración de perfiles y el sometimiento a
formación, derecho a que no se tomen sonales que se encuentra en el Congreso mos brindado nuestro punto de vista con scoring avanzaron sin que las normas se
decisiones basadas únicamente en el tra- de Argentina (50). relación al modo en que se consagró cada adecuen a ellas, de modo que sea posible
tamiento automatizado, acceso, rectifica- uno de los derechos, sus alcances y algu- controlar la actividad de las plataformas,
ción, supresión y principios como licitud, Entre los derechos que se incluyen en el nas aclaraciones que deberían realizarse páginas web y redes sociales y responsabi-
consagrados expresamente, se ven afecta- proyecto, consideramos de relevancia: para acrecentar y fortalecer el ecosistema lizar a los responsables de los tratamien-
dos. de protección. Aclaramos que, en térmi- tos ante daños generados a los usuarios.
- Derecho a la información. Se incluye nos generales, el modo en que se escribió
I.5. Algunas propuestas para mejorar el deber de suministrar información sobre el Proyecto de Ley y su alcance puede ser En esencia, consideramos que las nue-
el ecosistema de protección la existencia de decisiones automatizadas muy beneficioso para garantizar de mane- vas regulaciones deben tener en conside-
y la realización de perfiles. Ver artículos 27 ra más robusta la protección de los datos ración:
Desde nuestro punto de vista, existen y 31 del Proyecto. Además, se enumera personales.
algunas medidas que pueden implemen- cierta información que el responsable del - En qué consiste la IAGen y su modo de
tarse con el objetivo de proteger a los tratamiento debe brindar antes de pro- I.5.c. Establecimiento de exigencias vin- funcionar.
usuarios titulares de datos personales en ceder a la recolección de datos. Ver ar- culadas a la transparencia, a la trazabili-
el mundo digital. tículo 16 del Proyecto. dad, a la rendición de cuentas - El entrenamiento de los sistemas de
IAGen.
Entre estas medidas, consideramos que - Derecho al consentimiento previo, Consideramos que sería importante que
se encuentran las siguientes: expreso, libre, inequívoco, informado y los responsables de los tratamientos cuen- - El procesamiento de datos, entre los
específico. Ver artículo 2 del Proyecto. Es ten con la exigencia de presentar informa- que se encuentran datos personales.
I.5.a. Privacidad desde el diseño y por interesante su consideración como base ción ante las oficinas de protección de
defecto legal para el tratamiento de datos. Ver ar- datos, acerca de las acciones que realiza- - Los posibles escenarios de perfila-
tículo 14 del Proyecto. El consentimiento ron, los procesos o tratamientos a los que miento, scoring y transferencias de datos
Es importante destacar la necesidad debe ser dado para uno o varios fines es- sometieron los datos, las finalidades, los que puedan realizarse en el futuro.
de exigir que los principios y derechos pecíficos. plazos durante los cuales los conservan,
de las personas sean tutelados desde el los mecanismos que tomaron para que A partir de estas premisas, se deben es-
mismo momento en que comienza el ci- - Derecho a revocar el consentimiento las personas presten un consentimiento tablecer:
clo de vida de un sistema de IA. En este en cualquier momento y sin necesidad informado, entre otras cuestiones. Esto
sentido, desde la preparación de los datos de fundamentar la petición (51). Ver ar- permitirá la auditabilidad de los procesos - Obligaciones específicas y concretas,
se deben tutelar los datos personales. De tículo 15 del Proyecto. y favorecerá que se tomen medidas apro- con relación a los derechos de informa-
hecho, cuando se determina la finalidad piadas y anticipadas ante la detección de ción y consentimiento a efectivizarse con
del sistema de IA a crear y el alcance que - Derecho a oponerse al tratamiento posibles riesgos. anterioridad al uso por parte de los titula-
tendrá en su despliegue, se pueden vis- mismo de los datos personales o a una res de datos.
lumbrar las normas que resultarán apli- finalidad específica. I.5.d. Establecimiento de medidas efec-
cables y tomar las medidas necesarias. tivas para responsabilizar ante daños En esencia, es necesario establecer en
De hecho uno de los principios que se - Derecho a oponerse al tratamiento vinculados a los datos personales de los detalle y de manera simple y comprensi-
establecen en las normas, es la privacidad que tuviera como finalidad la publici- usuarios titulares ble, todos los datos que se procesan, las
desde el diseño. Resulta de gran utilidad dad, la prospección comercial, la merca- finalidades y todas las actividades que se
para evitar que a través de los sistemas dotecnia directa, incluso, la elaboración En este contexto, consideramos que las realicen a partir de y como consecuencia
se cometan excesos que se producen en de perfiles. autoridades encargadas de controlar y fis- del procesamiento automático. Además,
(48) Ver más en MIAO, Fengchun - HOLMES, Wayne, desde donde se señaló que “Las múltiples demandas la gestión ética de los datos —aunada a temas más un derecho de control sobre los datos referidos a la
“Guidance for Generative AI in education and re- que las plataformas de redes sociales han enfrenta- amplios de la misma índole como la toma de decisio- propia persona que, si bien han emergido al exterior,
search”, UNESCO, 2023, disponible en: Guidance for do sobre el tratamiento que brindan a los datos per- nes automáticas— cobrará cada vez mayor relevan- fuera de la esfera misma de la persona, y se han in-
generative AI in education and research - UNESCO Bi- sonales de sus personas usuarias, son un ejemplo de cia será el de la inteligencia artificial (IA) y el uso de corporado a un archivo electrónico, nada impide que
blioteca Digital. la importancia que tiene para los países contar con algoritmos. Ver más en BUENADICHA, César - GAL- puedan continuar bajo el control y salvaguarda de su
(49) Ver más en Principios actualizados sobre la pri- un marco legal específico y adecuado que asegure la DON CLAVELL, Gemma - HERMOSILLA, María Paz - titular. Ver GOZAÍNI, Osvaldo Alfredo, “Derecho pro-
vacidad y la protección de datos personales, OEA, 2021, protección de datos personales de su ciudadanía”. LOEWE, Daniel - POMBO, Cristina, “La gestión ética cesal constitucional, Habeas Data. Protección de da-
página 73, disponible en: Publicacion_Proteccion_Da- Ver más en RODRÍGUEZ, Fabricio, “¿Qué está pasan- de los datos”, BID, marzo de 2019, p. 30, disponible tos personales”, Rubinzal Culzoni, 2021, disponible
tos_Personales_Principios_Actualizados_2021.pdf do con nuestros datos personales en las redes socia- en: https://publications.iadb.org/es/la-gestion-eti- en: 1.PDF (gozaini.com). En este contexto, el titular
(oas.org). les?”, 11 de septiembre de 2023, disponible en: Pro- ca-de-los-datos puede revocar su consentimiento y, como consecuen-
(50) La existencia de marcos legales adecuados tección de datos personales, redes sociales en Améri- (51) Tal como explica el Dr. Gozaíni, cuando se re- cia, solicitar el detenimiento inmediato de los proce-
para la protección de datos personales, ha sido re- ca Latina y Caribe (iadb.org). Desde BID, se ha soste- fiere al hábeas data, la privacy se concibe, por sec- samientos sobre sus datos.
saltado por el Banco Interamericano de Desarrollo, nido que, en el futuro, seguramente el ámbito donde tor doctrinal, como una libertad positiva para ejercer
es necesario brindar información actuali- Los derechos genéricos aplicables al actores implicaron avanzar sobre los da- de estos modelos de lenguaje. Sin em-
zada, simple y adaptada a la comprensión tratamiento de datos deben ser respeta- tos personales de los usuarios, quienes, bargo, estamos en un punto estratégico
de los usuarios, sobre la IAGen, en qué dos por los desarrolladores y responsables en muchos casos, inocentemente, hicie- y neurálgico para crear normas y esta-
consiste, su funcionamiento, los resulta- del tratamiento. Pero además, es necesa- ron clic en “Aceptar” en las políticas de blecer medidas adecuadas para garanti-
dos que genera, entre otras cuestiones. rio eficientizar la protección, con la con- datos y de uso y, con ello, abrieron las zar los derechos de los titulares de datos
Esto facilita la prestación de un consen- sagración de nuevos principios y derechos puertas a un mundo constante de perfi- personales y evitar “la llegada tardía” a
timiento válido y más robusto y contribu- vinculados a la IAGen. lamientos, scoring, envío de contenido, través de normas ineficaces e inadapta-
ye a evitar el modelo de las redes sociales avisos y publicidad en el mundo digital. das al modo en que procesan los algorit-
donde las personas brindan su consen- - Establecer métodos concretos y efec- Los efectos, traspasan las pantallas y mo- mos y sistemas.
timiento, en muchos casos, sin tener co- tivos de responsabilidad con medidas efi- nitores e inciden en el mundo analógico.
nocimiento de que sus datos serán objeto caces. La solución no se encuentra en prohibir Detrás de los perfiles digitales existen
de un tratamiento automatizado con IA. ni interrumpir los servicios, sino en en- humanos a quienes se constituyó como
Los montos de las multas ante vulnera- contrar mecanismos de protección que personas titulares de derechos, los cuales
- Mecanismos efectivos de información ción de datos personales suelen ser poco sean sostenibles y eviten la lesión de los deben ser garantizados en todo momento,
sobre cualquier modificación que impacte significativas y no constituyen una afecta- derechos constitucionales y convencio- incluso, en el mundo digital.
en la protección de datos y exceda el mar- ción a los desarrolladores y responsables, nales consagrados en los tratados inter-
co del consentimiento, así como medidas en relación a sus grandes modelos de ne- nacionales de protección. Se requieren
eficientes para que la persona vuelva a gocio. Por ese motivo consideramos que equipos interdisciplinarios que aborden
prestarlo en estos casos. sería necesario pensar medidas concretas la protección de datos personales fren-
que realmente sean significativas y prote al tratamiento automatizado, en todo Más información
- Obligaciones específicas con relación porcionales como, por ejemplo, la suspen- el ciclo de vida de los sistemas (52). Las
a los distintos niveles de afectación de sión del funcionamiento de la plataforma regulaciones a través de normas jurídicas Monti, Natalia, “Inteligencia artificial y
derechos que puedan desencadenarse de en la jurisdicción en que se produce la deben ser acompañadas por políticas efi- neurotecnologías. Necesidad de protección
las conversaciones que pueden tener los vulneración, por un plazo determinado. cientes y eficaces por parte de las autori- ante nuevas encrucijadas”, Sup. Innovación
usuarios. dades de control, y complementadas con y Derecho 2024 (febrero), 1, TR LALEY AR/
Además, desde nuestro punto de vista, canales de formación y educación digital DOC/342/2024
Es decir, cuando se detecte que los da- para lograr normas jurídicas que realmen- para los usuarios, así como por campa- Colombo, María Celeste, “La manipulación
tos que puede suministrar el usuario en te funcionen en la práctica, se requiere la ñas de concientización. algorítmica: una problemática de la revolu-
las conversaciones son sensibles, las me- formación de equipos interdisciplinarios ción 4.0 que colisiona con el derecho a la
didas y estándares de protección deben donde participen personas con conoci- Los sistemas basados en inteligencia libertad de expresión y el derecho a la infor-
fortalecerse. Consideramos que, en estos mientos técnicos, ingenieros, abogados, artificial generativa sumaron grandes mación”, Sup. Innovación y Derecho 2023
casos, será necesario que, si la persona es filósofos, sociólogos, psicólogos, entre ventajas y oportunidades a partir de la (agosto), 1, TR LALEY AR/DOC/1806/2023
mayor de edad, preste un consentimiento otros, para ampliar el margen de cono- democratización del acceso a la IA y a la
específico para acceder a la conversación. cimiento. posibilidad de su utilización a bajo costo
Si es menor de edad, directamente la pla- económico. De hecho, desde UBA-IALAB Libro recomendado
taforma debe impedir el desarrollo de la II. En resumen hemos descubierto importantes oportu-
conversación. nidades para su uso en distintas tareas y Tratado de Inteligencia Artificial y Derecho
Las redes sociales, las grandes platafor- subtareas laborales, donde se puede op- Autor: Corvalán, Juan G.
- Derechos y principios de protección mas como Google y las páginas web brin- timizar y aumentar la eficiencia. Hoy en Edición: 2023
de datos personales, específicos ante el dan beneficios a los usuarios. Los mode- día, no contamos con la certeza sobre la Editorial: La Ley, Buenos Aires
uso de la IAGen. los de negocio que implementaron estos elaboración de perfiles y scoring a través
(52) En esencia, en la Enmienda 80 a la Propuesta este respecto, los principios de minimización de datos estado de la técnica al objeto de proteger esos dere- en: Informe sobre la propuesta de Reglamento del Par-
de Reglamento del Parlamento Europeo y del Consejo y de protección de datos desde el diseño y por defecto, chos. Dichas medidas deben incluir no solo la anoni- lamento Europeo y del Consejo por el que se establecen
por el que se establecen normas armonizadas en ma- tal como se establecen en la legislación de la Unión en mización y el cifrado, sino también el uso de una tecno- normas armonizadas en materia de inteligencia artificial
teria de inteligencia artificial (Ley de Inteligencia Arti- materia de protección de datos, son esenciales cuan- logía cada vez más disponible que permite introducir (Ley de Inteligencia Artificial) y se modifican determina-
ficial) y se modifican determinados actos legislativos do el tratamiento de datos entraña riesgos significati- algoritmos en los datos y obtener información valiosa dos actos legislativos de la Unión | A9-0188/2023 | Par-
de la Unión, se sostuvo: “El derecho a la privacidad y vos para los derechos fundamentales de las personas. sin la transmisión entre las partes ni la copia innecesa- lamento europeo (europa.eu).
a la protección de datos personales debe garantizarse Los proveedores y los usuarios de sistemas de IA deben ria de los propios datos en bruto o estructurados.” Ver
a lo largo de todo el ciclo de vida del sistema de IA. A aplicar medidas técnicas y organizativas conforme al en página oficial del Parlamento Europeo, disponible
Edictos
Ante el Juzgado Nacional de Primera Instancia en lo Civil y Comercial ra Instancia en lo Civil y Comercial Instancia en lo Civil y Comercial Fe- Instancia en lo Civil y Comercial Fe- Federal Nº 7, a cargo del Dr. Javier
Instancia en lo Civil y Comercial Fe- Federal Nº10, Secretaría Nº 19, Federal Nº 10, Secretaría Nº 20, deral Nº 10, Secretaría Nº 19, sito en deral Nº 8 a cargo del Dr. Marcelo Pico Terrero, Secretaría Nº 13, a mi
deral Nº 10, Secretaría Nº 19, sito en sito en Libertad 731, 9º Piso de sito en Libertad 731 9º piso de esta Libertad 731 9º piso de esta ciudad, Gota, secretaría Nº 16 a mi cargo, cargo, sito en Libertad 731 Piso 6º
Libertad 731 9º piso de esta ciudad, esta ciudad, tramita el pedido de ciudad, tramita el pedido de ciuda- tramita el pedido de ciudadanía ar- sito en Libertad 731 7º piso de ca- de CABA, comunica que el Sr. ES-
tramita el pedido de ciudadanía ar- ciudadanía argentina de el/la Sr./ danía argentina de la Sra. JANEIKA gentina de la Sr. BRIAN MONTERO pital Federal, hace saber que GUI- PINOZA MARCANO DANIEL ALE-
gentina de la Sra. NADEZHDA DA- Sra. ANDREA CAROLINA SANTA- LISSETH CLEMENTE CABELLO de ROSENDO de nacionalidad vene- DO JAVIER OBANDO CARPIO de JANDRO DNI Nº: 95975894 nacido
VYDOVA de nacionalidad rusa con NA VILL ASMIL de nacionalidad nacionalidad venezolana con D.N.I. zolana con DNI 95.332.137 según el nacionalidad ecuatoriana con DNI el 26 de enero de 1997, en, Valencia,
PAS 725841112 según el expediente venezolana con 95.799.145 según 95.945.523 según el expediente expediente “BRIAN MONTERO RO- 93.936.020 ha peticionado la con- Estado Carabobo, Venezuela, ha
“DAVYDOVA, NADEZHDA s/SO- Exp. Nº 4151/2022 “SANTANA VI- “CLEMENTE CABELLO JANEIKA LIS- SENDO s/SOLICITUD DE CARTA DE cesión de la ciudadanía argentina, solicitado la declaración de la ciu-
LICITUD DE CARTA DE CIUDADA- LLASMIL, ANDREA CAROLINA s/ SETH s/ SOLICITUD DE CARTA DE CIUDADANÍA” Exp. Nº 8988/2017. a fin de que los interesados hagan dadanía argentina. Cualquier per-
NÍA” Exp. Nº 2513/2023. Por ello SOLICITUD DE CARTA DE CIUDA- CIUDADANÍA” Exp. Nº 21078/2022. Por ello cualquier persona que tu- saber a este Juzgado las circuns- sona que tuviere conocimiento de
cualquier persona que tuviere cono- DANÍA”. Por ello cualquier persona Por ello cualquier persona que tuviere conocimiento de algún aconte- tancias que pudiesen obstar a dicho algún acontecimiento que pudiere
cimiento de algún acontecimiento que tuviere conocimiento de algún viere conocimiento de algún acontecimiento que estimara podría obstar pedido. Publíquese por dos días. El obstar dicha concesión, deberá ha-
que estimara podría obstar a dicha acontecimiento que estimará po- cimiento que estimara podría obstar a dicha concesión, deberá hacerlo presente deberá ser publicado por cer saber su oposición fundada al
obstar a dicha concesión, deberá ha- dría obstar a dicha concesión, de- a dicha concesión, deberá hacerlo saber a este Juzgado. Publíquese por dos veces en un lapso de quince Juzgado. El presente se publica a
cerlo saber a este Juzgado. Publíque- berá hacerlo saber a este Juzgado. saber a este Juzgado. Publíquese por dos días días en el diario LA LEY. los efectos del art. 11 de la Ley 346.
se por dos días. Publíquese por dos días. dos días. Buenos Aires, 26 de diciembre de Buenos Aires, 7 de febrero de 2024 Publíquese por dos días dentro de
Buenos Aires, 23 de agosto de 2023 Buenos Aires, 10 de mayo de 2022 Buenos Aires, 7 de marzo de 2023 2023 Juan Martín Gavaldá, sec. un plazo de quince días
María Lucila Koon, sec. María Lucila Koon, sec. Matías M. Abraham, sec. Matías M. Abraham, sec. LA LEY: I. 08/03/24 V. 08/03/24 Buenos Aires, 7 de febrero de 2024
LA LEY: I. 08/03/24 V. 11/03/24 LA LEY: I. 08/03/24 V. 11/03/24 LA LEY: I. 08/03/24 V. 11/03/24 LA LEY: I. 08/03/24 V. 11/03/24 Fernando Gabriel Galati, sec.
El Juzgado Nacional de Primera LA LEY: I. 08/03/24 V. 08/03/24
El Juzgado Nacional de Primera Ante el Juzgado Nacional de Prime- Ante el Juzgado Nacional de Primera El Juzgado Nacional de Primera Instancia en lo Civil y Comercial
Director Editorial: Fulvio G. Santarelli PROPIEDAD DE LA LEY S.A.E. e I. linkedin.com/showcase/thom-

Administración, Comercialización y Redacción: Thomsonreuterslaley
Jefa de Redacción: Yamila Cagliero son-reuters-argentina-legal/ Centro de atención
Editores: Tucumán 1471 (C. P. 1050 AAC) al cliente:
Nicolás R. Acerbi Elia Reátegui Hehn Bs. As. República Argentina
TRLaLey thomsonreuters.com.ar/es/solu-
Valderrama Érica Rodríguez Impreso en La Ley, Rivadavia 130, Avellaneda, 0810-266-4444
ciones-legales/blog-legal.html
Jonathan A. Linovich Marlene Slattery Provincia de Buenos Aires.

La Ley 08-03-2024

Cargado por

Copyright:

Formatos disponibles

La Ley 08-03-2024

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

La Ley 08-03-2024

Cargado por

Copyright:

Formatos disponibles

Buenos Aires, Argentina

Viernes 8 de marzo de 2024

AÑO LXXXVIII Nº 38 TOMO LA LEY 2024-A ISSN: 0024-1636 - RNPI: 5074180

Las mujeres ante el desafío de la Inteligencia Artificial

Doctrina ¿Es posible una inteligencia artificial libre de violencia?

Las mujeres frente a la IA

CENTRAL B CUENTA N° 10269F1

Los impactos de género de la IA

8M: Conmemoración de una conquista universal

¿Democracia digital inclusiva

¿Es posible una inteligencia artificial

Consumo digital y perspectiva de género

Las mujeres frente a la IA

uno de los más complejos para su ejercicio La inteligencia artificial ha consolidado

Proteger perfiles digitales humanos ante

SUMARIO: I. Tratamiento de datos personales.— II. En resumen.

Director Editorial: Fulvio G. Santarelli PROPIEDAD DE LA LEY S.A.E. e I. linkedin.com/showcase/thom-

También podría gustarte