Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
Skip to main content
Caroline Lequesne
  • Faculté de Droit et Science Politique
    Avenue Doyen Louis Trotabas
    06000 Nice
    France
« Les prisons algorithmiques de la pauvreté », Recueil Dalloz 2023, p.1908.

Observations sur les débats juridiques autour de l'encadrement de l'IA : risque existentiel ou risque ordinaire?
Présentation courte du Réglement européen sur l'Intelligence artificielle. Version de travail.
« L’encadrement des technologies de surveillance des foules », in B. FRYDMAN, N. GENICOT, L'intelligence artificielle face à l'état de droit, Bruylant, Bruxelles, collection “Penser le droit”, 2024, pp.139-161. Les risques soulevés par... more
« L’encadrement des technologies de surveillance des foules », in B. FRYDMAN, N. GENICOT, L'intelligence artificielle face à l'état de droit, Bruylant, Bruxelles, collection “Penser le droit”, 2024, pp.139-161.
Les risques soulevés par l’adoption des systèmes de surveillance des foules, en termes de libertés fondamentales – et de (cyber)sécurité – invitent à la mobilisation de fondements légaux solides au soutien de leur déploiement. Dressant les constats d’une absence de dispositions idoines aux technologies de surveillance, le législateur européen a entrepris d’y répondre en posant les premiers jalons d’un cadre qui laissera de larges marges de mains-d’œuvre nationales ; le législateur français s’en est d’ores et déjà saisi par le truchement d’une loi expérimentale et d’une proposition de loi actuellement en discussion. Dans cette contribution nous examinons ces récentes initiatives à la lumière des exigences fondamentales de la démocratie technologique qui se dessinent dans la jurisprudence des juridictions supérieures. Nous concluons en pointant les lacunes, les failles et les espoirs que soulèvent leurs approches.
Le présent rapport intéresse le recours aux technologies d’identification par les forces de police dans les espaces accessibles au public : reconnaissance faciale, vidéosurveillance intelligente, systèmes de police « prédictive ». Un des... more
Le présent rapport intéresse le recours aux technologies d’identification par les forces de police dans les espaces accessibles au public : reconnaissance faciale, vidéosurveillance intelligente, systèmes de police « prédictive ». Un des points de convergence technologique tient dans la mobilisation de techniques dites d’IA « physiognomoniques ». La physiognomonie promet de déduire des caractéristiques physiques d’une personne, certains traits de caractère. Cette pseudo science - héritée de l’Antiquité et promue de manière controversée au 19e siècle - connaît aujourd’hui une résurgence au travers du déploiement de l’intelligence artificielle. Nous désignons comme IA physiognomoniques les systèmes développés au service de l’identification des personnes dangereuses, au départ du gabarit d’un visage (reconnaissance faciale) ou du gabarit standard d’une personne considérée comme dangereuse (reconnaissance comportementale et émotionnelle). La présente étude dresse un état des lieux des usages de ces technologies, en analyse les risques et le régime juridique applicable, puis formule, en conclusion, des propositions visant à en combler les lacunes. Pour renforcer la démocratie technologique, l’étude plaide en faveur d’une stricte restriction des usages et de l’adoption d’un régime de redevabilité adapté.
Paru dans l'ouvrage dirigé par C. Castets Renard et J. Eynard, Un droit de l'intelligence artificielle : entre règles sectorielles et régime général, Larcier, 2023, pp. 119-135. La digitalisation des politiques sociales se loge au cœur... more
Paru dans l'ouvrage dirigé par C. Castets Renard et J. Eynard, Un droit de l'intelligence artificielle : entre règles sectorielles et régime général, Larcier, 2023, pp. 119-135.

La digitalisation des politiques sociales se loge au cœur de la question du contrat social. Je soutiens qu’elle transforme celui-ci en profondeur. Les changements que j’observe et décrirai ne traduisent pas un simple changement formel résultant de « l’équipement » technologique – en l’occurrence algorithmique – des administrations ; le phénomène transforme la relation administrative et avec elle, la politique sociale dont elle est garante. L’examen des soubassements anthropologiques de l’administré « digitalisé » révèle en effet une quantification de ce dernier, quantification qui, généralisée et systématisée, menace les fondements même de l’État-providence. La première partie de notre étude examine les manifestations et les ressorts de la transformation digitale des services publics sociaux (En Europe, aux Etats Unis et en Chine). Cette transformation se traduit par l’institutionnalisation d’un système de contrôle et de surveillance de masse (I). La seconde évaluera les conséquences de cette mise en système, de l’administré à l’État-providence (II).
Assistons-nous à une (nouvelle) révolution technologique et, dans la positive, nous appartient-il d’accompagner celle-ci par la révolution juridique 3.0 ?
Contribution à l'ouvrage collectif dirigée par CLUZEL L. PREBISSY C., SEE A. (dir), La transformation numérique du service public : une nouvelle crise ?, éd. Mare & Martin, 2022, pp. 251-267.
Commentaire de la décision CNIL 26 nov. 2021, décis. MED-2021-134, JO 16 déc. Les investigations menées par la CNIL à l'encontre de la société Clearview AI ont conclu que le traitement de données réalisé par cette dernière méconnaissait... more
Commentaire de la décision CNIL 26 nov. 2021, décis. MED-2021-134, JO 16 déc.
Les investigations menées par la CNIL à l'encontre de la société Clearview AI ont conclu que le traitement de données réalisé par cette dernière méconnaissait le RGPD à deux égards : un traitement illicite de données personnelles (manquement à l’article 6 du RGPD) car leur collecte et l’utilisation des données biométriques s’effectuent sans base légale ; l’absence de prise en compte satisfaisante et effective des droits des personnes, notamment des demandes d’accès à leurs données (articles 12, 15 et 17 du RGPD). En conséquence, la CNIL a mis la société en demeure de : cesser la collecte et l’usage des données de personnes se trouvant sur le territoire français en l’absence de base légale ; faciliter l’exercice des droits des personnes concernées et de faire droit aux demandes d’effacement formulées.
L'économie du Web3 conduira-t-elle, inévitablement, à repenser les outils, catégories, et concepts qui nourrissent la pratique comme la doctrine de droit fiscal ? Ce propos introductif, qui tente d'appréhender la nouvelle révolution... more
L'économie du Web3 conduira-t-elle, inévitablement, à repenser les outils, catégories, et concepts qui nourrissent la pratique comme la doctrine de droit fiscal ? Ce propos introductif, qui tente d'appréhender la nouvelle révolution numérique annoncée, s'efforce de mettre en évidence la plasticité de la discipline face aux changements numériques et ses lacunes.
Réflexions et analyses relatives au rapport d'information de la Commission de lois du Sénat français  « sur la reconnaissance faciale et ses risques au regard de la protection des libertés individuelles » publié en mai 2022.
À l’heure de la numérisation de nos existences, la multiplication des systèmes algorithmiques de surveillance accélère ce que d’aucuns identifient, après Michel Foucault, comme l’expression paroxystique d’un « biopouvoir ». Cet avènement... more
À l’heure de la numérisation de nos existences, la multiplication des systèmes algorithmiques de surveillance accélère ce que d’aucuns identifient, après Michel Foucault, comme l’expression paroxystique d’un « biopouvoir ». Cet avènement résulte de l’histoire elle-même du politique, intrinsèquement liée à celle des sciences et des techniques que la dernière décennie a contribué à accélérer. La technologie a offert au pouvoir des moyens, marquant la transition de la société disciplinaire foucaldienne vers la société du contrôle. Celle-ci se caractérise, outre par la saisie politique des corps et des esprits, dans le paradoxe de l’emprise sous consentement. Elle renouvelle en effet le contrat social en appelant à la proactivité du citoyen consommateur, dans le trompe-l’œil ce celui-ci. Si la puissance publique demeure le lieu d’exercice privilégié de ce biocontrôle, force est de constater qu’il n’en est plus le détenteur exclusif. La position dominante et globale acquise par les géants du numérique projette sur nos sociétés les nouveaux visages du pouvoir : du Léviathan à la Gorgone. Cette redistribution participe également du renouvellement du contrat social : sous l’effet de la standardisation technique qu’ils opèrent, ils s’imposent comme les nouveaux « points de contrôle » , au mépris voire au péril de nos démocraties.
La conformité des usages de la technologie de reconnaissance faciale au droit à la vie privée est fonction de ces critères techniques (authentification v. identification notamment), mais aussi des juges appelés à l’évaluer. La présente... more
La conformité des usages de la technologie de reconnaissance faciale au droit à la vie privée est fonction de ces critères techniques (authentification v. identification notamment), mais aussi des juges appelés à l’évaluer. La présente contribution évalue la conformité des déploiement à l'état de droit français et européen. Si la jurisprudence constitutionnelle française apparaît une digue fragile au développement de la surveillance – ciblée, comme de masse – (I), celle des cours européennes offre, à défaut d’un obstacle insurmontable, la perspective de solides limites à cette évolution (II).

Publication parue au Dalloz IP/IT / 309 / Juin 2021.
La dématérialisation des procédures et des relations entre le public et l’administration ne consiste pas, seulement, en un changement "prosaïque" de médium. En effet, la transition technologique opérée n’est pas neutre, et participe de la... more
La dématérialisation des procédures et des relations entre le public et l’administration ne consiste pas, seulement, en un changement "prosaïque" de médium. En effet, la transition technologique opérée n’est pas neutre, et participe de la transformation de la relation même. Dans l’accès aux services publics, elle se traduit par la création, de facto, d’une nouvelle forme de conditionnalité : la conditionnalité numérique. Celle-ci constitue une entrave aux lois du service public et appelle à repenser les médiations numériques. L'étude formule dix recommandations pour y remédier, en faveur d'une éthique numérique inclusive.

Cette recherche a été réalisé dans le cadre de l'Observatoire de l'Éthique Public https://www.observatoireethiquepublique.com/le-dernier-livre-blanc-de-loep-consacre-a-la-digitalisation-du-service-public-est-disponible/
Résumé exécutif en français du rapport réalisé au nom de l'Agenda urbain pour la Commission européenne intitulé "New Surveillance Technologies in Public Spaces Challenges and Perspectives for European Law at the Example of Facial... more
Résumé exécutif en français du rapport réalisé au nom de l'Agenda urbain pour la Commission européenne intitulé "New Surveillance Technologies in Public Spaces Challenges and Perspectives for European Law at the Example of Facial Recognition"
At the dawn of the 21st century, the European Union committed to the development and deployment of responsible, inclusive, and humane technology. On the ongoing debate over so-called high-risk technologies for surveillance in public... more
At the dawn of the 21st century, the European Union committed to the development and deployment of responsible, inclusive, and humane technology. On the ongoing debate over so-called high-risk technologies for surveillance in public spaces, facial recognition technology (FRT) is a typical case for European scrutiny. The assessment of the experiments already conducted in cities helps to clarify the contemporary stakes and offers the first answers. This study defines FRTs, discusses current experiments, catalogues the applicability of European law, and concludes with recommendations.

https://futurium.ec.europa.eu/en/urban-agenda/security-public-spaces/library/action-3-final-report-facial-recognition-technology-frt
Les enjeux du recours à l’intelligence artificielle par l’administration financière
La gestion de la crise de la Covid 19 est un remarquable exemple de la tension séculaire entre la protection des libertés publiques et l’appétence sécuritaire des gouvernants. Les équilibres établis se mesurent aujourd’hui dans le... more
La gestion de la crise de la Covid 19 est un remarquable exemple de la tension séculaire entre la protection des libertés publiques et l’appétence sécuritaire des gouvernants. Les équilibres établis se mesurent aujourd’hui dans le déploiement et le régime des outils de surveillance,  particulièrement mobilisés dans la gestion récente de la crise sanitaire. Ils constituent la traduction d’un phénomène : celui de la quantification du monde. Nécessaires à la lecture globale de notre réalité, ces opérations de quantification se sont imposées dans les mécaniques institutionnelles, au point d’en menacer la dimension démocratique. L’analyse de la gestion de crise constitue aussi une nouvelle démonstration des écueils de la  gouvernance par les nombres de dangers qu’elle constitue pour les libertés publiques, et de la nécessité d’inscrire les chiffres dans l’enceinte du débat démocratique.

Contribution au numéro spécial de la Revue Third consacré à la Sécurité Numérique. A consulter en ligne -> https://third.digital/wp-content/uploads/2020/11/THIIIRD_5_WEB_12112020.pdf
Pour un encadrement démocratique des usages numériques Sous la direction scientifique de J.J. ATTIA et C. LEQUESNE ROTH Aves les contributions de J.J. ATTIA, A. BAYLE, A. EL BROUDI , J. CAFFIN, J. KELLER, P. LEGROS, C. LEQUESNE-ROTH, C.... more
Pour un encadrement démocratique des usages numériques

Sous la direction scientifique de J.J. ATTIA et C. LEQUESNE ROTH

Aves les contributions de J.J. ATTIA, A. BAYLE, A. EL BROUDI , J. CAFFIN, J. KELLER,
P. LEGROS, C. LEQUESNE-ROTH, C. LEVALLOIS-BARTH, J. MARCEAU, T. VERBIEST


Dans le cadre de la lutte menée par les États et les institutions de santé contre la pandémie Covid-19, un collectif de data scientists, ingénieurs et juristes, la Task Force Covid-19 (TFC19), s’est constitué en vue d’accompagner la réflexion sur les outils numérique de gestion de crise.
Ce groupe de travail n’entend nullement promouvoir la gouvernance algorithmique. Toutefois, face aux réalités qui saisissent les démocraties, et l’urgence dans laquelle les gouvernements échafaudent des outils numériques de gestion de crise, une réflexion indépendante, orientée vers le respect du droit de la protection des données et des libertés fondamentales apparaît indispensable.

Le collectif TFC19 s’est fixé pour mission de définir un cadre techno-normatif encadrant l’usage de ces technologies numériques dans la lutte contre la pandémie. Ce cadre repose sur dix exigences techno-normatives.

L’encadrement proposé repose sur 10 exigences techno-normatives.
Elles constituent l’horizon démocratique que doit observer tout dispositif de collecte et traitement des données développé dans le cadre de la gestion de crise Covid-19.
Sous la direction de C. Lequesne Roth Avec les contributions de : Jérémie Caffin, Mehdi Kimri, Maxime Kubiak, Clara Lacour, Pierre Legros, Marion Lemos Phénomène global, la technologie de reconnaissance faciale s’est emparée du... more
Sous la direction de C. Lequesne Roth
Avec les contributions de : Jérémie Caffin, Mehdi Kimri, Maxime Kubiak, Clara Lacour, Pierre Legros, Marion Lemos

Phénomène global, la technologie de reconnaissance faciale s’est emparée du débat public national et européen suscitant, de la part des pouvoirs publics, des prises de position prudentes. De nombreux gouvernements encouragent avec constance la multiplication des expérimentations en vue d’offrir, à leurs industriels, les terrains d’application indispensables à la formation de champions nationaux. Si la Commission européenne plaide pour l’uniformisation des usages circonstanciés dans le respect des droits fondamentaux et de la protection des données, elle identifie l’urgence dans le « débat » : interdiction et moratoire, un temps envisagés ne sont pas à l’agenda.
Le présent rapport s’inscrit dans ce contexte. Il vise à apporter un éclairage sur l’état du droit, les prises de position des autorités nationales compétentes, et les expérimentations nationales conduites. Ce travail a notamment pour objectif d’identifier les points de convergence entre les États et d’interroger l’existence d’une voix commune.
Cette étude n’est pas exhaustive. Nous avons choisi d’étudier un échantillon de 9 pays : l’Allemagne, la Belgique, l’Espagne, la France, l’Italie, les Pays-Bas, la République tchèque, le Royaume-Uni et la Suède. Nous apportons également des informations relatives aux expérimentations conduites au Danemark, en Finlande et en Slovénie. Ce choix s’est fondé sur les données nationales accessibles, au regard des langues maîtrisées par les auteurs de l’étude.

Si des sensibilités et approches nationales sont observables, nous concluons au terme de notre étude :
- Qu’aucun des États étudiés n’a, à ce jour, adopté de législation spécifique à l’encadrement de la technologie ;
- Que les autorités de protection des données, compétentes, adoptent dans leur majorité une position circonspecte : rappelant les risques liés aux usages de la technologie, elles sont bien souvent les témoins mal armés des expérimentations qui se multiplient ;
- Que les débats nationaux et institutionnels laissent entrevoir l’insuffisance des garanties démocratiques que le législateur est invité à pallier.
La présente contribution a pour objet d’explorer les soubassements épistémologiques du paradigme algorithmique, qui redéfinit en profondeur nos schèmes de légitimation. Nous partirons, pour ce faire, de cas d’usage (I). Ils nous... more
La présente contribution a pour objet d’explorer les soubassements épistémologiques du paradigme algorithmique, qui redéfinit en profondeur nos schèmes de légitimation. Nous partirons, pour ce faire, de cas d’usage (I). Ils nous permettront de mettre en évidence le renouvellement amorcé des autorités épistémiques en matière financière, et plus fondamentalement, la mécanique de dissolution du politique qu’elle entraîne. L’appréhension algorithmique des phénomènes, et la croyance en l’efficacité de ces dispositifs, nourrissent l’illusion selon laquelle le monde est désormais directement accessible. Le rêve d’émancipation de la pensée critique des années 1960 serait en voie d’accomplissement : au travers du traitement automatisé de la donnée, c’est le monde lui-même qui se gouvernerait. En découlent un rejet des autorités surplombantes et une crise, profonde, de la représentativité (II). L’horizontalité du pouvoir n’est toutefois, selon nous, qu’un trompe-l’œil. Nous nous efforcerons, en conclusion, d’en démontrer la facticité (III).

[Version provisoire - article à paraître]
L’usage de la science des données au sein des administrations n’est pas nouveau. Cette grille de lecture mathématico-technique de notre réalité, dont la statistique fut historiquement l’une des composantes majeures, constitua un vecteur... more
L’usage de la science des données au sein des administrations n’est pas nouveau. Cette grille de lecture mathématico-technique de notre réalité, dont la statistique fut historiquement l’une des composantes majeures, constitua un vecteur de transformation décisif de l’État moderne. Le règne des experts, la multiplication des indicateurs ou l’autorité acquise par l’information quantitative en sont autant de symptômes. La mobilisation de la science des données connaît toutefois, aujourd’hui, des développements inédits. Ceux-ci tiennent tout autant à la nature, numérique, qu’au traitement, algorithmique, des données. La diversification de l’information et le renouvellement des méthodes initient ainsi une nouvelle ère de la collaboration technico-administrative, au sein de laquelle certains décèlent les prémisses d’une « algocratie ». La France n’échappe pas au phénomène : les administrations financières, et plus particulièrement la Direction Générale des Finances publiques, se sont dotées d’outils de data mining pour lutter contre la fraude (I). Le recours à ces outils n’est pas neutre et suscite une transformation profonde de notre droit fiscal (II). La présente contribution dresse un premier bilan de l’usage de ces dispositifs techniques en France, afin de réfléchir aux conditions démocratiques du déploiement d’une administration algorithmique. 

[Version provisoire de la contribution]
La présente contribution évalue les répercussions de la saga contentieuse argentine sur la résolution des crises des dettes souveraines. Le contentieux, porté devant les juridictions new-yorkaises, fut l’occasion d’avaliser la... more
La présente contribution évalue les répercussions de la saga contentieuse argentine sur la résolution des crises des dettes souveraines. Le contentieux, porté devant les juridictions new-yorkaises, fut l’occasion d’avaliser la stratégie exécutoire dite pari passu, qui contraignit l’Argentine à transiger dans le sens des intérêts de ses créanciers au risque de voir ses perspectives de financement assombries. Les conséquences de ce contentieux se mesurent et se déclinent au- delà des frontières argentines ; elles s’inscrivent dans une dynamique globale qui façonne l’économie générale du crédit et transforme les régimes de défaut. Aussi notre étude analyse-t-elle, en premier lieu, les dispositifs adoptés à l’encontre des créanciers procéduriers à l’aune de cette nouvelle stratégie exécutoire. Elle apprécie, en second lieu, l’influence exercée par la jurisprudence new-yorkaise dans la conduite des négociations et les accords conclus avec les créanciers d’une part, dans la construction de la doctrine et de la jurisprudence anglaise d’autre part, les juridictions anglaises constituant le second for compétent, à l’échelon mondial, en matière de dettes souveraines. Il ressort de notre étude que la caution concédée à la stratégie pari passu par les juges américains confère aux créanciers une arme redoutable, qui entérine le renversement des rapports de force à l’œuvre depuis une vingtaine d’années au bénéfice de ces derniers.
À l’issue des crises successives qui ont ébranlé l’Europe ces six der- nières années, les agences de notation se sont imposées comme des acteurs in- contournables sur la scène politique européenne. Boucs émissaires pour certains,... more
À l’issue des crises successives qui ont ébranlé l’Europe ces six der- nières années, les agences de notation se sont imposées comme des acteurs in- contournables sur la scène politique européenne. Boucs émissaires pour certains, véritables coupables pour d’autres, elles ont cristallisé, au cœur de la tourmente financière, les appréhensions et les doutes d’une Europe en peine face à une suc- cession d’événements dont l’ampleur fut inédite. La virulence du débat qu’elles ont suscité se comprend à l’aune de l’importance acquise et reconnue à ces acteurs : une autorité régulatoire et normative réelle, identifiable au regard des effets qu’elle produit. La présente contribution étudie les ressorts et les limites de celle-ci au sein de l’Union européenne. Nous nous attachons à démontrer que la notation finan- cière, en fournissant le cadre de référence de l’activité financière, s’est imposée comme un instrument incontournable de l’action publique européenne. Bien que les agences de notation fassent aujourd’hui l’objet de vives critiques – lesquelles donnent lieu à de multiples « luttes » sur les terrains réglementaire et judiciaire –, leurs évaluations demeurent des instruments pérennes de l’action publique et les épisodes de crise ont contribué à renforcer leur institutionnalisation.
1. Où en est l’adoption des dispositifs numériques de gestion de crise à l’échelon européen ? Voit-on se dessiner un modèle unique de traitement des données ? 2. L’encadrement du dispositif StopCovid offre-t-il des garanties... more
1. Où en est l’adoption des dispositifs numériques de gestion de crise à l’échelon européen ? Voit-on se dessiner un modèle unique de traitement des données ?
2. L’encadrement du dispositif StopCovid offre-t-il des garanties satisfaisantes sur le terrain de la protection des données et des droits fondamentaux?
3. Quelles propositions pour renforcer l’encadrement démocratique de ces dispositifs ?

[Ceci constitue la version extensive et provisoire d’un article paru au Recueil Dalloz du 21 mai 2020 ]
1. Face à la multiplication des usages et des inquiétudes que suscite la technologie, que dit le droit ? 2. Quelles sont les perspectives d’encadrement futures, à l’échelon national et européen ? 3. Pourquoi l’intervention du... more
1. Face à la multiplication des usages et des inquiétudes que suscite la technologie, que dit le droit ?
2. Quelles sont les perspectives d’encadrement futures, à l’échelon national et européen ?
3. Pourquoi l’intervention du législateur apparaît-elle pourtant indispensable ?

[Ceci constitue la version extensive et provisoire d’un article à paraître au Recueil Dalloz juin 2020.]
The use of data science techniques and data mining tools to fight tax fraud is testing the limits of our legal systems and of our democracies. At a time when models are still in their early stages, there are three major areas where work... more
The use of data science techniques and data mining tools to fight tax fraud is testing the limits of our legal systems and of our democracies. At a time when models are still in their early stages, there are three major areas where work needs to be done to create a dialectic framework for the relationships between authorities and algorithmic tools. First, despite all of the confidence that has been placed in these technical systems, they are vulnerable to various technical errors and/or security breaches. Experiences have shown the need to fully evaluate these issues, given the significant damage that errors and breaches can cause. The Midas scandal1, is a typical example. The efficiency of these systems also creates blind spots. That is why they need to be thoroughly tested before they are adopted, and regularly evaluated once they have been implemented. Second, the cost of these systems must be considered from every angle: financial, human, ecological, etc. While the use of algorithms may be justified from a budgetary point of view, their trustworthiness remains to be established. Finally, as we have seen, the rising influence of data science has caused growing pains within our legal systems. When algorithmic tools are used as part of our administrative procedures, they must respect the law and operate based on the consciences of the people involved. To this end, we are calling for the introduction and standardization of audits on two levels: the data warehouses, on one hand, and algorithmic modeling, on the other. When it comes to using algorithmic models, we recommend involving stakeholders in their design, completing detailed impact studies, and putting regular monitoring procedures into place. Paradoxically, human intervention has never been so important: in a time of rising algocracy, it might be the only thing that can save our democracies.