Information Geometry

l'Information trouve ses origines dans les travaux de Maurice Fréchet et Calyampudi Radhakrishna Rao. N.N. Chentsov axiomatisa la Géométrie de l'Information et montra que la métrique de Fisher est unique. Hirohiko Shima observa que cette métrique de Fisher est un cas particulier de métrique hessienne dont les structures ont été étudiées par le mathématicien Jean-Louis Koszul. Parallèlement à ces travaux, le physicien Jean-Marie Souriau introduisit en 1969 la Géométrie Symplectique dans la discipline dite Mécanique Géométrique en reformulant des travaux de Lagrange. Il introduisit la notion "d'application moment", qui est liée à la géométrisation du théorème de Noether en calcul des variations. Dans le chapitre IV de son ouvrage, il étendit la Mécanique Statistique dans ce nouveau formalisme en généralisant la notion d'état de Gibbs aux actions hamiltoniennes d'un groupe de Lie sur une variété symplectique homogène et observa que le densité de Gibbs en Thermodynamique classique n'était pas covariante par rapport aux groupes dynamiques de la Physique (groupe de Galilée et groupe de Poincaré). L'état de Gibbs classique apparaît comme un cas particulier dans lequel le groupe de Lie de dimension 1 est le groupe des translations temporelles. Souriau étend la notion d'ensemble canonique de Gibbs à une variété symplectique homogène sur laquelle un groupe agit (groupes dynamiques de la physique ; sous-groupes du groupe affine). L'algèbre de Lie du groupe vérifie des relations de type cohomologique qui brisent la symétrie, avec l'apparition d'un cocycle. Pour rétablir cette symétrie, Souriau introduit une température « géométrique » comme élément de l'algèbre de Lie, et une chaleur « géométrique » (moyenne de l'Energie qui est le moment de l'action hamiltonnienne du groupe) comme élément de son dual, permettant de remettre en dualité, via la transformée de Legendre, l' Entropie « géométrique » et le logarithme de la fonction de partition (fonction caractéristique) définie pour ces nouvelles variables. Nous avons découvert que ce modèle de Souriau permettait de généraliser la Géométrie de l'Information pour des variétés homogènes et d'introduire une métrique universelle de Fisher-Souriau (la métrique de Fisher reste égale au hessien de l'opposée du logarithme de la fonction de partition sur la variété), invariante sous l'action du groupe. Comme le remarqua Souriau « ces formules sont universelles, en ce sens qu'elles ne mettent pas en jeu la variété symplectique, mais seulement le groupe G, son cocycle symplectique et le couple de la température et de la chaleur (géométriques)».

In 1969, Jean-Marie Souriau has introduced a “Lie Groups Thermo-dynamics” in Statistical Mechanics in the framework of Geometric Mechanics. This Souriau’s model considers the statistical mechanics of dynamic systems in their "space of evolution" associated to a homogeneous symplectic manifold by a Lagrange 2-form, and defines thanks to cohomology (non equivariance of the coadjoint action on the moment map with appearance of an additional cocyle) a Gibbs density (of maximum entropy) that is covariant under the action of dy-namic groups of physics (eg, Galileo's group in classical physics). Souriau model is more general if we consider another Souriau theorem, that we can as-sociate to a Lie group, an homogeneous symplectic manifold with a KKS 2-form on their coadjoint orbits. Souriau method could then be applied on Lie Groups to define a covariant maximum entropy density by Kirillov representa-tion theory. We will illustrate this method for homogeneous Siegel domains and more especially for Poincaré unit disk by considering SU(1,1) group coadjoint orbit and by using its Souriau’s moment map. For this case, the coadjoint action on moment map is equivariant.

L’objet de l’exposé concerne les structures géométriques élémentaires de l’apprentissage machine, fondées sur le « gradient naturel » de la « Géométrie de l’Information », qui rend invariant par changement de paramétrisation le gradient d’apprentissage dans les réseaux de neurones par le biais de la matrice de Fisher. Après cette introduction exposant le « gradient naturel » [1] et ses extensions récentes aux réseaux de neurones profonds [2], nous développons de nouvelles mé-thodes pour étendre l’approche à des espaces plus abstraits et en particulier les groupes de Lie (matriciels).
L’apprentissage profond a été étendu récemment avec succès aux graphes, mais le thème émergent « (Matrix) Lie Group Machine Learning » [14][18][15][16][20][21] est une extension particulièrement intéressante pour les applications indus-trielles : reconnaissance de mouvements/cinématiques (série temporelle d’éléments du groupes SE(3)), reconnaissances de postures/gestes articulés [3](série temporelle de vecteurs d’éléments du groupe SO(3)), reconnaissance micro-Doppler [12](série temporelle d’éléments du groupe SU(1,1)) et en robotique (éléments de sous-groupes du groupe affine Aff(n)).
Nous exposerons l’extension de la notion de métrique de Fisher par le mathématicien Jean-Louis Koszul [4][6][17] sur les cônes convexes saillants. Pour l’extension de l’apprentissage machine aux groupes de Lie, nous présenterons les outils issues de la physique statistique à travers le modèle du physicien Jean-Marie Souriau de la « Thermodynamique des groupes de Lie » [7][8][19][22] basé sur la géométrie symplectique (application moment, 2 forme KKS « Kirillov-Kostant-Souriau » dans le cas non-équivariant [5], le cocycle symplectique de Souriau, les méthodes des orbites coadjointes [9] issues de la théorie des représentations de Kirillov des groupes de Lie [10][11]).
Nous terminerons par une illustration d’apprentissage machine pour les exemples canoniques de groupes de Lie matri-ciels classiques tels que les groupes SU(1,1)[13][23] (cas équivariant à cohomologie nulle), et le groupe SE(3) (cas non-équivariant à cohomologie non-nulle)[13].

We study self-organization of collective motion as a thermodynamic phenomenon in the context of the first law of thermodynamics. It is expected that the coherent ordered motion typically self-organises in the presence of changes in the (generalized) internal energy and of (generalized) work done on, or extracted from, the system. We aim to explicitly quantify changes in these two quantities in a system of simulated self-propelled particles and contrast them with changes in the system's configuration entropy. In doing so, we adapt a thermodynamic formulation of the curvatures of the internal energy and the work, with respect to two parameters that control the particles' alignment. This allows us to systematically investigate the behavior of the system by varying the two control parameters to drive the system across a kinetic phase transition. Our results identify critical regimes and show that during the phase transition, where the configuration entropy of the system decreases, the rates of change of the work and of the internal energy also decrease, while their curvatures diverge. Importantly, the reduction of entropy achieved through expenditure of work is shown to peak at criticality. We relate this both to a thermodynamic efficiency and the significance of the increased order with respect to a computational path. Additionally, this study provides an information-geometric interpretation of the curvature of the internal energy as the difference between two curvatures: the curvature of the free entropy, captured by the Fisher information, and the curvature of the configuration entropy.

We will illustrate two problems of Machine Learning on Lie groups for Radar applications. Target recognition on Radar micro-Doppler data could be modeled by a problem of classification of dataset considered as elements of SU(1,1) Lie Group. Second example consider flying object recognition on their kinematics coded in SE(3) Lie Groups. We will use Souriau method to define covariant Gibbs density on Lie groups to be able to make statistics on Lie groups.

The classical simple gradient descent used in Deep Learning has two drawbacks: the use of the same non-adaptive learning rate for all parameter components, and a non-invariance with respect to parameter re-encoding inducing different learning rates.  As the parameter space of multilayer networks forms a Riemannian space equipped with Fisher information metric, instead of the usual gradient descent method, the natural gradient or Riemannian gradient method, which takes account of the geometric structure of the Riemannian space, is more effective for learning. The natural gradient preserves this invariance to be insensitive to the characteristic scale of each parameter direction. The Fisher metric defines a Riemannian metric as the Hessian of two dual potential functions (the Entropy and the Massieu Characteristic Function).
In Souriau’s Lie groups thermodynamics, the invariance by re-parameterization in information geometry has been replaced by invariance with respect to the action of the group. In Souriau model, under the action of the group, the entropy and the Fisher metric are invariant. Souriau defined a Gibbs density that is covariant under the action of the group. The study of exponential densities invariant by a group goes back to the work of Muriel Casalis in her 1990 thesis.  The general problem was solved for Lie groups by Jean-Marie Souriau in Geometric Mechanics in 1969, by defining a « Lie groups Thermodynamics » in Statistical Mechanics. These new tools are bedrocks for Lie Group Machine Learning. Souriau introduced a Riemannian metric, linked to a generalization of the Fisher metric for homogeneous Symplectic manifolds. This model considers the KKS 2-form (Kostant-Kirillov-Souriau) defined on the coadjoint orbits of the Lie group in the non-null cohomology case, with the introduction of a Symplectic cocycle, called « Souriau’s cocycle », characterizing the non-equivariance of the coadjoint action (action of the Lie group on the moment map).
Based on Souriau Lie groups Thermodynamics, we will prove that Entropy could be built as a generalized Casimir invariant function in coadjoint representation, and Massieu characteristic function, dual of Entropy by Legendre transform, as a generalized Casimir function in adjoint representation. This geometric structure is a foundation for a new geometric theory of information. The dual Lie algebra foliates into coadjoint orbits that are also the level sets on the entropy. The KKS 2-form, and the Souriau-Koszul-Fisher metric make each orbit into homogeneous Symplectic and kähler manifolds. The information manifold foliates into level sets of the entropy where motion remaining on this complex surfaces is non-dissipative, whereas motion transversal to these surfaces is dissipative.
We will introduce the link between Koszul geometry of homogeneous bounded domains, Souriau « Lie Groups Thermodynamics », Information Geometry and Kirillov representation theory to define probability densities as Souriau covariant Gibbs densities (density of Maximum of Entropy). We will illustrate this case for the matrix Lie group SU (1,1) (case with null cohomology), and the one for the matrix Lie group SE(3) (case with non-null cohomology), through the computation of Souriau’s moment map, and Kirillov’s orbit method.

Références
[1] Souriau, J.-M. : Structure des systèmes dynamiques, Dunod, (1969)
[2] Souriau, J.-M. : Mécanique statistique, groupes de Lie et cosmologie, Colloques int. du CNRS numéro 237. In Proceedings of the Géométrie Symplectique et Physique Mathématique, Aix-en-Provence, France, 24–28, pp. 59–113, (1974)
[3] Marle, C.-M. : From Tools in Symplectic and Poisson Geometry to J.-M. Souriau’s Theories of Statistical Mechanics and Thermodynamics. Entropy, 18, 370, (2016).
[4] Barbaresco, F. : Higher Order Geometric Theory of Information and Heat Based on Poly-Symplectic Geometry of Souriau Lie Groups Thermodynamics and Their Contextures: The Bedrock for Lie Group Machine Learning. Entropy, 20, 840, (2018)
[5] Barbaresco F.: Jean-Louis Koszul and the Elementary Structures of Information Geometry, SPRINGER Book Geometric Structure of Information, pp 333-392, SPRINGER, (2018)
[6] Casalis M.: Familles Exponentielles Naturelles Invariantes par un Groupe. Ph.D. Thesis, Thèse de l’Université Paul Sabatier, Toulouse, France, (1990)
[7] Tojo, K.; Yoshino, T. : A Method to Construct Exponential Families by Representation Theory. arXiv:1811.01394, (2018)
[8] Barbaresco F.: Lie Group Machine Learning and Gibbs Density on Poincaré Unit Disk from Souriau Lie Groups Thermodynamics and SU(1,1) Coadjoint Orbits. In: Nielsen, F., Barbaresco, F. (eds.) GSI 2019. LNCS, vol. 11712, SPRINGER, (2019)
[9] Barbaresco F.: Lie Group Statistics and Lie Group Machine Learning based on Souriau Lie Groups Thermodynamics &  Koszul-Souriau-Fisher Metric: New Entropy Definition as Generalized Casimir Invariant Function in Coadjoint Representation, Submitted to MDPI Special Issue « Lie Group Machine Learning and Lie Group Structure Preserving Integrators », https://www.mdpi.com/journal/entropy/special_issues/Lie_group
[10] Koszul Jean-Louis : Introduction to Sympletic Geometry, SPRINGER 2019, https://link.springer.com/book/10.1007%2F978-981-13-3987-5
[11] Colloque « SOURIAU’19 »: http://souriau2019.fr/
[12] Colloque « FGSI’19 Cartan-Koszul Souriau – Foundation of Geometric Structures of Information »: https://fgsi2019.sciencesconf.org/
[13] Colloque « GSI’19 Geometric Science of Information »: https://www.see.asso.fr/GSI2019
[14] Les Houches Summer Week, Joint Structures and Common Foundations of Statistical Physics, Information Geometry and Inference for Learning (SP+IG’20), 26th July to 31st July 2020, https://franknielsen.github.io/SPIG-LesHouches2020/

Biography
Frédéric Barbaresco received his State Engineering degree from the French Grand Ecole CentraleSupélec, Paris, France, in 1991. Since then, he has worked for the THALES Group where he is now SENSING Segment Leader of Key Technology Domain PCC (Processing, Control & Cognition). He has been an Emeritus Member of SEE since 2011 and he was awarded the Aymé Poirson Prize (for application of sciences to industry) by the French Academy of Sciences in 2014, the SEE Ampere Medal in 2007, the Thévenin Prize in 2014 and the NATO SET Lecture Award in 2012. He is President of SEE Technical Club ISIC “Engineering of Information and Communications Systems”. He was member of the administrative board of SMAI. He was an invited lecturer for UNESCO on “Advanced School and Workshop on Matrix Geometries and Applications” in Trieste at the ITCP in June 2013. He is the General Co-chairman of the new international conference GSI “Geometric Sciences of Information”. He was co-editor of MDPI Entropy Books “Information, Entropy and Their Geometric Structures” and « Joseph Fourier 250th Birthday: Modern Fourier Analysis and Fourier Heat Equation in Information Sciences for the XXIst century« . He has co-organized the CIRM seminar TGSI’17 “Topological and Geometrical Structures of Information”, “FGSI’19 Cartan-Koszul-Souriau” in 2019, and Les Houches Summer Week “Joint Structures and Common Foundations of Statistical Physics, Information Geometry and Inference for Learning” in 2020. He was keynote speaker at SOURIAU’19 event for 5Oth birthday of “structure des systèmes dynamiques”.

Layered sensing provides a hierarchical net-centric architecture for universal situational awareness with global coverage and persistent surveillance. Sensors in the layered hierarchy provide spatial, temporal, spectral, and polarization diversity with different scales and resolutions over different time horizons. Cooperative management of netted sensors is a successful strategy to achieve targeting performance and overall measures of merit (MOM) goals. After a brief introduction to issues in layered sensors, a resource management strategy based on geometry information is described so as to enhance performance in target detection (minimum detectable Doppler) and tracking accuracy (geometric dilution of precision). Preliminary simulation results are presented to illustrate this Geometric Approach to Layered Sensing (GALS) concept.

Nous établirons les liens intimes unissant la notion de tenseur de Fisher, utilisé en géométrie de l'information pour définir une métrique dans l'espace des paramètres des densités de probabilités, et la notion de capacité calorifique en thermodynamique. Nous commencerons par rappeler le modèle de la « thermodynamique des groupes de Lie » du physicien Jean-Marie-Souriau qui a défini un modèle symplectique de la physique statistique, généralisant la métrique de Fisher dans le cadre d'une thermodynamique covariante, et a prouvé le lien entre tenseur de Fisher et capacité calorifique, auxquels il a donné une structure géométrique. Dans la seconde partie, nous développerons les équations générales de la thermodynamique de Pierre Duhem, théorie « énergétique », qui détaille l'enchaînement analytique de la Théorie mécanique de la chaleur, en généralisant la notion de capacité calorifique à la mécanique. A partir du potentiel thermodynamique introduit par François Massieu, Duhem détermine les conditions d'équilibre du système, l'énergie, l'entropie et les coefficients calorifiques du système en équilibre, en sorte que l'étude mécanique et thermique du système en équilibre soit complète.

Résumé – Nous introduisons les densités de probabilité pour les groupes de Lie sur la base du modèle symplectique de la physique statistique de Jean-Marie Souriau, appelé la « Thermodynamique des groupes de Lie ». Pour décrire la statistique pour un groupe de Lie, on considère la variété symplectique homogène associée aux orbites coadjointes du groupe via la 2-forme de Souriau. La densité à maximum d’Entropie est donnée par la densité de Gibbs covariante définie sur la variété symplectique via l’application moment de Souriau. Nous illustrons ce modèle pour les groupes de Lie SU(1,1) (qui agit sur le disque de Poincaré) et SU(N,N) (qui agit sur le disque de Siegel). Pour ce dernier, on peut déduire la densité pour les matrices symétriques définies positives comme élément du demi-espace de Siegel.
Abstract - We introduce probability densities for Lie groups based on Jean-Marie Souriau's symplectic model of statistical physics, called the “Thermodynamics of Lie groups”. To describe the statistics for a Lie group, we consider the homogeneous symplectic manifold associated with the coadjoint orbits of the group via the Souriau 2-form. The covariant Gibbs density defined on the symplectic manifold via the Souriau moment map gives the maximum entropy density. We illustrate this model for the Lie groups SU(1,1) (which acts on the Poincaré disk) and SU(N,N) (which acts on the Siegel disk). For the latter, one can deduce the density for positive definite symmetric matrices as an element of the Siegel half-space.

« La Physique mathématique, en incorporant à sa base la notion de groupe, marque la suprématie rationnelle…Chaque géométrie-et sans doute plus généralement chaque organisation mathématique de l'expérience-est caractérisée par un groupe spécial de transformations…. Le groupe apporte la preuve d'une mathématique fermée sur elle-même. Sa découverte clôt l'ère des conventions, plus ou moins indépendantes, plus ou moins cohérentes »-Gaston Bachelard, Le nouvel esprit scientifique, 1934 Tout mathématicien sait qu'il est impossible de comprendre un cours élémentaire en thermodynamique.

We present in this chapter a new formulation of heat theory and Information Geometry through symplectic and Poisson structures based on Jean-Marie Souriau’s symplectic model of statistical mechanics, called “Lie Groups Thermodynamics”. Souriau model was initially described in chapter IV “Sta-tistical Mechanics” of his book “Structure of dynamical systems” published in 1969. This model gives an archetypal, and purely geometric, characterization of Entropy, which appears as an invariant Casimir function in coadjoint repre-sentation, from which we will deduce a geometric heat equation. The ap-proach also allows generalizing the Fisher metric of information geometry thanks to the 2-form KKS (Kirillov, Kostant, Souriau) in the affine case via the Souriau’s cocyle. In this model, the Souriau’s moment map and the coad-joint orbits play a central role. Ontologically, this model provides join geo-metric structures for Statistical Mechanics, Information Probability and Prob-ability. Entropy acquires a geometric foundation as a function parameterized by mean of moment map in dual Lie algebra, and in term of foliations. Souriau established the generalized Gibbs laws when the manifold has a symplectic form and a connected Lie group G operates on this manifold by symplectomorphisms. Souriau Entropy is invariant under the action of the group acting on the homogeneous symplectic manifold. As quoted by Souriau, these equations are universal and could be also of great interest in Mathematics. The dual space of the Lie algebra foliates into coadjoint orbits that are also the level sets on the entropy that could be interpreted in the framework of Thermodynamics by the fact that motion remaining on these surfaces is non-dissipative, whereas motion transversal to these surfaces is dissipative. We will also explain the 2nd Principle in thermodynamics by defi-nite positiveness of Souriau tensor extending the Koszul-Fisher metric from Information Geometry. Entropy as Casimir function is characterized by Koszul Poisson Cohomology. We will finally introduce Gaussian distribution on the space of Symmetric Positive Definite (SPD) matrices, through Souriau’s covariant Gibbs density by considering this space as the pure imag-inary axis of the homogeneous Siegel upper half space where Sp(2n,R)/U(n) acts transitively. Gauss density of SPD matrices is computed through Souriau’s moment map and coadjoint orbits. We will illustrate the model first for Poincaré unit disk, then Siegel unit disk and finally upper half space. For this example, we deduce Gauss density for SPD matrices.

Les modèles géométriques de l’information, de la physique statistique et de l’inférence en apprentissage machine partagent des structures communes comme cela a été illustré à l’Ecole de Physique des Houches de Juillet 2020 (https://franknielsen.github.io/SPIG-LesHouches2020/) et dans l’ouvrage SPRINGER récent sur le sujet [1]. La géométrie de l’information [2] utilise des gradients naturels d’apprentissage qui ont la propriété remarquable d’être invariants aux systèmes de coordonnées codant l’information par l’intermédiaire de métrique dite de Fisher. Ces schémas intrinsèques préservent les symétries et peuvent s’étendre à des espaces plus abstraits lorsque les données  sont codées sur des variétés différentielles ou des variétés symplectiques (cas du codage de l’information par des  groupes de Lie comme en robotique ou GNC). Dans ces espaces de codage plus structurés, la notion de métrique de Fisher s’étend à celle de métrique de Koszul-Souriau, la définition de l’Entropie à celle de fonction de Casimir invariante en établissant les liens avec les systèmes intégrables au sens de Liouville [3,4,5,6]. 
Nous illustrerons concrètement ce que ces modèles apportent en apprentissage machine en partant de l’existant en reconnaissance Doppler et cinématique des drones (réseaux de neurones HPDNet et Complex CNN sur les signatures Doppler ; méthodes de boosting d’arbres sur des paramètres de statistiques d’ordre sur la cinématique) vers des techniques d’apprentissage machine sur les groupes de Lie [7] ou des techniques de « Geometric Deep Learning » basés sur des réseaux de neurones équivariants [8].
Ces thématiques seront développées à la 5ème édition de la conférence SEE GSI’21 (Geometric Science of Information) en Juillet 2021 (www.gsi2021.org) à Paris Sorbonne Université, co-organisée avec SCAI Sorbonne (https://scai.sorbonne-universite.fr/) et ELLIS Paris Unit (https://ellis-paris.github.io/), et qui aura pour thème « Learning Geometric Structures ».
Références bibliographiques :
[1] Frédéric Barbaresco & Frank Nielsen, Geometric Structures of statistical Physics, Information Geometry and Learning, Actes de la Summer Week de l’Ecole de Physique des Houches SPIGL’20, SPRINGER Proceedings in Mathematics & Statistics, 2021;  https://www.springer.com/jp/book/9783030779566
[2] Frédéric Barbaresco & Frank Nielsen, La Géométrie de l’Information: hors-série n°73 du magazine TANGENTE ; https://www.decitre.fr/revues/tangente-hors-serie-n-73-mathematiques-et-emploi-9782848842387.html
[3] Charles-Michel Marle, On Gibbs states of mechanical systems with symmetries, arXiv:2012.00582v1 [math.DG], https://arxiv.org/abs/2012.00582
[4] Barbaresco, F. Lie Group Statistics and Lie Group Machine Learning Based on Souriau Lie Groups Thermodynamics & Koszul-Souriau-Fisher Metric: New Entropy Definition as Generalized Casimir Invariant Function in Coadjoint Representation. Entropy 2020, 22, 642.
[5] Barbaresco, F.; Gay-Balmaz, F. Lie Group Cohomology and (Multi)Symplectic Integrators: New Geometric Tools for Lie Group Machine Learning Based on Souriau Geometric Statistical Mechanics. Entropy 2020, 22, 498.
[6] Barbaresco, F. Koszul lecture related to geometric and analytic mechanics, Souriau’s Lie group thermodynamics and information geometry. SPRINGER Information Geometry, 2021
[7] Frédéric Barbaresco, Daniel Brooks, Claude Adnet, Machine and Deep Learning for Drone Radar Recognition by Micro-Doppler and Kinematic criteria, 2020 IEEE Radar Conference (RadarConf20)
[8] Pierre-Yves Lagrave, Yann Cabanes & Frédéric Barbaresco,  SU(1;1) Equivariant Neural Networks and Application to Robust Toeplitz Hermitian Positive Definite Matrix Classification, GSI’21, Paris 2021

Les groupes de Lie sont d’un usage courant en robotique [19], mais semblent encore peu utilisés en apprentissage machine [14]. Nous présentons un modèle issu de la Mécanique Géométrique, développé par Jean-Marie Souriau dans le cadre de la Mécanique Statistique [1,2,6-8], permettant de définir une métrique invariante de type Fisher et des densités statistiques cova-riantes sous l’action du groupe. Cette nouvelle approche [3-5, 20] permet d’étendre l’apprentissage machine supervisé et non-supervisé conjointement à des éléments appartenant à un groupe ou à des éléments appartenant à une variété homogène sur laquelle un groupe agit transitivement. D’autres modèles sont à l’étude faisant aussi appel à la théorie des représentations des groupes de Lie [9-11].
  Nous illustrerons l’approche pour l’analyse statistique de trajectoires d’objets rigides comme des drones via le groupe SE(3), les objets articulés via le groupe SO(3) [12, 13], mais également la perception Doppler de la dynamique de voilures tournantes via le groupe SU(1,1). Le modèle de Souriau permet en particulier de définir une densité de Gibbs à Maximum d’Entropie sur les orbites coadjointes des groupes dans l’espace duale de l’algèbre de Lie, que l’on peut considérer comme des variétés sym-plectiques homogènes. Ces densités sont paramétrées via l’Application Moment (application de la variété symplectique sur l’espace dual de l’algèbre de Lie : outil géométrisant le théorème de Noether, introduit par Souriau) sur lequel le groupe agit via l’opérateur coadjoint, dans le cas équivariant comme pour SO(3) ou SU(1,1), mais aussi dans le cas non-équivariant comme pour SE(3) (cas d’ action coadjointe affine avec l’apparition d’un cocycle [21]). Ce modèle, peu connu en dehors de la mécanique géométrique [17,18], utilise la théorie des représentations affines des algèbres et des groupes de Lie et la cohomo-logie de l’algèbre de Lie.
  Ce modèle est également très utile en contrôle et navigation, car il permet de définir des bruits « gaussiens » (au sens du maximum d’Entropie) sur les éléments des algèbres de Lie. L’entropie y est définie comme la transformée de Legendre de la fonction caractéristique de Masieu-Koszul (logarithme de la transformée de Laplace) et est identifiable à une fonction de Ca-simir invariante en représentation coadjointe (ce fait donne une définition géométrique naturelle à l’Entropie via les coeffi-cients de structure).
  Cette thématique « Lie Group Machine Learning » fait l’objet d’un Special Issue de la revue « Entropy » [15]. Le modèle de Souriau sera présenté plus longuement à l’Ecole d’été des Houches fin Juillet 2020 [16] sur le thème « Joint Structures and Common Foundation of Statistical Physics, Information Geometry and Inference for Learning », et également à un prochain workshop de l’IRT SystemX à EDF R&D [22] sur le thème «  Approches topologiques et géométriques pour l’apprentissage statistique ». Ce thème est aussi considéré dans la bibliothèque d’apprentissage machine sur les variétés et groupes de Lie, GEOMSTATS [23].

En 1943, deux ans avant C. R. Rao, Maurice Fréchet publie un article [1], dans lequel il introduit la borne qui portera abusivement le nom de borne de Cramer-Rao (la publication de Rao datant de 1945). D’autant plus que comme Fréchet le précise en annotation de son article, ce contenu est déjà présent dans son cours de l’hiver 1939 de l’Institut Henri Poincaré : « Le contenu de ce mémoire a formé une partie de notre cours de statistique mathématique à l'Institut Henri Poincaré pendant l'hiver 1939-1940 ». L’article traite le cas monovarié, mais son collègue Georges Darmois publie la version multivariée en 1945. Il serait donc plus exacte d’appeler cette borne, la borne de Fréchet-Darmois. Ce cours n'a pas à ce jour été retrouvé.
  Au-delà de la découverte de cette borne, Fréchet étudie les densités de probabilité dont l’estimateur atteint cette borne. Ils les appellent « densités distinguées ». Il montre que ces fonctions dépendent d’une fonction solution de l’équation d’Alexis Clairaut, et dont on peut établir les liens avec la transformée de Legendre. Cette transformation de Clairaut-Legendre constitue un élément des fondements de la géométrie de l’information dont Fréchet entrouvre la porte, en montrant que l’inverse de la matrice de Fisher est le hessien d’une fonction, définie elle-même comme la transformée de Legendre d’une seconde fonction, que nous identifierons avec le logarithme de la fonction caractéristique.  Nous replacerons alors le modèle de Fréchet dans un cadre théorique plus récent introduit par le mathématicien Jean-Louis Koszul [2], qui a établi les équations générales liant ce hessien à la métrique du cône convexe associé. Cette métrique est à la base de la théorie de la « Géométrie de l’Information » [3].
[1] Fréchet M., « Sur l’extension de certaines évaluations statistiques au cas de petits échantillons ». Revue de l’Institut International de Statistique, vol. 11, n° 3/4, pp. 182–205, 1943; https://www2.sonycsl.co.jp/person/nielsen/infogeo/Seminar/fondamental-borne-frechet.pdf
[2] Barbaresco F., « Les densités de probabilité « distinguées » et l’équation d’Alexis Clairaut: regards croisés de Maurice Fréchet et de Jean-Louis Koszul »; https://www.academia.edu/download/46241047/GRETSI-BARBARESCO-FRECHET-KOSZUL-RevA.pdf
[3] Nielsen F., Cramér-Rao Lower Bound and Information Geometry, Connected at Infinity II, Springer, 2013; https://www.springerprofessional.de/en/cramer-rao-lower-bound-and-information-geometry/13329622
[3] Charle C., Telkes E. Maurice Fréchet, Les Professeurs de la faculté des sciences de Paris, 1901-1939. Dictionnaire biographique (1901-1939) Paris : Institut national de recherche pédagogique, 1989. pp. 127-131. (Histoire biographique de l'enseignement, 25); http://www.persee.fr/doc/inrp_0298-5632_1989_ant_25_1_8693
[4] Arboleda, Luis Carlos, Sur la vie et l’œuvre de M. Fréchet, Mémoire de D.E.A., Ecole des Hautes Etudes en Sciences Sociales, Paris, 1977
[5] Arboleda, Luis Carlos, Rapport sur l'inventaire et l'analyse des papiers du Fonds-Fréchet dans les archives de l'Académie des Sciences de Paris, Cahiers du séminaire d'histoire des mathématiques, Tome 2, p. 9-17, 1981; http://www.numdam.org/item/CSHM_1981__2__9_0/
[6] Laurent Mazliak, Borel, Fréchet, Darmois La découverte des statistiques par les probabilistes français, Electronic Journ@l for History of Probability and Statistics, Ecole des Hautes Etudes en Sciences Sociales, 6 (2), pp.6.2, 2010; https://hal.archives-ouvertes.fr/hal-00631625
[7] Fréchet M., Notice sur les travaux scientifiques de M. Maurice Fréchet, Paris, 1933, 1934 et 1951 (disponible au Centre Emile Borel de l'IHP)

Jean-Marie Souriau a développé les aspects symplectiques de la mécanique classique et de la mécanique quantique. Parmi ses travaux les plus importants, citons l'application moment (géométrisation du théorème de Noether), l'action coadjointe d'un groupe sur son espace des moments, la quantification géométrique, la classification des feuilles symplectiques homogènes, ou encore les espaces difféologiques.

Jean-Marie Souriau developed the symplectic aspects of classical mechanics and quantum mechanics. Among his most important works, let us quote the moment(um) map (geometrization of Noether's theorem), the coadjoint action of a group on its moment space, geometric quantization, the classification of homogeneous symplectic leaves, or diffeological spaces.

In this paper, we generalize the geometry of the product pseudo-Riemannian manifold equipped with the product Poisson structure ([10]) to the geometry of a warped product of pseudo-Riemannian manifolds equipped with a warped Poisson structure. We construct three bivector fields on a product manifold and show that each of them lead under certain conditions to a Pois-son structure. One of these bivector fields will be called the warped bivector field. For a warped product of pseudo-Riemannian manifolds equipped with a warped bivector field, we compute the corresponding contravariant Levi-Civita connection and the curvatures associated with.

The geometric models of information, statistical physics and inference in machine learning share common structures as was illustrated at the Ecole de Physique des Houches in July 2020 (https://franknielsen.github.io / SPIG-LesHouches2020 /) and in the recent SPRINGER book on the subject [1]. The geometry of information [2] uses natural learning gradients which have the remarkable property of being invariant to the coordinate systems encoding information through the so-called Fisher metric. These intrinsic schemes preserve symmetries and can extend to more abstract spaces when the data is encoded on differential manifolds or symplectic manifolds (case of encoding of information by Lie groups as in robotics or Guidance Navigation & Control ). In these more structured coding spaces, the notion of Fisher metric extends to that of Koszul-Souriau metric, the definition of Entropy to that of an invariant Casimir function in coadjoint representation, by establishing the links with the systems integrable in the sense of Liouville [3,4,5,6].
These themes will be developed at the 5th edition of the SEE GSI'21 (Geometric Science of Information) conference in July 2021 (www.gsi2021.org) at Paris Sorbonne University, co-organized with SCAI Sorbonne (https: //scai.sorbonne -universite.fr/) and ELLIS Paris Unit (https://ellis-paris.github.io/), and whose theme will be “Learning Geometric Structures”.
References:
[1] Frédéric Barbaresco & Frank Nielsen, Geometric Structures of statistical Physics, Information Geometry and Learning, Actes de la Summer Week de l’Ecole de Physique des Houches SPIGL’20, SPRINGER Proceedings in Mathematics & Statistics, 2021; https://www.springer.com/jp/book/9783030779566
[2] Frédéric Barbaresco & Frank Nielsen, La Géométrie de l’Information: hors-série n°73 du magazine TANGENTE ; https://www.decitre.fr/revues/tangente-hors-serie-n-73-mathematiques-et-emploi-9782848842387.html
[3] Charles-Michel Marle, On Gibbs states of mechanical systems with symmetries, arXiv:2012.00582v1 [math.DG], https://arxiv.org/abs/2012.00582
[4] Frédéric Barbaresco, Lie Group Statistics and Lie Group Machine Learning Based on Souriau Lie Groups Thermodynamics & Koszul-Souriau-Fisher Metric: New Entropy Definition as Generalized Casimir Invariant Function in Coadjoint Representation. Entropy 2020, 22, 642.
[5] Frédéric Barbaresco, François Gay-Balmaz, Lie Group Cohomology and (Multi)Symplectic Integrators: New Geometric Tools for Lie Group Machine Learning Based on Souriau Geometric Statistical Mechanics. Entropy 2020, 22, 498.
[6] Frédéric Barbaresco, Koszul lecture related to geometric and analytic mechanics, Souriau’s Lie group thermodynamics and information geometry. SPRINGER Information Geometry, 2021

La géométrie de l'information est introduite classiquement dans le cadre de la statistique. Nous exposons dans les pages suivantes des extensions dans le domaine des mathématiques (la géométrie des espaces homogènes symétriques de Jean-Louis Koszul) et de la physique statistique (la géométrie de la thermodynamique de Jean-Marie Souriau). Pour toutes ces extensions, nous mettrons en lumière les structures géométriques qui sont conservées, et les concepts qui sont étendus comme la notion d'Entropie et la notion de métrique de Fisher.

Introduction to Jean-Marie Souriau model of Lie Groups Thermodynamics and Souriau-Fisher Metric. We present also 2019 book of Jean-Louis Koszul "Introduction to Symplectic Geometry" where Souriau 2-form for non-equivariant cohomology is developed. Souriau has extented definition of Fisher Metric of Information Geometry for  Symplectic Manifold in non-equivariant case, with new expression of KKS 2-form and Souriau-Fisher metric that is invariant under the action of the group. All these tools are manipulation structures needed to build a Computational (Matrix) Lie Group Machine Learning theory.

Avant de développer la notion de densité à maximum d’entropie (densité de Gibbs), l’exposé rappellera en préambule le cheminement historique de la notion de « fonction caractéristique » introduite en thermodynamique par François Massieu et développée par Williard Gibbs et Pierre Duhem sous la forme de potentiels thermodynamiques.  Le travail de Massieu eut une grande influence sur Henri Poincaré, qui introduisit la « fonction caractéristique » en probabilité (un logarithme lie les 2 notions en probabilité et en thermodynamique). Dans le cas des densités à Maximum d’entropie (densité de Gibbs), la métrique Riemannienne associée au hessien de la fonction caractéristique (logarithme de la fonction de partition) est égale à la matrice de Fisher. Les structures de ces géométries hessiennes ont été étudiées en parallèle par le mathématicien Jean-Louis Koszul et son thésard Jacques Vey dans le cadre plus général des cônes convexes saillants (formes de Koszul, fonction caractéristique de Koszul-Vinberg), en cherchant une métrique qui soit invariante par les automorphismes de ces cône convexes. La notion de densité à maximum d’entropie a été étendue par Jean-Marie Souriau dans les années 60 dans le cadre de la mécanique statistique pour rendre la densité de Gibbs covariante sous l’action des groupes dynamiques de la physique. Il étend la notion d’ensemble canonique de Gibbs à une variété symplectique homogène sur laquelle un groupe agit (groupes dynamiques de la physique ; sous-groupes du groupe affine : groupe de Galilée ou groupe de Poincaré). Lorsque ces groupes sont non commutatifs, l’algèbre de Lie du groupe vérifie des relations de type cohomologique qui brisent la symétrie. Pour rétablir cette symétrie, Souriau introduit une température « géométrique » comme élément de l’algèbre de Lie, et une chaleur « géométrique » (moyenne de l’Energie qui est le moment de l’action hamiltonnienne du groupe) comme élément de son dual, permettant de remettre en dualité, via la transformée de Legendre, l’ Entropie « géométrique » et le logarithme de la fonction de partition (fonction caractéristique) définie pour ces nouvelles variables. La densité de Gibbs-Souriau (densité à Maximum d’Entropie) possède alors la propriété d’être covariante pour le groupe qui agit, et l’Entropie de Boltzmann « géométrique » associée est invariante pour tout symplectomorphisme. Si on se restreint dans ce modèle au groupe des translations temporelles, on retrouve la théorie de la thermodynamique classique, et pour un espace euclidien la statistique classique des gaussiennes. Jean-Marie Souriau a appelé cette nouvelle structure élémentaire de la physique statistique « la thermodynamique des groupes de Lie » et précisa que « ces formules sont universelles, en ce sens qu’elles ne mettent pas en jeu la variété symplectique, mais seulement le groupe, son cocycle symplectique et le couple de la température et de la chaleur (géométriques)».  Dans le modèle affine de Souriau, comme dans celui de Jean-Louis Koszul, les structures fondamentales sont déduites de la représentation affine des groupes et algèbres de Lie. Les modèles de Souriau et Koszul permettent ainsi d’approfondir et généraliser la notion de densités à maximum d’entropie. L’approche permet de définir des densités sous forme paramétrique, densité de Gibbs à Maximum d’Entropie, dans des espaces très généraux et abstraits.
Références :
[1] Barbaresco, F. Koszul information geometry and Souriau Lie group thermodynamics, AIP Conf. Proc. n°1641, n° 74, 2015, Proceedings of MaxEnt’14 conference, Amboise, Septembre 2014
[2] Barbaresco, F. Koszul Information Geometry and Souriau Geometric Temperature/Capacity of Lie Group Thermodynamics. Entropy, vol. 16, 2014, pp. 4521-4565. Published in the book Information, Entropy and Their Geometric Structures, MDPI Publisher, September 2015.
[3] Barbaresco, F. Symplectic Structure of Information Geometry: Fisher Metric and Euler-Poincaré Equation of Souriau Lie Group Thermodynamics. In Geometric Science of Information, Second International Conference GSI 2015 Proceedings, (Franck Nielsen and Frédéric Barbaresco, editors), Lecture Notes in Computer Science vol. 9389, Springer 2015, pp. 529–540.
[4] Barbaresco, F., Geometric Theory of Heat from Souriau Lie Groups Thermodynamics and Koszul Hessian Geometry: Applications in Information Geometry for Exponential Families. Preprint soumis au Special Issue “Differential Geometrical Theory of Statistics”, MDPI, Entropy, 2016.
[5] Koszul, J.L. Sur la forme hermitienne canonique des espaces homogènes complexes. Can. J. Math. 1955, 7, 562–576.
[6] Koszul, J.L. Exposés sur les Espaces Homogènes Symétriques; Publicação da Sociedade de Matematica de São Paulo: São Paulo, Brazil, 1959.
[7] Koszul, J.L. Domaines bornées homogènes et orbites de groupes de transformations affines. Bull. Soc. Math. Fr. 1961, 89, 515–533.
[8] Koszul, J.L. Ouverts convexes homogènes des espaces affines. Math. Z. 1962, 79, 254–259.
[9] Koszul, J.L. Variétés localement plates et convexité. Osaka. J. Math. 1965, 2, 285–290.
[10] Koszul, J.L. Déformations des variétés localement plates. Ann. Inst. Fourier 1968, 18, 103–114.
[11] Koszul, J.L. Trajectoires Convexes de Groupes Affines Unimodulaires. In Essays on Topology and Related Topics; Springer: Berlin, Germany, 1970; pp. 105–110.
[12] Souriau, J.M. Géométrie de l’espace de phases. Comm. Math. Phys. 1966, 374, 1–30
[13] Souriau, J.M. Définition covariante des équilibres thermodynamiques. Suppl. Nuov. Cimento 1966, 1, pp.203–216. (In French)
[14] Souriau, J.M. Structure des systèmes dynamiques; Editions Jacques Gabay: Paris, France, 1970.
[15] Souriau, J.-M., Mécanique statistique, groupes de Lie et cosmologie, Colloques internationaux du CNRS numéro 237, Géométrie symplectique et physique mathématique, 1974, pp. 59–113.
[16] Souriau, J.M. Géométrie Symplectique et Physique Mathématique; Éditions du C.N.R.S.: Paris, France, 1975.
[17] Souriau, J.M. Thermodynamique Relativiste des Fluides; Centre de Physique Théorique: Marseille, France, 1977.
[18] Souriau, J.M. Thermodynamique et géométrie. In Differential Geometrical Methods in Mathematical Physics II; Bleuler, K., Reetz, A., Petry, H.R., Eds.; Springer: Berlin/Heidelberg, Germany, 1978; pp. 369–397.
[19] Souriau, J.M. Dynamic Systems Structure (chap.16 convexité, chap. 17 Mesures, chap. 18 Etats statistiques, Chap. 19 Thermodynamique), available in Souriau archive (document sent by C. Vallée), unpublished technical notes, 1980.
[20] Souriau, J.M. Mécanique classique et géométrie symplectique. CNRS Marseille. Cent. Phys. Théor. 1984, Report ref. CPT-84/PE-1695.
[21] Souriau, J.M. On Geometric Mechanics. Discret. Cont. Dyn. Syst. J. 2007, 19, 595–607.