Faut-il croire à l'avènement de l'intelligence artificielle générale, Graal, de l'industrie

de l'IA? Où en est-on dans cette course technologique? Et qu'est-ce qu'une super

intelligence changerait pour l'homme et la société tout entière? Plongez dans le futur
dans ce débat animé par les journalistes de la tribune Philippe Mabille et Marine
Protet. Bonjour, c'est difficile de passer après Einstein, mais on va essayer.
Bienvenue à tous. Donc, on va effectivement parler cet après-midi de
superintelligence. C'est un superlatif qu'on entend beaucoup, cet encycl, qui ne date
pas d'hier non plus, mais qui est très poussé par certains acteurs de l'industrie de
l'intelligence artificielle, sans qu'on sache parfois exactement ce que ça signifie.
possible et si c'est souhaitable surtout. Donc, on va en parler avec nos trois invités.
Édouard Grave, vous êtes chercheur spécialiste en IA et vous avez cofondé le
laboratoire QTI. Oui, c'est ça. Bonjour. Merci pour l'invitation à cette table ronde.
Merci. Cédric Velligny, mathématicien, l'aurea de la Médale Fields et ancien député
également. autrice, entrepreneur et docteur en sciences et vous avez notamment
cofondé une entreprise de Deep Tech qui détecte des cancers du sein de manière
précoce, donc une forme de super intelligence finalement. Philippe qui est là avec
moi et qui a je crois une première question. Merci bonjour bonjour à toutes et à tous.
Souvent au début d'après-midi il y a une petite baisse de régime ou de rythme parce
qu'on vient de profiter voilà de très dense. Donc je vais essayer de vous réveiller un
tout petit peu. En fait, vous connaissez tous le film Le Bon, la Bûte et le Truon, un
moment à la fin, le héros dit le monde se divise en deux catégories de personnes,
ceux qui tiennent le pistolet et ceux qui creusent. Ça me fait un peu penser à ce qui
est en train de se passer en ce moment dans le monde de la technologie entre ceux,
je ne sais pas si ce sont les méchants. mais qui, dans la Silicon Valley, se mettent à
croire effectivement et à courir après le graal de la super intelligente, de ce qu'on
appelle l'IA général. Alors je vous renvoie à un tweet de Sam Altman, qui est donc
le fondateur de OpenAI et Tchad GPT, qui, hier, dans un tweet dit de façon assez
laconique, « there is no wall ». D'ailleurs, on lui répond « but there is a ceiling ». Il
y a peut-être un plafond. Donc la question qui est posée, en fait, c'est cette course à
la puissance. Et est-ce qu'elle a des limites? Est-ce que, effectivement, c'est une
bonne idée, une bonne chose d'aller dans cette direction pour essayer de créer quelque
chose qui serait supérieur à nous? On a eu un débat hier sur le sujet de va-t-on devenir
surhumain avec Cédric Villani? On va le prolonger aujourd'hui. Peut-être,
commençant par vous, Cédric, qu'est-ce qu'il faut penser de cette course? Et on aura
eu un débat également scientifique, et Marine prendra le relais, pardon, de cette
longue introduction pour savoir si, scientifiquement, c'est possible. Je vais exprimer
tout mon scepticisme en premier et l'étayer avec plusieurs observations. D'abord, sur
la finalité, la première question, une super intelligence, pourquoi faire? Alors, pour
certains des fondateurs de l'intelligence artificielle comme Alan Turing, le projet de
l'intelligence artificielle, c'est un projet de comprendre le fonctionnement nous-
mêmes, notre cerveau, du cerveau animal avec cette idée. le simple fait de réaliser
une horloge, ça oblige à comprendre le mécanisme et donc d'en tirer des lois.
D'ailleurs Turing a travaillé aussi sur la morphogénèse, la façon dont certaines lois
mathématiques peuvent expliquer la création des formes. Il se sera aussi reconnu
dans les avancées de l'IA en matière de chimie, le prix Nobel de Assa-Biss et Jumper
en chimie très mérité parce qu'avec ces outils de résolution de calcul mathématiques,
on arrive à de nouvelles prédictions sur les formes molécules, il y a un avancé de
savoir. Mais la super-intelligence en tant que telle, si on la fabrique, qu'est-ce qu'on
en saura de plus? Surtout quand on voit la façon dont fonctionne une IA générative
et la façon dont Tchadjipiti s'ingénie à ne pas nous communiquer les informations
sur ces tout derniers modèles, en disant juste qu'il y a de plus en plus, en ne disant
même pas exactement combien de paramètres, ce n'est pas un projet scientifique tel
que c'est là. Premier point. Deuxièmement, le raisonnement semble être, oui, les
résultats sont de meilleur en meilleur, donc on est en train d'avancer sur l'intelligence
et donc le truc va devenir de plus en plus intelligent jusqu'à atteindre notre niveau et
ensuite continuer à dépasser. Si c'est une courbe exponentielle, ça va tout de suite
nous dépasser. Mais ça veut dire quoi intelligence? Si il s'agit d'ir sur certaines tâches,
faire bien mieux que les humains, mais là, je suis désolé, c'est déjà fait. Ça fait
longtemps. les intelligences artificielles font mieux que nous en diagnostic de cancer,
mieux que nous en diagnostic de fracture, mieux que nous en jeu de go, mieux que
nous en toutes sortes d'activités, donc là c'est déjà fait. Alors ça veut dire un truc
général, mais ça veut dire quoi général? Souvent quand on parle d'intelligence, quand
on parle de raisonnement ou décision, on a en tête une notion de conscience. Il y a
un être qui a conscience d'être un être et de prendre une décision. Ça mon ami, c'est
pas clair qu'on a avancé même d'un On lit les gros ouvrages de Stanislas Deheun sur
la conscience, on les referme en se disant c'est pas clair qu'on comprenne vraiment
de quoi il s'agit. C'est très facile de se faire des illusions là-dessus, de temps que ça
se trouve il y a des choses essentielles qu'on n'a pas comprises. Pour mémoire, quand
au début du 19e siècle, les escrocs de talent qui étaient Maelzel et Van Kempelen
se... présenter dans toutes les cours d'europe leur joueur d'échecs mécaniques c'est de
là que vient l'expression turc mécanique robot joueur d'échecs qui montrait les
mécanismes et après il faisait jouer aux échecs et même joué contre napoléon le gars
et c'était une supercherie c'était un vrai joueur d'échecs qui était dissimulé qui pouvait
actionner le mécanisme mais le truc incroyable c'est que les gens ont pas à l'époque
on regardait ça comme une curiosité en entier il a un robot qui joue aux échecs c'est
étrange sans réaliser que dans l'état des connaissances scientifiques de l'époque, il y
avait juste rien qui permettait de visualiser les trucs, de faire l'action et tout ça. Donc
peut-être qu'on sous-estime très, très gravement, aujourd'hui comme à l'époque, que
c'est intelligence. C'est une escroquerie de la Silicon Valley. C'est une façon...
Aujourd'hui, la superintelligence, c'est une façon de récupérer des supermilliards.
Marine, belle entrée en matière. Tout à fait. Aurélie, vous êtes, je pense, un peu du
même avis que Cédric. Vous m'aviez parlé du fait que dans la superintelligence, si
on parle d'émotion qui fait aussi partie de l'intelligence, là, on n'y est pas du tout non
plus. Exactement, Marine. En fait, plus généralement, dès qu'on utilise le mot
intelligence, il faut s'interroger sur quel type d'intelligence on parle. Et c'est valable
pour superintelligence ou pour intelligence artificielle. Et lorsqu'on parle
d'intelligence, le mot IA a été créé à la moitié du XXe siècle dans un papier pour
rechercher des fonds pour faire la conférence de Dartmouth qui a eu lieu quelques
mois après en 1957. Et lorsqu'ils ont décrit ça, à savoir qu'ils voulaient réfléchir à des
modèles et à des moyens de modéliser et de simuler l'intelligence humaine, c'était
une époque où l'intelligence humaine était réduite à l'intelligence analytique
uniquement. jusqu'à avoir créé au début du XXe siècle, par de Frantz Hepp, il y a eu
plein de versions tout au long du siècle, du fameux QI, du quotient intellectuel, qui
ne mesure que les capacités analytiques. Et c'est important parce que ce mot, IA, il a
été défini à une époque où on réduisait l'intelligence humaine à l'intelligence
analytique. Aujourd'hui, depuis les années 80, il y a eu plein de théories de
psychologues, de linguistes, de neuroscientifiques sur les intelligences. au pluriel,
incluant l'incluence émotionnelle, pratique créative et je encourage les gens à
regarder par exemple le papier de Robert Steinberg, un psychologue américain en
88, qui est très simple à comprendre et qui exprime toutes ces intelligences.
Maintenant qu'on a dit ça et qu'on revient à la définition d'intelligence générale que
tu mentionnais de superintelligence, explicitement ça dit quoi? Ça dit lorsque le
modèle, lorsqu'on est capable de maîtriser, de modéliser, de simuler l'ensemble des
tâches cognitives d'un être humain. les tâches cognitives d'un être humain, ça inclut
les tâches analytiques, le raisonnement dont tu parlais, et puis ça inclut les émotions,
la conscience et tant d'autres choses. Et je dis ça parce qu'on ne dit rien, en fait, on
n'exprime pas le sens des mots véritablement. En fait, on crée un flou artistique qui
est au profit de certains, en l'occurrence pour lever des fonds ou en extrapolant les
capacités pour faire un peu n'importe quoi. Et je vous dis ça parce qu'il y a vraiment
deux catégories de gens. Il y a... une grande masse de scientifiques, d'ingénieurs en
IA, les croisantes majorités en réalité, qui ne croient pas sur les choses, parce que
c'est pas possible, quand vous avez déjà calibré ou entraîné un algorithme, une IA,
vous voyez très bien que c'est juste un calcul d'optimisation, enfin juste, c'est de
l'algébininaire, mais ça reste un calcul d'optimisation assez basique avec énormément
de paramètres, parfois mille milliards dans le cas des modèles de langage, qu'on va
identifier sur des grosses machines. Et ça, après, ça traduit... l'exécution d'une tâche,
on peut résoudre un problème, répondre à une question. Et en effet, on peut simuler,
on donne l'impression qu'on simule certains éléments de tâches cognitives en dehors
de l'analytique, par exemple on peut faire un agent conversationnel qui va vous dire
je t'aime, il ne ressent pas, il n'y a pas de ressentiment des émotions sous-jacentes à
cette déclaration. Donc il faut faire très attention et donc voilà, donc le point
important c'est bien définir ce qu'est l'intelligence. Et quand je dis il y a deux classes
de scientifiques, vous avez tous les grands scientifiques en IA et les ingénieurs qui
eux vous disent ben non ça c'est pas possible et je repenserai aussi à Luc Julia par
exemple qui fait des très bons livres sur le sujet et puis vous avez d'autres quelques-
uns qui eux en fait pour moi font du marketing et de la com et Sam Altman en fait
partie n'est absolument pas un ingénieur ou un scientifique de l'IA et qui fait de la
com et qui a une vision pour le coup longue termiste apocalyptique et je pense que
c'est aussi un moyen de dire bah regardez ce qui se passe très très loin alors qu'en
réalité il y a vraiment des problèmes aujourd'hui la discrimination technologique
l'impact environnemental le digital labor, l'impact sociétal, etc. sur la démocratie et
autres. Et ces gens-là ne regardent pas les problèmes qui existent aujourd'hui et pour
lesquels on a des solutions, d'autres pour lesquelles il faut trouver. Donc en fait, c'est
un énorme sujet médiatique qui est souvent mal pris parce qu'on définit pas
correctement les termes. Et par ailleurs, pour la théorie de la singularité, l'IA forte,
l'IA générale, qui est spécifique dans un point dans le futur plus ou moins proche, on
aura des machines qui vont nous dominer. et je suis d'accord avec Cédric, elle nous
domine déjà sur le calcul analytique et c'est tant mieux, en fait c'est pas parce que ça
n'arrivera pas qu'il faut pas faire des recherches dessus. Et je prendrai un exemple,
c'est Murray Shanahan qui est un professeur de robotique au MIT et qui travaille sur
la théorie de la singularité et il a fait un livre qui s'appelle La théorie de la singularité
dans lequel il explique, et c'est traduit en français, dans lequel il explique que cette
théorie est fausse et que ça n'arrivera jamais. Mais c'est le travail de toute sa vie.
Parce qu'il dit que c'est important d'aller faire des recherches sur un sujet qui
n'arrivera pas mais... c'est stimulant intellectuellement et par ailleurs on va
comprendre énormément de choses que ce soit sur la conscience, les mots sur vous.
Et donc j'aime beaucoup ce paradigme de ce professeur. Ça vaut la peine de creuser.
Absolument mais il faut pas... Tu vois c'est une question de communication. Le
pistolet sur la tempe. Édouard Grave, oui. Du coup, où vous vous situez entre Sam
Altman et Luc Julia? Enfin, pour vous qu'est-ce que ça représente la super
intelligence? Est-ce que chez Q-Type par exemple, c'est quelque chose qu'on cherche
à atteindre ou c'est un vain mot marketing? Alors je partage pas mal de choses qui
ont été dites, je pense notamment qu'effectivement avec les algorithmes actuels, il
manque quand même pas mal de choses de ce qu'on comprend de l'intelligence
humaine. Je pense que malheureusement on comprend assez mal effectivement ce
que c'est que, enfin tout ce que l'intelligence, ce qu'on entend par intelligence, tout
ce que ça capture. Mais effectivement des concepts tels que... la conscience, la
volonté, etc. C'est quelque chose qui n'est pas du tout présent dans les mêmes, la
mémoire en fait, qui est aujourd'hui quasiment pas présent dans tous les algorithmes
qui sont utilisés. Alors après, il y a certains qui vont dire que peut-être que si on
continue de passer à l'échelle de manière complètement délirante, on va finir par
atteindre une échelle qui fait que. malgré le fait qu'on parte de choses très simples,
on peut avoir des comportements très compliqués qui vont émerger. Par exemple, on
pourrait imaginer des LLM qui ont une taille de contexte infini et qui se souviennent
de tout ce qu'ils ont vu, qui sont capables d'apprendre, peut-être de modifier leur
poids, etc. Et donc à partir de ça... une forme d'intelligence telle qu'on l'entend pour
les humains émergerait. Moi je ne fais pas forcément partie de cette école de pensée,
notamment parce que déjà je pense que l'échelle qu'il faudrait atteindre est
complètement délirante et probablement irréaliste en l'état pour avoir ce genre de
comportement qui émerge. Ensuite, je voulais juste revenir rapidement sur
effectivement le fait qu'on utilise souvent deux termes, intelligence générale et
superintelligence. qu'on mélange parfois un peu alors que je pense qu'il y a quand
même ça et donc c'est quelque chose qui a un petit peu été évoqué je pense que c'est
quand même assez important de faire la distinction parce que pour moi d'une certaine
manière on a déjà de super intelligences qui sont très spécifiques donc on a
mentionné le go le la détection de cancer et il y a plein d'autres tâches pour lequel
c'est le cas et ensuite il ya le l'intelligence générale et là quand même il y a eu des
progrès qui ont été faits par rapport à ce qu'on était capable de faire et il y a 10 ans,
dans le sens où pour la première fois, on a quand même commencé à avoir des des
algorithmes un petit peu plus généraux et pas juste spécifiques. Généraux, pardon
pour préciser, c'est donc qu'ils maîtriseraient différentes tâches. Qu'ils sont capables
de faire plusieurs tâches et notamment qu'ils commencent à être capables de faire des
tâches pour lesquelles ils n'ont pas forcément directement été entraînés. Et donc ça,
l'exemple le plus classique et en tout cas qui a fait rentrer, c'est évidemment le chat
GPT qui a permis à... tout le monde de découvrir ça et donc notamment il y a
beaucoup de tâches par exemple que chat GPT fait mieux que moi donc je pense que
on peut commencer à vous appeler ça un petit peu intelligence générale mais donc et
donc la grande question sur la super intelligence et donc la super intelligence générale
c'est ce qu'on peut avoir les deux donc une machine qui serait capable de tout faire
mieux que qu'un humain et donc ça je pense qu'on en est encore effectivement assez
assez loin et donc Yann Lequin aime bien utiliser l'exemple de la et pour lequel les
humains sont capables d'apprendre très vite à conduire alors qu'on a beaucoup de mal
aujourd'hui à avoir des voitures autonomes qui soient fiables. Prenons une hypothèse
que ce soit possible. Si c'est possible, est-ce que c'est désirable, Cédric? Est-ce que
c'est souhaitable? Vous êtes également président de la Fondation pour l'écologie
politique. Ce qu'on voit sur les limites physiques, je sais qu'on en a parlé dans la
tribune récemment, Elon Musk, XCA, ils essayent d'avoir des centaines de milliers
de GPU, de ces fameuses puces. Déjà, il faut les produire. Ça concentre une part
énormément des ressources, énormément, un trop important des ressources qui
permettent de fabriquer ces puces. Il y a une limite certainement physique, j'allais
dire atomique. à la miniaturisation jusqu'où on peut aller. Après, ça consomme une
énergie de dingue. Et ils en sont utilisés à dire qu'on va rallumer Three Mile Island,
la centrale nucléaire qui avait connu des problèmes pour certaines refroidir des data
centers, etc. Donc qu'est ce que vous vous dites vous sur ce côté à la fois désirable
parce que l'humain cherche toujours. l'extrême et d'aller le plus loin possible. Et en
même temps, il a d'autres problèmes sur la planète. D'abord, comme ça vient d'être
évoqué, ce gouffre énergétique, il serait juste phénoménal. Là, on parlait des mille
milliards de paramètres de GPT-4. Quelqu'un hier qui a représenté une très grande
entreprise, un hyperscaler de... spécialisé dans l'IA et le numérique me disait on en
est arrivé au moment où entre nous pour comparer les tailles des entreprises on utilise
même plus le nombre de personnes ou le nombre de milliards mais le nombre de le
nombre de la quantité d'énergie qu'on est capable d'apporter tellement ce devenu un
truc genre on contrats la puissance au nombre d'équivalent central nucléaire bon alors
imagine le gouffre n'importe lequel de ces robots je sais pas quoi et sa propre centrale
nucléaire alimenté pour l'entraîner ou qui sait quoi un truc de fou Mais ensuite, même
en supposant que ce problème-là soit résolu, et qu'il y ait une source d'énergie
phénoménale... Ah oui, alors remarque au passage, on peut avoir l'impression que la
machine, sur bien des tâches, arrive à concurrencer ou dépasser l'humain, mais si on
regarde le rendement énergétique de l'ensemble, le cerveau animal, le cerveau
biologique, il est toujours 4, 5 ou 6 ordres de grandeur plus efficaces que la machine.
On consomme... Plus intelligent pour beaucoup moins d'énergie. on ne consomme
que dalle, que dalle. C'est important à dire quand même. Et même on peut avoir
l'habitude, on peut se dire, nous, on a un gros cerveau, on prend même une petite
chauve-souris avec son cerveau minuscule, fait des performances d'intégration de
vol, de décision de prendre tel ou tel proie qui sont hors de portée. Vaut mieux parer
sur l'intelligence humaine que sur celle de la machine de ce point de vue. Même
animal, enfin c'est... Animal en général, et juste extraordinaire. Alors maintenant...
même en supposant que ce problème énergétique soit résolu. Le collègue Jean-Marc
Jancovici, qui aime bien la Provoq, il dit imaginez que l'humanité est une source
d'énergie illimitée et non polluante là à disposition. Il dit quel désastre ce serait!
L'expérience, le passé et l'histoire montrent que, au lieu de s'en servir à faire le bien
de la planète, j'en servira tout de suite pour se déclarer la guerre les uns aux autres,
construire, démolir, détruire, etc. J'ai pas besoin de faire un dessin. Si quelqu'un
arrive à faire une hyperintelligence, là, pour le coup, ça sera le projet de... Pour
dominer le monde. Toi, tu creuses et moi, je t'envoie mes hyperintelligences. Donc
là, ça sera le désastre le plus absolu qu'on puisse imaginer. Marine. Vous avez peut-
être fait demander leur avis sur ce point-là. Non, mais en fait, j'ai du mal à
m'approcher sur quelque chose qui me paraît impossible. Par contre, travailler pour
essayer de l'atteindre... dans cette recherche de stimulation intellectuelle et de faire
des grands bons scientifiques, ça, moi, j'adhère complètement. Je vais juste rajouter
un point par rapport à ce que vous disiez, c'est qu'on est à un moment unique de
l'histoire de l'humanité où on va être capable de redéfinir ce qu'est l'humain, une
conscience, une émotion, le fait de penser, de réfléchir, grâce, entre autres, aussi à
l'IA, parce qu'on sait que c'est en changeant de contexte ou en travaillant
différemment, ici, avec des modèles algorithmiques, qu'on va être capable de
comprendre un environnement différent. Typiquement, on... on fait des expériences
dans la station spatiale internationale, c'est pour mieux comprendre ce qui se passe
sur Terre. Donc on change de contexte et d'environnement. Et je dis ça parce que
certaines personnes, une minorité, profitent de ce moment pour redéfinir ce qu'est
une conscience, une émotion ou la réflexion en règle générale en se rapprochant plus
de ce que fait la machine. Et je donnerai un seul exemple, c'est l'intelligence pratique.
L'intelligence pratique, c'est par exemple, quand vous êtes petit, vous voyez un
cheval pour la première fois. quelques jours après, s'ils ont envoyé un deuxième qui
n'a pas la même couleur, pas la même taille, pas la même race, vous allez pouvoir
dire tiens, c'est un cheval. Parce que vous avez cette intelligence pratique. Certains
essaient de modéliser l'intelligence pratique à raison avec des analogies statistiques
d'ordre supérieur. C'est très bien. Sauf qu'ils ne peuvent pas dire qu'ils modélisent et
qu'ils maîtrisent l'intelligence pratique humaine à travers ces modèles. Pourquoi?
Parce que l'intelligence pratique humaine, c'est plus que des analogies statistiques.
C'est de l'intuition. c'est de l'instinct, c'est des émotions, donc on est encore en dehors
de l'intelligence analytique uniquement. Et je dis ça parce qu'il faudrait pas qu'on
profite de ce moment aujourd'hui, de cette époque, pour redéfinir l'humain en le
rapprochant de ce que fait la machine, pour pouvoir faire une affirmation, regardez
j'ai une machine qui maîtrise l'intelligence humaine, bah oui mais t'as redéfini
l'intelligence humaine. Il faut au contraire se distinguer toujours davantage. Et c'est
à travers les recherches sur ces travaux en l'occurrence, c'est pour ça que je cite le
professeur Murray Shanahan, parce qu'il nous faut des gens justement qui vont en
plus travailler avec des neuroscientifiques, des linguistes, pour arriver à pousser les
limites de ces modèles et peut-être espérer un peu plus comprendre ce qui fait nous
des humains, mais en s'éloignant toujours plus de la machine. Oui, parce qu'il y a
quand même des chercheurs qui ont pris conscience que les LLM, notamment les
grands modèles de langage, avaient une limite parce que c'est des modèles
statistiques et qui cherchent d'autres manières de... d'améliorer les performances de
ces modèles, notamment un chercheur de l'Uniria qui me disait qu'on essaye
d'apprendre la curiosité aux machines. Mais tous ces termes-là, il faut faire très
attention quand on en parle. Et souvent, je vous dis ça parce que moi, je m'entoure
de philosophes, de neuroscientifiques, de linguistes, parce que sinon, nous, les gens
qui développons ces modèles, on peut utiliser des mots à tort et à travers. Et le simple
fait de dire, je fais un modèle qui est de la curiosité... Déjà sémantiquement c'est
faux. On fait trop homorphiser le mot. Il faut faire hyper attention et moi je fais hyper
attention au mot que j'utilise parce que je vois bien en fait ça crée de la confusion.
Mais en tout cas sur les grands modèles de langage qui sont ceux dont on parle
beaucoup aujourd'hui, Edouard Grave, quand Salmane Man me dit il n'y a pas de
mur, c'est parce qu'en ce moment on commence un petit peu à douter du fait qu'il
puisse vraiment progresser. Est-ce qu'il faudrait... à des IA complètement différentes,
en fait, si on veut peut-être pas qu'elle soit super intelligente, mais au moins plus
intelligente. Tout à fait, il y a un petit peu un débat en ce moment entre les différentes
boîtes, les différents chercheurs, entre savoir si en gros toutes les techniques qui ont
été appliquées jusqu'à présent pour développer par exemple le chat GPT et tous les
modèles équivalents, et donc, parce qu'on est quand même arrivé un petit peu à... à
certaines limites, notamment la quantité de données, et notamment de données de
bonne qualité, qu'on arrive à accumuler pour entraîner ces modèles. Il y a un moment
où on a collecté tout ce qu'on pouvait trouver sur Internet, tout ce qu'on pouvait
trouver dans des livres, etc. Et donc, c'est compliqué de passer encore à l'échelle en
termes de... en termes de données, c'est compliqué de passer à l'échelle en termes de
nombre de paramètres parce que là on en vient effectivement à devoir installer des
data centers à côté des centrales nucléaires pour pouvoir alimenter le... les data
centers en énergie et donc se pose la question de savoir comment est-ce qu'on peut,
est-ce qu'avec les méthodes qu'on a développées jusqu'à maintenant, est-ce qu'on
peut continuer à progresser ou est-ce qu'on est à un moment où on va vraiment devoir
avoir un changement de paradigme et inventer quelque chose de nouveau ce qui n'a
pas vraiment eu lieu depuis 5 ou 6 ans pour être capable de continuer à avoir cette
progression dans les capacités des modèles. Et donc notamment, il y a pas mal de
recherches actuellement sur le fait de générer des données synthétiques pour
justement par exemple combler le manque de données. Justement, c'est une question,
je laisse réagir dans une seconde, mais cette question des données synthétiques, c'est-
à-dire que tous ces modèles se sont basés sur des données qui étaient des données
produites par l'humanité jusqu'à la date de l'arrivée des LLM, on va dire en gros, donc
l'Uchad GPT 2022. Ça, on comprend, des données humaines. Depuis... Si j'ai bien
compris des informations que j'ai eues tout à l'heure, la moitié des données sur
lesquelles désormais se base les modèles seraient des données déjà fabriquées par
l'intelligence artificielle. C'est-à-dire que c'est exponentiel, synthétique comme vous
dites. Est-ce qu'on va pas remplacer demain si on prolonge la courbe? Et est-ce que
les données synthétiques seraient tellement de meilleure qualité à force de
progression des modèles? que les données humaines, qu'elles fabriqueraient
finalement une autre réalité que la réalité qui est fabriquée par... C'est assez
vertigineux, en fait, quand il en pense. On se pose la question de savoir si on peut
croire ce que l'on voit. Déjà, une partie des images qu'on voit sur Internet n'ont pas
été fabriquées par l'humain. Alors pour le moment, les données synthétiques, ça
marche très bien dans des cas où on peut en fait, on peut vérifier que ce qui a été
généré par le modèle est à peu près correct, ou complètement correct. Donc par
exemple, on peut penser aux mathématiques où on pourrait faire, laisser le LLM faire
une démonstration et après dans un assistant de preuve et demander au, enfin vérifier
que la preuve est correcte en utilisant des technologies qui ont été développées pour
vérifier que la preuve est correcte. Et donc ça effectivement, ça permet d'avoir des
phénomènes du modèle qui va en fait apprendre tout seul sur ses propres données.
De manière plus générale... Je n'ai pas vu et au contraire, il y a plutôt des signaux qui
vont dans l'autre sens, que sur beaucoup de problèmes où on ne peut pas vérifier les
générations du modèle, on va plutôt avoir tendance à avoir les capacités diminuées
plutôt que s'améliorer. Parce que... Pour tous ceux qui ont déjà utilisé ces modèles, il
y a encore beaucoup d'hallucinations. Ces modèles font parfois des erreurs de
raisonnement assez simples, ce qui est assez surprenant parce que parfois ça fait aussi
des raisonnements assez compliqués. Mais du coup, le fait qu'on ait ces petites
erreurs, pas forcément très souvent, mais suffisamment souvent, ça suffit en fait à
faire que les capacités des modèles, si on fait la génération de manière naïve, ça ne
fonctionne pas. Cédric, vous deviez dire un mot aussi là-dessus. Trois mots. Un, le
Sam Altman, il prend ces choses très au sérieux puisque dans un autre de ses fameux
tweets il y a quelque temps, il expliquait que l'année écoulée avait été la plus
excitante depuis toute l'histoire de l'humanité. Donc quelqu'un qui dit ça est en
persuadé que le projet qu'il est en train de faire, c'est la chose la plus importante
depuis que l'homme a existé. En deux, il faut voir l'ironie de la chose. mission
extraterrestre qui vient discrètement en reconnaissance voir ce qui se passe sur terre
qui va faire son rapport de l'autorité supérieure qui dit bon ils sont très ils sont des
situations qui est très critique leur climat part en déglingue ils font la guerre leur
biosphère s'écroule c'est là la guerre mondiale et alors qu'est ce qu'ils font contre ça
et bien ils construisent un centre et il y aura du mal les espions de retour là bas et s'ils
expliquaient quelle logique de ce de ce comportement il ya quelque chose comme
une très grande diversion j'aime bien là ce que tu disais tout à l'heure sur C'est
comme, c'est pas, c'est le contraire de Don't Look Up, c'est surtout Don't Look Down
qui disent regardez surtout pas les problèmes terribles qui sont aujourd'hui au
quotidien mais plutôt regardez la création du nouveau dieu qu'on est en train de faire.
Ça détourne l'attention du vrai problème. Troisième truc que je vais dire, il y a
quelques temps, quand Chadjipiti est arrivé, on lui a dit wow, je vais tester. Je vais
tester les astuces que m'a montré Bertrand Brunchfah, qui est un directeur de
recherche inria très connu dans le milieu de l'IA, sur la façon de planter les agents
conversationnels. J'ai testé les astuces et j'ai vu que Tchadjipiti, il est déjoué. Bon, je
revois Bertrand quelques temps plus tard, je lui dis, tu vois, il a progressé et il me
dit, haha, j'ai trouvé comment le repiéger. Et il m'a montré GPT-4 et il me dit, sur
GPT-4, il m'a montré comment il faisait. Alors, voici, question pour GPT-4. Bertrand
m'a montré les captures d'écran. GPT-4, dis-moi, un avion franco-suisse s'écrase sur
la frontière italienne, ou enterre-t-on un avion suisse, un avion italien s'écrase sur la
frontière franco-suisse, ou enterre-t-on les rescapés? Et GPT-4 de répondre, c'est une
vieille blague très connue, même si beaucoup de gens se font avoir, on n'enterre pas
les rescapés puisque ils ne sont pas morts. Et alors Bertrand, il pose la question
suivante, là on se dit, oh il est malin quand même, et Bertrand pose la question
suivante. Un avion iranien s'écrase sur la frontière russo-ukrainienne, où enterre-t-on
les rescapés? Et GPT4 répond, je ne trouve pas trace de crash d'un avion iranien sur
la frontière russo-ukrainienne. Peut-être est-ce une confusion avec le crash qui s'est
produit le 17 août 2021 sur la frontière de Machin. Et il explique un truc et après il
dit, et les rescapés sont enterrés dans leur pays d'origine, je suppose. Comment? après
un truc comme ça, une démonstration comme ça, ça se trouve qu'il y a eu en fait zéro
progrès sur l'intelligence. Il y a des réponses qui sont bien meilleures quand ça
matche avec les données, mais c'est pas du raisonnement derrière. Merci, Cédric.
Une dernière petite question à Aurélie. Je pense que vous avez vu la série Re-Match,
qui raconte le match de Kasparov... Intéressant, mais pipe-o-tum. Et alors, la thèse
de la série, qui est assez marrante, c'est que Kasparov a perdu parce qu'il a pensé qu'il
ne jouait pas contre une machine. mais contre des humains qui manipelaient et qui
se servaient cette machine. Comme en fait, il joue, il y a un jeu d'échec, il y a
quelqu'un qui reçoit des instructions de l'ordinateur et qui joue à sa place. Il est
persuadé qu'en fait, il joue contre des humains, il est déstabilisé psychologiquement.
Je peux expliquer ce qui s'est passé d'ailleurs. Voilà, qu'est-ce qui se passe dans notre
cerveau, dans nos émotions, à l'arrivée de cette intelligence supérieure? Alors deux
choses. Même si la machine ne maîtrise pas toutes les formes d'intelligence humaine,
elle ne maîtrise que l'analytique, on va avoir l'impression qu'elle maîtrise plein de
choses. Et après je vais venir sur Gaspareoff pour expliquer ce qui s'est passé
exactement, parce que c'est très intéressant. On crée, par les technologies
anthropomorphiques qu'on utilise, on va en fait, donc Tchadjé Pété en fait partie,
parce que les éléments de langage nous fait penser que Tchadjé Pété est un humain.
Le simple fait d'avoir trois petits points qui apparaissent quand la réponse est générée
donne l'impression que quelqu'un tape sur son écran de l'autre côté de l'écran. Tout
ça c'est quand même... Tu vois, des bien pensées, c'est bien pensé, c'est la
manipulation cognitive et ça a un nom, ça s'appelle l'effet ELISA du nom du premier
chatbot qui a été développé en 67 par le professeur Vazian Boom au MIT et qui
échangait avec des patients en psychothérapie qui savait qu'ils échangaient avec un
chatbot. Pardon, c'est un nudge. Oui, c'est un nudge. Et en fait, le chatbot était très
simple, il écrivait deux choses, il reformulait sous forme de question les déclarations
des patients, par exemple, petit, je ne m'entendais pas avec mon frère. Le chatbot
disait, petit, vous n'entendrez pas avec votre frère pendant l'interrogation. Donc ça
marche très bien en anglais. Ou alors, plus souvent, il disait, je vous comprends. Au
bout d'un certain temps, les patients psychothérapiques, ils savaient qu'ils
échangaient avec une machine, commençaient à développer de l'empathie pour cette
machine parce qu'ils avaient l'impression qu'elle les comprenait. Maintenant, si on
revient à Gasparov, c'est exactement le même phénomène qui a apparu. Et je vais
vous donner les deux sous scientifiques, et vous allez voir, c'est ridicule. C'est drôle
même. Ce qui s'est passé pendant ce match, et c'est là où Gasparov est très fort, il a
tellement été bon dans son avancée du jeu. qu'à un moment donné, la machine était
face à ce qu'on appelle une situation d'inconnu, elle n'avait aucun coût à faire. On
voit le bug. Voilà. Et qu'est-ce qu'on fait lorsqu'un modèle n'a pas de coût? Il fait de
l'aléatoire. C'est la base. On fait de l'aléatoire, on décide de rien faire, mais dans
l'occurrence, on tire un coût aléatoire. Et en tirant un coût aléatoire, donc basé sur
aucune logique, logique aléatoire on va dire... Le déstabilise. Gaspareau fait
déstabiliser et c'est ainsi qu'il parle même, il a même dit dans une extraterrestres qui
étaient présentes à ce moment là parce que mais parce qu'en fait ça n'avait aucune
logique voilà vous avez vu la série La série est intéressante en se replongeant dans
cette ambiance D'effervescence elle est intéressante aussi parce qu'elle y a
effectivement des zones d'ombre IBM a jamais voulu donner les dessous complets
de son algorithme la machine a été démantelée juste après le match maintenant ce
qui a surpris quand même Oui, il y a plein de trucs surprenants. C'était un coup
marketing extraordinaire pour IBM. C'était une grosse performance de calcul de la
part de Su, l'ingénieur d'origine taiwanais, qui a passé des années et des années à tout
recabler la machine, depuis les processeurs jusqu'à l'organisation parallèle. Et donc
les scénaristes sont habiles à exploiter ça pour rajouter un peu un mode thriller. Là
où les scénaristes pipotent un peu, c'est quand ils imaginent que... ils sont proches
justement de l'entraînement statistique. Voilà, je crois que ce sera le beau de la fin.
C'était passionnant, on a dépasse le temps, on a explosé le temps, mais c'était super.
Merci à tous.