La Grosse Question :

Les Large Language Models comme chatGPT, Gemini ou Claude ne sont-ils que des prédicteurs probabilistes du prochain mot d'un texte, ou bien, pour arriver à leur niveau de performances, se sont-ils créé une représentation du monde et des concepts ?

C'est le sujet de cette vidéo de Monsieur Phi :

Avis perso

GPT3.5, bof, on a assez l'impression d'avoir effectivement un prédicteur probabiliste qui ne sait pas ce qu'il raconte.

Par contre, dans de nombreuses conversations que j'ai eu avec GPT-4, il y a de nombreuses fois où je me suis dit : "c'est impressionnant, ce truc est obligé de comprendre vraiment ce qu'il est en train de dire, sinon il ne structurerait pas son discours aussi bien."

Exemple

Un exemple qui m'a frappé, c'est quand je lui ai demandé d'inventer un nouveau mot. Je lui demandais d'imaginer quel nom aurait une cellule ayant la fonction opposée d'un nocicepteur. Il m'a proposé plusieurs solutions cohérentes.

Primo, aucun des mots qu'il m'a proposé n'existait avant, même si maintenant, on peut trouver le terme hedoniceptor sur Google, c'est parce que je l'ai écrit dans cet article sur StoryPress.

Deuxio, la façon dont il a accompagné chacune de ses 3 ou 4 propositions d'un commentaire expliquant leur origine m'a fait me dire : "toi tu comprends vraiment de quoi tu parles petit malin".

Si c'était moins le bordel dans mes archives de plus d'un an de dialogue avec chatGPT, je pourrais retrouver la conversation. 😳

Ah ben si, j'ai retrouvé la conversation :

Les LLMs ont des couches (comme les oignons)

Les réseaux de neurones des LLMs ont de nombreuses couches (c'est pour cela qu'on parle de deep learning). Je crois que GPT-3.5 en a 80 et l'on conjecture que GPT-4 en a 120.

Ces couches permettent de mettre en relation les "données d'en bas". Mon sentiment est qu'à mesure qu'on empile les couches, on permet au modèle de développer des abstractions et représentations synthétiques, basées sur les mots reliés dans les couches inférieures.

Ma conviction intime est que, dans leurs couches supérieures, ces modèles ont pu développer une compréhension des concepts.

No limit

Et à la différence de nos cerveaux humains, dont le nombre de couches est techniquement limité par la taille de la boite crânienne, les IAs, dont on peut agrandir le cerveau autant que l'on veut, n'ont pas cette limitation. Peut-être que cela leur permettra d'atteindre des niveaux d'abstraction qui nous seront à jamais interdits.

468	Articles
1 821	Commentaires

2024	56
2023	3
2022	1
2020	4
2019	8
...

Anticipation	5
Dev	32
Films	5
IA	8
Jeux Vidéo	4
...

Web/Tech	31
MetaWiki	29
Weblogs	25
politique	22
KarmaOS	21
...

Émergence d'une représentation du monde dans les LLMs ?