Grand modèle de langage
Il ne fait effectivement que prédire la suite la plus vraisemblable, un fragment de mot à la fois. Mais pour bien deviner sur des milliards de textes, il a fallu encoder au passage la grammaire, les faits et la structure des raisonnements.
Il ne fait effectivement que prédire la suite la plus vraisemblable, un fragment de mot à la fois. Mais pour bien deviner sur des milliards de textes, il a fallu encoder au passage la grammaire, les faits et la structure des raisonnements.
Parce qu'il produit ce qui ressemble statistiquement à une référence, pas ce qui est vrai. Une citation plausible et une citation réelle ont exactement la même forme — et rien, dans l'entraînement, ne distingue les deux.
L'apparition soudaine est en partie un artefact de mesure : une métrique tout-ou-rien transforme une amélioration continue en saut.