Un paramètre, dans un grand modèle de langage, est une valeur numérique ajustable (poids ou biais) qui détermine comment le modèle transforme une entrée textuelle en prédiction. GPT-3 en compte 175 milliards. Les modèles plus récents en déclarent parfois plusieurs centaines de milliards. Cette inflation n’est pas un caprice d’ingénierie : elle découle directement de la façon dont un réseau de neurones encode le langage.
Mécanisme d’attention et multiplication des poids
L’architecture Transformer, socle de tous les LLM actuels, repose sur le mécanisme d’attention. Pour chaque token traité, le modèle évalue l’importance de tous les autres tokens présents dans la fenêtre de contexte. Cette évaluation passe par trois matrices de poids distinctes (query, key, value) appliquées à chaque couche d’attention.
A lire en complément : Comment les travailleurs à distance restent-ils connectés ?
Un modèle ne possède pas une seule tête d’attention par couche, mais plusieurs dizaines. Chaque tête dispose de ses propres matrices. Multipliez le nombre de têtes par le nombre de couches, puis par la dimension des vecteurs d’embeddings, et le total de paramètres grimpe mécaniquement.
À cela s’ajoutent les couches feed-forward intercalées entre chaque bloc d’attention. Ces couches contiennent souvent plus de paramètres que les matrices d’attention elles-mêmes. La majorité des paramètres d’un LLM se trouve dans ces couches feed-forward, pas dans le mécanisme d’attention au sens strict.
A découvrir également : Qu'est-ce qu'un serveur LLM ?
Pourquoi augmenter les paramètres d’un LLM améliore ses capacités
Le langage humain comporte des régularités à des échelles très différentes : syntaxe locale, cohérence thématique sur un paragraphe, raisonnement logique sur plusieurs phrases. Un modèle de petite taille peut capturer la grammaire de base, mais échoue sur les dépendances longues ou les nuances sémantiques fines.
Ajouter des paramètres revient à augmenter la capacité de stockage de ces régularités. Plus de couches permettent d’encoder des abstractions de plus haut niveau. Plus de dimensions par vecteur permettent de distinguer des concepts proches.
La relation entre taille du modèle et données d’entraînement
Les scaling laws documentées par la recherche montrent que les performances d’un LLM suivent une courbe prévisible en fonction de trois variables : le nombre de paramètres, la quantité de données d’entraînement et le budget de calcul. Sous-dimensionner l’une de ces variables par rapport aux autres gaspille les ressources investies dans les deux autres.
Un modèle avec des centaines de milliards de paramètres entraîné sur un corpus trop petit ne surpassera pas un modèle plus petit entraîné sur davantage de données. La course aux paramètres n’a de sens que couplée à un volume de données proportionnel.
Mixture-of-Experts : quand le nombre total de paramètres devient trompeur
Les architectures récentes compliquent la lecture du simple chiffre de paramètres. Dans un modèle de type Mixture-of-Experts (MoE), un routeur sélectionne pour chaque token un sous-ensemble restreint de blocs spécialisés (les « experts »). Le modèle peut ainsi déclarer plusieurs centaines de milliards de paramètres tout en n’en activant qu’une fraction à chaque étape de calcul.
Le coût de calcul par token devient alors comparable à celui d’un modèle dense beaucoup plus petit. Le nombre total de paramètres ne reflète plus directement la puissance de calcul mobilisée pour produire une réponse.
Mémoire GPU et paramètres inactifs
La sparsité d’un modèle MoE réduit les calculs, mais pas proportionnellement la mémoire requise pour le déploiement. Les experts inactifs restent généralement chargés en mémoire GPU, même lorsqu’ils ne sont pas sollicités. Un modèle MoE de grande taille exige donc une infrastructure matérielle substantielle, malgré un coût de calcul par token modéré.
- Les paramètres totaux déterminent l’empreinte mémoire du modèle au repos, pas sa vitesse de réponse.
- Les paramètres actifs par token déterminent le coût de calcul réel et la latence.
- Le ratio entre paramètres actifs et paramètres totaux varie considérablement d’un modèle à l’autre, rendant les comparaisons sur le seul chiffre total peu fiables.
Paramètres des LLM et rendements décroissants
Multiplier les paramètres ne produit pas une amélioration linéaire. Les gains de performance suivent une loi de puissance : doubler le nombre de paramètres n’apporte qu’une amélioration marginale sur la plupart des benchmarks. Chaque palier de qualité supplémentaire coûte exponentiellement plus cher en ressources.
Les modèles récents optimisent davantage le ratio entre paramètres actifs et paramètres totaux que la seule taille brute. L’objectif se déplace : il ne s’agit plus d’empiler des paramètres, mais de augmenter les capacités par watt consommé et par gigaoctet de mémoire.
Ce que le chiffre de paramètres ne dit pas
Deux modèles affichant le même nombre de paramètres peuvent avoir des performances très différentes selon la qualité des données d’entraînement, l’architecture précise du réseau et les techniques de post-entraînement appliquées (fine-tuning, alignement par retour humain).
- La qualité et la diversité du corpus d’entraînement pèsent autant que la taille du modèle sur le résultat final.
- Les techniques de quantification permettent de réduire la précision numérique des paramètres (de 32 bits à 4 bits par exemple) pour diminuer l’empreinte mémoire, avec une perte de qualité souvent minime.
- Le nombre de paramètres est un indicateur de capacité brute, pas de performance réelle sur une tâche donnée.
Les LLM comptent autant de paramètres parce que le langage naturel exige une capacité de représentation massive, répartie sur des dizaines de couches et des milliers de dimensions. Les architectures MoE montrent que cette inflation trouve désormais ses limites pratiques : le chiffre affiché sur une fiche technique renseigne de moins en moins sur ce que le modèle mobilise réellement pour produire une réponse.
