Quantification

Stocker les poids d'un modèle sur moins de bits (par exemple 4 ou 8 au lieu de 16) pour réduire la mémoire et accélérer, avec une légère perte de qualité.

La quantification permet de faire tenir de grands modèles ouverts sur des GPU grand public et des portables. Des mentions comme Q4 ou int8 indiquent le niveau de compression.

Tous les termes

Dans les autres langues

Quantization English
التكميم العربية

Termes associés

PoidsLes valeurs numériques apprises des connexions d'un réseau de neurones ; « télécharger un modèle » signifie télécharger ses poids.
Auto-hébergementExécuter un modèle à poids ouverts sur vos propres serveurs ou instances cloud au lieu d'appeler l'API d'un fournisseur.
Petit modèle de langage (SLM)Un modèle de langage compact, souvent quelques milliards de paramètres, assez léger pour un ordinateur portable, un téléphone ou un serveur modeste.

Questions fréquentes

Que signifie Quantification ?

Stocker les poids d'un modèle sur moins de bits (par exemple 4 ou 8 au lieu de 16) pour réduire la mémoire et accélérer, avec une légère perte de qualité. La quantification permet de faire tenir de grands modèles ouverts sur des GPU grand public et des portables. Des mentions comme Q4 ou int8 indiquent le niveau de compression.