Pourquoi le pruning et la quantification à 2 bits dégradent les LLM

Quand la compression cesse d’être une optimisation

Je ne mettrais pas sur le même plan un modèle plus léger et un système plus efficace. En combinant un pruning agressif à une quantification extrême, une grande LLM peut perdre tellement de qualité que son échelle initiale ne lui apporte plus aucun avantage.

C’est précisément ce qu’a décrit l’utilisateur 144406 dans le commentaire d’origine : plusieurs modèles prunés qu’il a testés ont affiché une qualité désastreuse. À la fin septembre 2026, il ne s’agit pas d’une information sur une version précise, mais d’une observation pratique cohérente avec les publications sur la compression des modèles.

La documentation de Hugging Face présente les modes de quantification à 8 et 4 bits comme des options de déploiement courantes, tandis que le passage à 2 bits dépend beaucoup plus de la méthode choisie. Par exemple, le format NF4 à 4 bits préserve souvent la qualité avec des pertes limitées, surtout avec la double quantification et QLoRA. Mais un faible débit binaire ne garantit rien à lui seul.

Une revue ACL décrit une chute brutale des performances de GPTQ à 2 bits, au point que le modèle peut devenir incapable de générer un texte cohérent. SpQR, en revanche, restait relativement exploitable à la même précision. C’est le point essentiel : ce n’est pas seulement le nombre de bits qui échoue, mais l’ensemble formé par la méthode, le calibrage, l’architecture et la récupération de qualité après compression.

Avec le pruning, le risque est encore plus sévère. La quantification réduit la précision de représentation des poids, tandis qu’une suppression agressive de paramètres peut détruire des structures apprises. Sans réentraînement soigné ou distillation, cette économie ressemble alors moins à une optimisation qu’au retrait de composants fonctionnels du système.

Pourquoi un modèle plus petit peut être meilleur

Le gagnant en pratique n’est pas forcément le plus grand checkpoint que l’on parvient à faire tenir en mémoire. Un modèle plus petit, quantifié modérément en 4 ou 8 bits, peut être plus stable qu’un grand modèle fortement pruné et mieux préserver la cohérence, le respect des instructions et l’exactitude factuelle.

Je comparerais d’abord la qualité sur la tâche réelle après toutes les transformations, plutôt que la taille du fichier ou le nombre initial de paramètres. Viendraient ensuite le débit, la latence et l’usage mémoire. La documentation de Hugging Face Optimum ajoute un détail gênant : sur les petits modèles, le coût de la déquantification peut être tel que la compression augmente la consommation d’énergie au lieu de la réduire.

L’idée qu’un grand modèle compressé est supérieur ne reste donc vraie que jusqu’au point où la compression dévore ses capacités. Cette limite ne se lit pas dans un chiffre séduisant du nom de fichier, mais dans ce que le modèle sait encore faire après l’opération.

Nous avons également étudié Rust LocalGPT, un assistant local regroupé dans un seul binaire, avec mémoire et API HTTP. Cet exemple montre bien comment le choix du modèle influence la pertinence d’un déploiement local.