Huawei dévoile SINQ, une méthode open source de quantification pour des LLM plus efficaces

Pourquoi SINQ compte pour le déploiement quotidien des LLM

Les grands modèles de langage ont besoin de beaucoup de mémoire. C’est l’une des raisons pour lesquelles l’exécution de modèles avancés nécessite souvent des GPU haut de gamme pour centres de données et des instances cloud coûteuses. Le laboratoire des systèmes informatiques de Huawei, à Zurich, a présenté SINQ, une nouvelle méthode de quantification destinée à changer la donne. Cette approche, appelée « quantification normalisée par Sinkhorn » (Sinkhorn Normalized Quantization), vise à réduire l’utilisation de la mémoire tout en limitant au minimum la perte de qualité des résultats. Elle est publiée en open source sous licence Apache 2.0. L’équipe présente SINQ comme une méthode rapide, sans calibration et facile à intégrer aux workflows existants des modèles.

La quantification réduit le nombre de bits utilisés pour représenter les poids d’un modèle. Passer de nombres flottants sur 16 ou 8 bits à des entiers sur 4 bits peut réduire la mémoire de plus de moitié. Il est difficile d’obtenir cette économie sans perte de précision, surtout en dessous de 8 bits. SINQ promet de préserver une bonne qualité à faible précision, y compris à 4 bits et, dans certains cas, à 3 bits, tout en étant plus rapide à appliquer que de nombreuses méthodes connues.

Sur les modèles et architectures évalués par les auteurs, SINQ réduit l’utilisation de la mémoire d’environ 60 à 70 %. Une telle réduction permet d’exécuter de nombreux modèles sur un seul GPU grand public, par exemple une Nvidia GeForce RTX 4090 avec 24 Go de mémoire, sans avoir besoin de GPU pour entreprises comme les A100 ou H100. Dans le cloud, des instances moins coûteuses peuvent prendre en charge des tâches d’inférence de longue durée, ce qui peut se traduire par des milliers de dollars d’économies au fil du temps. Pour les laboratoires, les start-up et les passionnés qui utilisent des machines locales, l’obstacle à l’exécution de modèles performants sur une station de travail s’amenuise.

En quoi SINQ diffère des méthodes de quantification précédentes

Dans la plupart des cas, la quantification des LLM porte uniquement sur les poids. Ceux-ci sont les paramètres appris dans chaque couche et représentent l’essentiel de la taille du modèle. Il est également possible de quantifier les activations, mais cela ajoute souvent de la complexité et peut avoir un impact sur le temps d’exécution. De nombreuses méthodes courantes consacrent du temps de calcul à une phase de configuration, appelée calibration, afin de rechercher des facteurs d’échelle qui minimisent l’erreur introduite par la quantification. Cette calibration s’appuie sur un échantillon de données et des passages supplémentaires sur le modèle. Elle peut améliorer la qualité, mais elle prend du temps, exige de choisir soigneusement les prompts et complique les pipelines.

SINQ adopte une approche différente. Elle introduit deux idées complémentaires destinées à préserver une distribution des poids bien équilibrée avant leur arrondi à faible précision. Premièrement, la mise à l’échelle sur deux axes applique des vecteurs d’échelle distincts aux lignes et aux colonnes d’une matrice de poids. Cela permet un contrôle plus fin qu’un facteur d’échelle unique par tenseur ou par canal. L’erreur est répartie de manière à réduire l’effet des valeurs aberrantes et des déséquilibres locaux.

Deuxièmement, SINQ utilise une procédure inspirée de la normalisation de Sinkhorn-Knopp. L’algorithme alterne des normalisations simples pour équilibrer les statistiques des lignes et des colonnes. Dans SINQ, la méthode normalise l’écart-type des lignes et des colonnes afin qu’aucune partie de la matrice de poids ne domine. Cette étape d’équilibrage améliore le comportement des poids lors de la quantification et réduit l’erreur globale sans recourir à des données de calibration coûteuses pour chaque couche.

Économies de mémoire, vitesse et qualité lors des tests

Les auteurs font état d’économies de mémoire constantes, de l’ordre de 60 à 70 % par rapport à des poids en pleine précision, avec une précision proche de celle du modèle d’origine sur diverses architectures. En pratique, cela peut faire passer un modèle qui nécessitait auparavant plus de 60 Go de mémoire à environ 20 Go. Sur des GPU grand public, cette différence peut déterminer si un modèle tient en mémoire ou s’il doit déborder dans la mémoire vive, plus lente, de la machine hôte.

La vitesse de quantification compte aussi bien en recherche qu’en production. D’après les tests rapportés, SINQ quantifie les modèles environ deux fois plus vite que HQQ et plus de 30 fois plus vite qu’AWQ. Pour les équipes qui font évoluer leurs modèles, ce gain de temps peut transformer un prétraitement de plusieurs heures en une étape plus rapide, intégrable au cycle de développement.

La qualité est évaluée à l’aide de métriques telles que la perplexité et le taux de changement des tokens. La perplexité mesure la capacité d’un modèle de langage à prédire du texte. Le taux de changement indique à quelle fréquence les tokens les mieux classés changent après la quantification. Sur différents benchmarks, SINQ réduit la perplexité par rapport à d’autres méthodes de référence sans calibration et abaisse le taux de changement, signe de résultats plus stables. La méthode est également compatible avec les schémas de quantification non uniforme et peut être associée à une calibration si un projet souhaite améliorer encore la précision.

Conséquences pour le matériel et les coûts cloud

Le coût de l’inférence augmente avec la quantité de mémoire utilisée. Un modèle qui tient sur un seul GPU évite les configurations coûteuses de parallélisme de modèle et les surcoûts liés au réseau. Les réductions permises par SINQ rendent de nombreux modèles de taille moyenne ou grande accessibles sur une seule carte grand public à grande capacité mémoire. Pour les opérateurs qui s’appuyaient jusqu’ici sur des nœuds A100 ou H100, la possibilité d’utiliser des GPU plus abordables peut alléger les factures mensuelles et libérer les GPU haut de gamme pour l’entraînement.

Les utilisateurs du cloud peuvent choisir des instances GPU plus petites ou exécuter davantage de modèles simultanément sur chaque nœud. Pour des tâches de longue durée, comme les assistants conversationnels ou les services de génération augmentée par récupération, utiliser des GPU moins coûteux peut faire économiser des milliers de dollars sur plusieurs semaines ou plusieurs mois. Des clusters internes plus modestes deviennent également envisageables pour les équipes qui préfèrent conserver leurs données en interne.

La latence et la consommation d’énergie peuvent aussi en bénéficier. Moins d’appareils, moins d’appels entre nœuds et moins de transferts de mémoire entre l’hôte et le GPU peuvent réduire le temps de réponse et la consommation électrique. Au final, l’infrastructure d’inférence est plus légère et comporte moins d’éléments.

Ce que les développeurs peuvent utiliser dès aujourd’hui

SINQ est disponible en open source sous licence Apache 2.0. La publication comprend le code d’implémentation, des instructions pour quantifier des modèles issus de plateformes populaires, ainsi que des outils permettant d’enregistrer et de recharger les poids quantifiés. Le paquet fournit des outils d’évaluation pour mesurer la perplexité et le taux de changement avant le déploiement. Il expose également des paramètres qui permettent aux praticiens de l’adapter à différents matériels et objectifs de précision.

Les auteurs indiquent prévoir la publication de modèles préquantifiés et souhaitent intégrer SINQ à l’écosystème Hugging Face Transformers. L’adoption en serait facilitée : les développeurs pourraient charger un checkpoint quantifié à l’aide d’API familières. Les équipes qui gèrent leur propre infrastructure d’inférence peuvent commencer par quantifier les poids, puis relier les résultats à des noyaux logiciels compatibles avec les formats de stockage sur 4 ou 3 bits de l’environnement d’exécution choisi.

Les principaux aspects techniques expliqués

SINQ est conçue comme une étape facile à intégrer dans un pipeline de préparation de modèle. L’objectif est de façonner les matrices de poids pour qu’une représentation à faible précision préserve les structures importantes pour l’inférence, puis de convertir ces poids ainsi préparés en formats entiers compacts.

Mise à l’échelle sur deux axes

La mise à l’échelle traditionnelle par tenseur ou par canal applique un facteur unique dans une seule direction. La mise à l’échelle sur deux axes applique un vecteur aux lignes et un autre aux colonnes de chaque matrice de poids. Cette distinction est utile lorsque certaines lignes contiennent des valeurs aberrantes ou que certaines colonnes présentent une variance plus élevée. En normalisant les deux directions, la méthode répartit plus uniformément l’erreur de quantification dans la matrice. Il en résulte moins de pics d’erreur marqués et une meilleure préservation des magnitudes relatives des poids.

Normalisation de Sinkhorn-Knopp

Sinkhorn-Knopp est une procédure itérative classique qui alterne des normalisations simples pour parvenir à un état équilibré. Dans SINQ, il ne s’agit pas d’obtenir une matrice doublement stochastique, mais d’équilibrer les écarts-types des lignes et des colonnes. L’algorithme redimensionne plusieurs fois les lignes et les colonnes afin d’aligner leurs écarts-types sur les valeurs cibles. Une fois la matrice équilibrée de cette manière, la quantification s’applique à une distribution de poids comportant moins de valeurs extrêmes, ce qui réduit l’erreur d’arrondi. La procédure est rapide, ajoute peu de surcoût par rapport à des étapes de calibration plus longues et ne nécessite pas de jeu de données de calibration.

Conception sans calibration

Les phases de calibration nécessitent de choisir un ensemble de prompts, d’exécuter le modèle pour recueillir des statistiques, puis de calculer les facteurs d’échelle. Cela complique le processus et peut biaiser les résultats si le jeu de calibration ne correspond pas aux usages en production. SINQ omet cette étape en travaillant directement sur les statistiques des poids. Pour de nombreuses équipes, supprimer la calibration simplifie l’automatisation et la reproductibilité. Si un projet souhaite tout de même recourir à la calibration, la préparation des poids par SINQ peut être combinée à une recherche par calibration afin d’atteindre une précision maximale.

Limites et considérations pratiques

La plupart des gains rapportés proviennent de la quantification des poids seuls. Les activations et le cache clé-valeur continuent d’occuper de la mémoire pendant la génération, en particulier avec des prompts et des réponses longs. Certains environnements d’exécution proposent la quantification des activations et la compression du cache KV, mais ces étapes comportent leurs propres compromis. Les équipes doivent mesurer la mémoire et la latence de bout en bout, pas seulement la taille du modèle sur disque.

La prise en charge par l’environnement d’exécution est importante. Pour obtenir des gains de vitesse à l’inférence, les noyaux logiciels doivent lire efficacement les poids compactés sur 4 ou 3 bits. Des moteurs populaires comme llama.cpp, TensorRT LLM et vLLM évoluent rapidement, mais toutes les combinaisons de précision, de noyau d’attention et d’architecture de GPU ne sont pas aussi matures. Avant de passer un service en production, il faut tester le débit, la latence et la stabilité avec la configuration exacte, notamment la taille des lots et la longueur du contexte.

Une très faible précision peut poser problème pour certaines tâches. La génération de code, l’utilisation d’outils et les sorties structurées peuvent être plus sensibles que les conversations informelles. Des métriques comme la perplexité sont utiles, mais les tests en production doivent aussi évaluer la précision sur les tâches, le style des réponses et la sécurité. Si un cas d’usage atteint les limites de la méthode, une précision mixte ou une précision supérieure sur certaines couches sensibles peut préserver la qualité tout en conservant une grande partie des économies de mémoire.

Pourquoi son intérêt dépasse le cadre d’une seule entreprise

La quantification est devenue essentielle au déploiement pratique des LLM. Une méthode open source rapide, sans calibration et efficace à faible précision profite à tout l’écosystème. Une empreinte mémoire réduite rend les modèles performants plus accessibles à l’enseignement, aux projets citoyens et aux petites entreprises. Cette approche réduit également la pression sur les GPU haut de gamme, très demandés, et libère des capacités pour l’entraînement et la recherche.

La concurrence dans les outils d’inférence s’accélère. Des méthodes comme SINQ peuvent s’associer à des noyaux d’attention efficaces, à des caches KV paginés et à des ordonnanceurs optimisés pour augmenter le nombre de tokens générés par seconde et par dollar dépensé. Le résultat ne se limite pas à une inférence moins coûteuse. Il élargit aussi les possibilités pour les équipes soucieuses de confidentialité, de traitement local et de maîtrise de leur infrastructure.

Points clés

• SINQ, la méthode de quantification des poids de LLM proposée par Huawei, est publiée en open source sous licence Apache 2.0
• SINQ annonce une réduction de la mémoire de 60 à 70 %, tout en préservant une bonne qualité à 4 bits et, dans certains cas, à 3 bits
• La méthode ne nécessite pas de calibration et vise à s’intégrer facilement aux workflows existants
• SINQ utilise une mise à l’échelle sur deux axes et une normalisation inspirée de Sinkhorn-Knopp pour équilibrer les matrices de poids
• Dans les tests rapportés, la quantification est environ deux fois plus rapide qu’avec HQQ et plus de 30 fois plus rapide qu’avec AWQ
• Les métriques de qualité s’améliorent par rapport aux méthodes de référence sans calibration, avec une baisse de la perplexité et du taux de changement des tokens
• Des modèles qui nécessitaient auparavant plus de 60 Go peuvent fonctionner avec environ 20 Go, ce qui permet un déploiement sur un seul GPU grand public, comme la RTX 4090
• Les mises à jour prévues comprennent l’intégration à Hugging Face Transformers et la publication de modèles préquantifiés