Samsung entend réduire le coût des tokens d’IA en optimisant la mémoire des serveurs

Davantage de requêtes d’IA sans ajouter de GPU

Samsung Electronics a mis au point une méthode permettant de traiter davantage de requêtes simultanées sur des serveurs d’intelligence artificielle en modifiant la façon dont ils allouent la mémoire et transfèrent les données entre processeurs. Une demande de brevet publiée décrit un logiciel qui évalue les temps d’attente, les coûts de transfert et les besoins futurs en mémoire pour déterminer quelles requêtes un grand modèle de langage doit traiter en priorité.

L’objectif est de réduire les délais lorsque la mémoire des processeurs graphiques (GPU) est saturée, afin que les serveurs existants puissent répondre à davantage d’utilisateurs. Samsung présente cette invention comme une technologie d’infrastructure pour l’inférence de l’IA, c’est-à-dire l’exécution d’un modèle entraîné pour répondre à des questions, et non comme une fonctionnalité destinée à un produit grand public particulier.

D’autres travaux de Samsung donnent une idée concrète des économies potentielles liées à une meilleure gestion de la mémoire. Lors d’une expérience distincte sur le stockage, menée avec huit GPU NVIDIA H100 NVL et dix disques SSD Samsung, l’entreprise a maintenu le délai d’attente avant le premier token sous une seconde, jusqu’à 240 utilisateurs simultanés. Sans déport du stockage, ce délai commençait à augmenter au-delà de 140 utilisateurs.

Le brevet, l’expérience sur le stockage et un autre projet de Samsung SDS portent sur différents aspects du même problème : les processeurs d’IA, coûteux, peuvent passer trop de temps à déplacer ou à recalculer des informations. Pour les opérateurs, réduire ce travail pourrait permettre d’obtenir davantage de réponses avec les équipements existants et de diminuer le coût de chaque token, ces petites unités de texte que les modèles de langage traitent et génèrent.

Pourquoi la mémoire peut ralentir une réponse

Un GPU effectue de nombreux calculs simultanément, ce qui le rend utile pour générer des réponses d’IA. Sa mémoire locale rapide a toutefois une capacité limitée. Plusieurs conversations se disputent cet espace, notamment lorsque les utilisateurs envoient de longs documents ou posent des questions nécessitant des réponses détaillées.

Les modèles de langage conservent les résultats temporaires des calculs précédents dans une structure appelée cache clé-valeur, généralement abrégée en « cache KV ». On peut le comparer à des notes de travail : les conserver permet au modèle de poursuivre une réponse sans recalculer sans cesse tout ce qu’il a déjà traité.

L’expérience de Samsung sur le stockage nécessitait environ 3 Go de cache KV par session. Pour 240 sessions, cela représente quelque 720 Go de données de cache sur l’ensemble de la charge de travail. Ce chiffre aide à comprendre pourquoi servir de nombreux utilisateurs peut devenir un problème de mémoire, même lorsque la puissance de calcul installée est importante.

Lorsque la mémoire rapide du GPU vient à manquer, un serveur peut déplacer certaines données vers la mémoire associée au processeur central (CPU), puis les récupérer au besoin. Ces transferts prennent du temps. Recalculer les éléments supprimés consomme également des ressources. Le brevet de Samsung vise à mieux gérer cette concurrence.

Fonctionnement de la méthode d’ordonnancement brevetée

La demande de Samsung, intitulée « Méthode et serveur de traitement de plusieurs requêtes d’utilisateurs d’un grand modèle de langage », décrit un ordonnanceur qui évalue le coût du traitement de chaque requête. Il prend notamment en compte le temps d’attente de l’utilisateur, la durée des transferts de données et la quantité de mémoire nécessaire à la requête.

Le serveur s’appuie sur ces calculs pour choisir l’ordre de traitement. C’est important, car une requête qui semble prête à être exécutée peut nécessiter au préalable un transfert conséquent, tandis qu’une autre peut utiliser des données déjà à proximité. Coordonner ces choix peut réduire le temps consacré à réorganiser la mémoire.

La méthode vérifie également si les informations précédemment déplacées vers la mémoire du CPU s’y trouvent toujours. Si une copie utilisable est disponible, le serveur peut ne transférer que les éléments nécessaires au lieu de tout recopier. Il peut aussi transférer les données d’un utilisateur pendant que le GPU génère la réponse d’un autre, afin de mener en parallèle le travail utile et la préparation.

Samsung décrit également l’utilisation de la mémoire partiellement disponible. Si une nouvelle requête a besoin de cinq unités d’espace, mais que seules trois sont libres, le système peut commencer la partie qui tient dans l’espace disponible au lieu d’attendre que les cinq unités soient réunies. L’objectif pratique est de maintenir les ressources limitées en activité pendant les périodes de forte demande. Les détails d’un déploiement commercial et les améliorations mesurées du temps de réponse et du débit pour cette méthode brevetée n’ont pas été communiqués.

Les résultats mesurés par Samsung avec le déport du stockage

Le livre blanc de Samsung sur le cache KV étudie une autre approche : conserver sur des disques SSD NVMe les données de cache réutilisables. NVMe est une technologie qui permet aux périphériques de stockage de communiquer rapidement avec un ordinateur via des connexions PCIe.

Le test utilisait huit GPU NVIDIA H100 NVL, huit services d’inférence LLaMA-3.1 8B exécutés en parallèle, le logiciel de service vLLM et LMCache, une couche open source qui gère les données de cache KV réutilisables. Dix disques Samsung PM1753 étaient réunis en une grappe RAID-0, qui répartit les données entre les disques pour accélérer les transferts.

Samsung a augmenté la charge par paliers de 20 utilisateurs, jusqu’à atteindre 280 utilisateurs simultanés. Chaque utilisateur envoyait une requête toutes les 20 secondes, pour une charge allant d’une à 14 requêtes par seconde. L’expérience a donc testé un scénario défini de requêtes répétées et de mouvements de cache.

Le stockage devient utile lorsqu’une session passe d’un GPU à un autre. Le GPU de destination peut récupérer les calculs sauvegardés au lieu de répéter le traitement initial d’un long prompt. Sur une même machine, le cache externe peut être conservé dans la mémoire du CPU ou sur un support de stockage. Entre plusieurs machines, explique Samsung, le cache doit être placé sur une ressource partagée accessible aux serveurs concernés.

Des démarrages plus rapides et davantage de texte généré

Samsung a mesuré deux aspects des performances du service : le délai avant le premier token et le nombre de tokens générés par seconde. Le premier correspond au temps d’attente avant que la réponse commence à s’afficher. Le second mesure la quantité de texte produite par le système au fil du temps.

Avec le déport du stockage activé, le test a maintenu le délai avant le premier token sous une seconde jusqu’à 240 utilisateurs simultanés, contre une hausse de la latence au-delà de 140 utilisateurs sans déport. Samsung indique que cela permet de prendre en charge 1,7 fois plus d’utilisateurs pour une latence comparable. Entre 20 et 140 utilisateurs, la configuration avec déport maintenait le délai initial à environ une demi-seconde.

À 240 utilisateurs, le système avec déport a généré environ 1,5 fois plus de tokens en sortie. La configuration sans déport commençait à saturer aux alentours de 160 utilisateurs, tandis que le système réutilisant le cache sauvegardé continuait d’augmenter sa production avec la hausse de la demande.

Samsung attribue ce gain à la réduction des traitements répétés des prompts. Un modèle de langage traite d’abord l’entrée, lors d’une étape appelée « préremplissage » (prefill), puis génère sa réponse token par token lors d’une étape appelée « décodage » (decode). Réutiliser les calculs sauvegardés libère davantage de capacité GPU pour produire des réponses.

Quand le stockage supplémentaire devient rentable

L’analyse des coûts de Samsung montre que le matériel supplémentaire a un prix, même s’il améliore l’efficacité lorsque la demande est forte. Entre zéro et 160 utilisateurs simultanés, les deux configurations offraient un débit de tokens similaire, tandis que celle utilisant le déport coûtait environ 4 % de plus en raison des composants NVMe supplémentaires.

Au-delà de 180 utilisateurs, la hausse de la production compensait le coût de ce stockage supplémentaire. À 240 utilisateurs, Samsung a calculé une efficacité économique environ 1,5 fois supérieure, mesurée en tokens par seconde et par dollar sur une période d’exploitation de trois ans.

Autrement dit, une hausse de 1,5 fois de la production par dollar correspond, selon ce calcul, à une baisse d’environ un tiers du coût par unité produite. La comparaison porte sur les équipements et la charge de travail testés par Samsung. La rentabilité réelle d’un service dépend aussi de son modèle, de la longueur des conversations, du trafic et du coût des équipements.

Pour un opérateur cloud, le choix dépend donc étroitement de la demande. Le stockage supplémentaire peut augmenter la facture initiale lorsque la capacité GPU existante suffit largement à traiter la charge de travail. En cas de congestion prolongée, la réutilisation du cache peut permettre à la même installation de GPU de prendre en charge davantage d’activité avant qu’un autre serveur ne devienne nécessaire.

Les économies d’énergie concernent aussi les ventilateurs

Dans son expérience sur le stockage, Samsung a également mesuré une baisse de la consommation électrique. À 240 utilisateurs, les performances par watt ont été multipliées par environ 2,9. La consommation totale du système est tombée à près de 53 % de celle de la configuration sans déport, soit une baisse d’environ 47 %.

Selon le livre blanc, les disques NVMe supplémentaires ont augmenté la consommation d’environ 6 %. La baisse des besoins des GPU et du système de refroidissement a plus que compensé cette hausse. Samsung a relevé une utilisation des GPU d’environ 49 %, la charge de travail nécessitant moins de répétitions des calculs intensifs de préremplissage.

Les ventilateurs de refroidissement reflétaient cette évolution. Sans déport, tous les ventilateurs du système tournaient à leur vitesse maximale prévue, soit 15 000 tours par minute. Avec le déport, ceux du CPU, de la mémoire et du stockage tournaient autour de 7 800 tours par minute, tandis que ceux du côté des GPU atteignaient environ 9 800 tours par minute.

Ce résultat montre pourquoi un composant peut accroître localement la consommation électrique tout en la réduisant à l’échelle d’un serveur. Dans cette expérience, l’énergie consacrée à récupérer des calculs sauvegardés a réduit la dépense énergétique plus importante liée à la répétition de ces calculs et à l’évacuation de la chaleur qu’ils produisent.

Le stockage doit absorber les pics de demande

Les mesures de Samsung montrent également pourquoi cette approche nécessite davantage qu’une capacité de stockage disponible. Le débit agrégé moyen du stockage a atteint jusqu’à 37 Go par seconde, et les requêtes simultanées des GPU pouvaient porter le pic de demande à près du double de cette moyenne.

Le nombre d’opérations de stockage en cours était généralement d’environ 160, mais pouvait grimper à 800. Samsung recommande une bande passante de stockage au moins deux fois supérieure au besoin moyen pour absorber ces pics tout en préservant la réactivité.

Le PM1753 offre un débit séquentiel pouvant atteindre 14,5 Go par seconde et 3,3 millions d’opérations de lecture aléatoire par seconde. Dans la charge de travail testée, les lectures représentaient environ 92 % de l’activité du stockage et les écritures 8 %. LMCache déplaçait de grands blocs de cache d’environ 33 Mo.

Plusieurs services lisant simultanément de grands blocs peuvent générer un flux de requêtes entremêlées. Un sous-système de stockage doit donc maintenir ses performances de transfert lorsque de nombreux utilisateurs se connectent en même temps. La capacité du cache, la vitesse de transfert et l’ordonnancement contribuent tous à déterminer si les informations sauvegardées parviennent assez vite au GPU pour être utiles.

Samsung SDS intègre les calculs à la mémoire

Samsung SDS s’attaque au déplacement des données par une autre voie. Sa présentation des recherches PAISE décrit le PIM-Accelerated Inference Scheduling Engine, présenté à l’IEEE HPCA 2025. PAISE utilise le traitement en mémoire (PIM), qui place des unités de calcul à l’intérieur des puces mémoire afin que certains calculs puissent être effectués là où les données sont stockées.

Samsung SDS a mis en œuvre et validé le système sur le matériel PIM Aquabolt-XL de Samsung, en évaluant les modèles GPT-2, OPT et Llama2. L’entreprise indique une amélioration de la vitesse d’inférence pouvant atteindre 48,3 % et une baisse de la consommation électrique d’environ 11,5 %.

PAISE détermine quelles opérations doivent être exécutées en mémoire et organise les données en fonction du matériel. Il regroupe également les petits calculs d’attention pour les exécuter plus efficacement en parallèle. Samsung SDS fait état de mises à jour plus rapides du cache KV et de gains plus importants avec des tailles de lots supérieures, c’est-à-dire des groupes de requêtes traités ensemble.

Les trois projets interviennent à des étapes différentes du fonctionnement du serveur. Le brevet ordonnance les requêtes et les transferts entre la mémoire du GPU et celle du CPU. L’expérience sur le stockage conserve le cache sur des disques pour le réutiliser ultérieurement. PAISE déplace certains calculs vers le matériel mémoire. Ensemble, ces projets montrent que Samsung explore plusieurs moyens de réduire le temps et l’énergie consacrés au déplacement ou au recalcul des informations qui sous-tendent les réponses de l’IA.

Points clés

• La demande de brevet publiée par Samsung ordonnance les requêtes d’IA en fonction des temps d’attente, des coûts de transfert et des besoins prévus en mémoire.
• La méthode brevetée vise à servir davantage d’utilisateurs avec les GPU existants ; aucun chiffre de performance commerciale n’a été communiqué.
• Lors d’un test distinct, Samsung a pris en charge 240 utilisateurs simultanés avec un délai initial de réponse inférieur à une seconde, contre une hausse de la latence au-delà de 140 utilisateurs sans déport.
• À 240 utilisateurs, le déport du stockage a permis d’atteindre environ 1,5 fois plus de tokens produits et une efficacité économique 1,5 fois supérieure, ainsi que des performances par watt multipliées par 2,9.
• Le stockage supplémentaire a augmenté les coûts d’environ 4 % lorsque la charge était modérée, ce qui fait de la demande un facteur important dans le calcul économique.
• Samsung SDS indique que son système PAISE, distinct, a amélioré la vitesse d’inférence de jusqu’à 48,3 % grâce à des calculs effectués directement dans la mémoire.