Alibaba Cloud réduit son recours aux GPU Nvidia grâce au système de mutualisation Aegaeon

Dans les coulisses d’Aegaeon : comment Alibaba Cloud a réduit ses besoins en GPU pour l’IA

Alibaba Cloud affirme avoir fortement réduit le nombre de processeurs graphiques Nvidia nécessaires pour servir des grands modèles de langage à grande échelle, grâce à un nouveau système baptisé Aegaeon. Lors d’une phase bêta en production sur sa plateforme de modèles, l’entreprise indique qu’Aegaeon a fait passer de 1 192 à 213 le nombre de GPU Nvidia H20 nécessaires pour gérer des dizaines de modèles, dont certains comptent jusqu’à 72 milliards de paramètres. Cela représente une réduction de 82 % du nombre d’accélérateurs déployés, à niveau de service équivalent. Les résultats ont été présentés au Symposium on Operating Systems Principles, à Séoul, un rendez-vous majeur de la recherche sur les systèmes informatiques. Pour les acheteurs de services cloud, cette annonce laisse entrevoir des économies potentielles sur les coûts et la consommation électrique, une meilleure disponibilité des puces rares et une expérience plus homogène lors de l’utilisation de différents modèles sur une même plateforme.

Cette avancée s’attaque à un problème de plus en plus pressant à l’ère des plateformes de modèles. Les fournisseurs de cloud servent désormais simultanément des milliers de modèles aux développeurs. Quelques modèles, comme la famille Qwen d’Alibaba et le modèle ouvert DeepSeek, concentrent l’essentiel du trafic. Beaucoup d’autres restent inactifs pendant de longues périodes, avant de recevoir de brèves vagues de requêtes. Les architectures de service traditionnelles attribuent des GPU entiers ou de grandes fractions de GPU à chaque instance de modèle. Lorsqu’un modèle est peu sollicité, le GPU qui lui est réservé est sous-utilisé. Quand les requêtes arrivent sans qu’il y ait assez de réplicas déjà actifs, la plateforme démarre de nouvelles instances et en paie le prix par des temps de chargement plus longs et un débit inférieur. Aegaeon cherche à changer la donne en mutualisant les ressources GPU entre de nombreux modèles, puis en planifiant les tâches par tranches de temps plus fines afin que chaque accélérateur reste occupé.

Alibaba Cloud présente Aegaeon comme un moyen de servir simultanément plusieurs charges de travail de grands modèles de langage sans gaspillage. Le système combine une planification multi-modèle poussée et des mécanismes destinés à maintenir les données en mémoire et à passer d’un modèle à l’autre avec un délai minimal. Selon l’équipe de recherche de l’université de Pékin et d’Alibaba Cloud, il en résulte un débit supérieur, des files d’attente plus courtes et moins de puces immobilisées sur des services peu utilisés.

À quel problème Aegaeon répond-il ?

Les plateformes d’IA modernes font face à une demande très inégale. Un petit nombre de modèles populaires attire l’essentiel du trafic d’inférence. Les modèles moins prisés restent utiles aux développeurs, mais ne reçoivent que des requêtes sporadiques. Alibaba Cloud a mesuré que 17,7 % des GPU de sa plateforme étaient affectés au traitement de seulement 1,35 % des requêtes. Lorsque les modèles sont affectés à des accélérateurs dédiés, le fournisseur de cloud paie le prix des périodes d’inactivité et des démarrages à froid fréquents, en particulier lorsque le trafic est irrégulier ou imprévisible.

De l’extérieur, le traitement des requêtes d’inférence paraît simple, mais son fonctionnement interne est complexe. Un grand modèle de langage conserve ses poids et son état d’exécution dans la mémoire du GPU. Pendant la génération, le système maintient un cache clé-valeur qui stocke les activations intermédiaires des jetons déjà produits. Le chargement des poids du modèle depuis un disque ou via le réseau est lent. Le remplissage du cache clé-valeur prend du temps. Traditionnellement, faire passer un GPU d’un modèle à un autre impliquait des opérations coûteuses de déchargement et de rechargement. Ces frais décourageaient le partage fréquent et conduisaient à réserver la plupart des accélérateurs à un ou deux modèles au maximum. Aegaeon est conçu pour gérer ces transitions bien plus efficacement, afin que les GPU puissent être partagés dans le temps entre de nombreux modèles sans pénalité importante.

Comment fonctionne le système

Aegaeon est une architecture de service multi-modèle qui considère le GPU comme un pool partagé et choisit les tâches à exécuter avec une très grande finesse. Au lieu d’ajuster les ressources au niveau des requêtes ou des réplicas de modèles, il prend ses décisions jeton par jeton. Le planificateur peut entrelacer la génération de jetons pour différents utilisateurs et différents modèles sur un même GPU, tout en gardant en mémoire les structures de données essentielles. L’objectif est de maximiser le travail utile par seconde sans dépasser un budget strict en matière de temps de réponse.

Mise à l’échelle automatique au niveau du jeton

L’idée centrale consiste à ajuster la capacité au niveau du jeton. Aegaeon peut ainsi commencer à traiter une requête pour un modèle, puis planifier opportunément des jetons pour un autre modèle lorsqu’il reste de la capacité, le tout dans les mêmes lots de traitement et lancements de noyaux. Selon l’article, Aegaeon a maintenu des taux d’arrivée de requêtes 2 à 2,5 fois supérieurs, ou fourni un débit utile (« goodput ») 1,5 à 9 fois supérieur, par rapport à des pools concurrents qui ne multiplexent que deux ou trois modèles par GPU. En fonctionnant à la granularité du jeton, le système évite les longues pauses liées au démarrage de nouveaux réplicas et réagit rapidement aux pics de demande sur un modèle donné.

Réutilisation de la mémoire et coordination du cache KV

Aegaeon réduit les frais de fonctionnement en réutilisant des composants, en gérant explicitement la mémoire et en synchronisant le cache clé-valeur entre les modèles avec une grande finesse. Les chercheurs indiquent que cela réduit de 97 % les frais liés à la mise à l’échelle automatique par rapport aux approches naïves. Grâce à une gestion plus intelligente de la mémoire et du cache, un même GPU peut garder plusieurs modèles prêts à fonctionner sans rechargements constants. Un seul accélérateur peut ainsi prendre en charge jusqu’à sept modèles simultanément, contre une limite habituelle de deux ou trois pour les systèmes multi-modèles antérieurs.

Résultats mesurés lors de la phase bêta en production

Alibaba Cloud affirme avoir testé Aegaeon en version bêta sur sa plateforme de modèles pendant plus de trois mois. Le déploiement a servi des dizaines de modèles, dont certains comptaient jusqu’à 72 milliards de paramètres. Sur cette période, l’équipe indique que le nombre de GPU nécessaires pour répondre à une charge de service équivalente est passé de 1 192 Nvidia H20 à 213, soit une économie de ressources de 82 %. Le système a également réduit de 97 % le surcroît de latence lors du passage d’un modèle à un autre, ce qui est utile lorsque les charges de travail alternent au cours de la journée entre les modèles populaires et ceux qui se situent dans la longue traîne.

La plateforme de modèles constitue un banc d’essai exigeant, car elle est soumise à une concurrence réelle entre requêtes, à des demandes de tailles variées et à une large gamme de modèles. Dans ces conditions, Aegaeon a mieux occupé les accélérateurs, réduit les périodes d’inactivité des services rarement utilisés et préservé la réactivité des modèles très demandés grâce à une planification plus fine. La combinaison d’une planification jeton par jeton et d’une réutilisation soigneuse de la mémoire semble être la clé pour tirer davantage de travail utile de chaque heure de calcul GPU.

L’équipe de recherche de l’université de Pékin et d’Alibaba Cloud a soutenu que les pratiques du secteur laissaient de l’argent sur la table en affectant des GPU à des modèles dont la demande est sporadique. Elle a formulé directement cette conclusion dans l’article.

Aegaeon est le premier travail à mettre en évidence les coûts excessifs associés au traitement simultané de charges de travail de grands modèles de langage sur les plateformes de marché.

Cette affirmation concorde avec les tendances observées sur les plateformes de modèles. Les fournisseurs savent depuis longtemps que la longue traîne mobilise des ressources et augmente les coûts pour tous. L’approche d’Aegaeon montre qu’une conception de la planification et de la mémoire pensée pour le service multi-modèle peut réduire ce gaspillage.

Ce que cela change pour les clients du cloud et les développeurs

Pour les clients, réduire le nombre de GPU par unité de débit peut se traduire par des prix plus bas, des quotas plus généreux et des performances plus prévisibles. Si un fournisseur de cloud peut traiter le même trafic avec environ cinq fois moins d’accélérateurs, il peut libérer des capacités pour les pics d’activité et raccourcir les listes d’attente pour les nouveaux déploiements. Les développeurs qui combinent plusieurs modèles dans une même application pourraient également rencontrer moins de goulots d’étranglement liés aux démarrages à froid et au renouvellement des réplicas lorsque le trafic se déplace d’un point d’accès à un autre.

Certains aspects pratiques comptent pour les acheteurs. Le partage multi-modèle doit préserver l’isolation afin que la charge de travail d’un client ne dégrade pas l’expérience des autres et ne leur divulgue aucune donnée. Le planificateur doit respecter les règles de priorité et d’équité afin que les modèles populaires conservent une faible latence, sans empêcher les modèles plus lents d’avancer. L’article indique que les décisions d’Aegaeon, prises jeton par jeton, tiennent compte des objectifs de qualité de service. Malgré cela, les fournisseurs de cloud devront disposer d’outils robustes d’observabilité et de limitation du trafic pour maîtriser la latence de queue lorsqu’ils étendront la mutualisation à des parcs de plus grande taille.

Nvidia, la Chine et le contexte des puces pour l’IA

Aegaeon arrive dans un contexte de pénurie mondiale d’accélérateurs haut de gamme et de restrictions persistantes sur les exportations de puces avancées pour l’IA vers la Chine. Nvidia a conçu le H20 pour le marché chinois afin de respecter ces règles, et de nombreux fournisseurs chinois s’appuient sur cette puce pour l’inférence. Dans le même temps, des concepteurs chinois comme Huawei et Cambricon investissent dans des solutions nationales. Les gains d’efficacité logicielle qui permettent à chaque GPU de traiter davantage de tâches sont précieux sur tous les marchés, mais ils le sont particulièrement dans les régions où l’accès aux puces les plus avancées est limité.

La direction de Nvidia a indiqué que ses prévisions financières à court terme tablaient sur un chiffre d’affaires minime, voire nul, dans le segment chinois des puces avancées, en raison des restrictions politiques. Dans ce contexte, les résultats d’Alibaba Cloud prennent davantage d’importance. Si les grands fournisseurs parviennent à tirer davantage parti de leur parc installé grâce aux logiciels, ils peuvent continuer à développer leurs services même lorsque l’offre d’accélérateurs haut de gamme est limitée.

Comparaison d’Aegaeon avec d’autres approches

Jusqu’à récemment, la plupart des systèmes de service multi-modèle ne pouvaient partager sans risque un même GPU qu’entre deux ou trois modèles, au-delà desquels les frais de fonctionnement l’emportaient sur les avantages. Chaque modèle supplémentaire entraînait davantage de changements de contexte, plus de défauts de cache et un risque accru de variations de latence susceptibles de faire manquer les objectifs fixés. Aegaeon vise à réduire ces coûts de transition et à conserver en mémoire les principales structures de données utilisées par les différents modèles. C’est pourquoi un seul accélérateur peut désormais prendre en charge jusqu’à sept modèles dans les conditions rapportées.

Les instances dédiées restent adaptées aux points d’accès nécessitant le débit le plus élevé ou aux charges de travail soumises à des exigences strictes d’isolation. À l’autre extrême, l’inférence sans serveur, qui démarre des réplicas complets de modèles à la demande, peut être économique pour les modèles peu sollicités, mais souffre de temps de démarrage plus longs. Aegaeon adopte une voie intermédiaire. Il mutualise les capacités et garde les modèles prêts, puis planifie les tâches par petites tranches afin d’augmenter le taux d’utilisation global sans forte contrepartie en matière de latence.

Questions techniques ouvertes et prochaines étapes

La phase bêta s’est déroulée sur la plateforme de modèles d’Alibaba Cloud, un environnement important, mais qui ne représente pas l’ensemble de ses services. Déployer Aegaeon dans davantage de régions et sur différentes gammes de produits, par exemple des clusters dédiés aux entreprises ou des infrastructures sur site, permettrait de tester sa conception dans d’autres conditions. Une autre question concerne les performances du planificateur à mesure que la longueur du contexte des modèles augmente et que les modèles multimodaux combinent texte, image et audio. Ces scénarios mettront à l’épreuve les politiques de gestion de la mémoire et du cache de manière nouvelle.

Le partage entre accélérateurs hétérogènes et entre nœuds constitue également une piste de recherche. Si un planificateur peut mutualiser non seulement un GPU, mais tout un ensemble de GPU au sein d’une interconnexion, il pourrait débloquer des gains supplémentaires, à condition que les frais liés aux communications restent faibles et que le placement en mémoire demeure prévisible. Les éléments publiés à ce jour indiquent déjà des gains importants grâce à la mutualisation sur un seul appareil, ce qui représente une avancée pratique majeure pour les charges de travail d’inférence actuelles.

À retenir

• Aegaeon a réduit le nombre de GPU nécessaires au service de la plateforme d’Alibaba Cloud, de 1 192 Nvidia H20 à 213, soit une baisse de 82 %.
• Le système a servi des dizaines de modèles, dont certains comptaient jusqu’à 72 milliards de paramètres, au cours d’une phase bêta de plus de trois mois.
• Lors des tests rapportés, un seul GPU a pris en charge jusqu’à sept modèles, contre deux ou trois pour les systèmes précédents.
• La planification jeton par jeton, la réutilisation de la mémoire et la synchronisation du cache clé-valeur ont réduit de 97 % les frais liés à la mise à l’échelle automatique.
• Les expériences ont montré des taux d’arrivée soutenus 2 à 2,5 fois supérieurs, ou un débit utile 1,5 à 9 fois plus élevé que celui des solutions concurrentes.
• L’approche s’attaque au problème de la longue traîne sur les plateformes de modèles, où une minorité des requêtes mobilise une grande part des GPU.
• Ces résultats interviennent alors que les restrictions à l’exportation limitent l’accès aux puces avancées pour l’IA en Chine et que les initiatives nationales dans le domaine des GPU s’accélèrent.