Samsung élargit sa stratégie de mémoire pour l’IA avec la HBM5, le partage de mémoire avec AMD et un stockage plus rapide

Samsung place la capacité mémoire au même rang que la vitesse de traitement

Samsung Electronics étend sa stratégie d’infrastructure pour l’IA au-delà de la mémoire à large bande passante. L’entreprise associe la HBM5 et des mémoires personnalisées à une collaboration avec AMD sur la mémoire serveur partagée, ainsi qu’à des technologies de stockage qui déplacent une partie du traitement des données vers les SSD. Elle a présenté cette approche à l’OCP Global Summit 2026, prévu du 12 au 15 octobre au San Jose McEnery Convention Center, en Californie.

Les données de performance les plus concrètes concernent d’autres niveaux de la hiérarchie mémoire. Samsung annonce jusqu’à 38 % de réduction du délai avant la génération du premier jeton par un modèle d’IA grâce à l’allocation flexible de mémoire CXL, jusqu’à trois fois plus de performances en inférence avec le traitement en mémoire LPDDR5X et des lectures séquentielles sur SSD atteignant 28,4 Go/s. Il s’agit de résultats issus d’évaluations ou de démonstrations spécifiques, et non de garanties valables pour toutes les installations d’IA.

La page officielle du sommet organise la stratégie autour de la vitesse, de l’extension de la mémoire et de la persistance des données. Parmi les produits mis en avant figurent la HBM4E, la LPDDR5X-PIM, le module mémoire CMM-D MD310, la mémoire serveur SOCAMM2 et les SSD PM1763 et BM1773.

Hojun Shim, que Samsung présente comme vice-président exécutif et directeur de l’équipe d’ingénierie des applications de la division Mémoire, devait présenter ces trois priorités lors d’une session de direction le 12 octobre. Selon plusieurs articles, cette présentation marque le lancement d’un effort plus large visant à optimiser ensemble processeurs, mémoire et stockage, au lieu d’améliorer chaque composant séparément.

Cette distinction compte lors de l’inférence, quand un modèle entraîné génère des réponses. Même un accélérateur rapide peut attendre les données, manquer de mémoire lorsque les conversations s’allongent ou subir des délais lors de la récupération d’informations stockées. Samsung propose des technologies différentes pour chacun de ces problèmes.

La HBM5 au cœur d’une stratégie plus vaste axée sur la vitesse

Selon les articles consacrés à l’exposition, les initiatives de Samsung en matière de vitesse comprennent la HBM5, présentée comme la mémoire à large bande passante de huitième génération, la HBM personnalisée et la zHBM. La mémoire à large bande passante fournit de grandes quantités de données à un accélérateur au moyen de nombreuses connexions parallèles. Les versions personnalisées visent à répondre aux exigences propres à chaque client.

La liste officielle des produits mentionne la HBM4E, et non la HBM5. D’autres comptes rendus font état de maquettes conceptuelles de HBM4E et de HBM5 sur l’exposition. Cette différence est importante : la présentation d’un produit ou d’un concept ne prouve pas qu’il est commercialisé, et la page du sommet de Samsung ne fournit ni date de commercialisation pour la HBM5 ni spécifications détaillées de performances.

Les données chiffrées les plus probantes sur la vitesse de traitement concernent la LPDDR5X-PIM. Le traitement en mémoire effectue une partie des calculs dans le composant mémoire, ce qui réduit les transferts répétés entre la mémoire et un processeur distinct. Samsung indique que sa conception intègre des unités de traitement dans chaque banque mémoire.

Lors d’une évaluation de Llama 3.1 8B sur l’accélérateur d’IA Edge de Samsung, l’entreprise annonce une bande passante effective jusqu’à huit fois supérieure à celle de la LPDDR5X classique, jusqu’à trois fois plus de jetons générés par seconde et une durée d’exécution jusqu’à 2,2 fois plus courte. Ces chiffres concernent cet accélérateur et ce modèle, et non la HBM5 ou la démonstration de mémoire menée avec AMD.

La SOCAMM2, également présentée, est un module mémoire serveur basé sur la LPDDR. Ensemble, les produits exposés montrent que la stratégie de Samsung en matière de vitesse englobe à la fois la mémoire des accélérateurs et des technologies mémoire à faible consommation, même si la page du sommet ne fournit pas de résultats comparables pour chaque produit.

La collaboration avec AMD vise à accroître la capacité mémoire de façon flexible

Samsung et AMD ont présenté une extension de la mémoire CXL reposant sur la technologie CMM-D de Samsung. CXL, abréviation de Compute Express Link, relie processeurs et autres périphériques à de la mémoire supplémentaire, afin que les systèmes puissent étendre leur capacité au-delà de la mémoire qui leur est directement installée.

La CMM-D est un module mémoire DRAM basé sur CXL. Dans une configuration mutualisée, plusieurs systèmes peuvent puiser dans des ressources mémoire connectées, au lieu de laisser cette capacité attribuée en permanence à des serveurs individuels. Samsung affirme que sa collaboration avec AMD a validé CXL comme moyen d’augmenter la capacité et la bande passante mémoire tout en réduisant les périodes durant lesquelles les cœurs du processeur attendent des données.

Le problème s’accentue à mesure que les agents d’IA exécutent plusieurs modèles ou tâches. Selon la description officielle de Samsung, les charges de travail des agents peuvent faire fortement grimper l’utilisation des processeurs, tandis que la capacité mémoire ne suit pas le rythme du nombre de cœurs.

Une démonstration distincte de mutualisation CMM-D a fait appel à une allocation flexible entre plusieurs instances de grands modèles de langage sur un serveur équipé de processeurs graphiques. Samsung annonce jusqu’à 38 % de réduction du délai avant le premier jeton, ou TTFT, et un débit utile jusqu’à 3,3 fois supérieur à celui d’une allocation statique. Le TTFT mesure le délai avant le début d’une réponse ; le débit utile mesure le travail effectivement réalisé selon les critères de l’évaluation.

Ces résultats ne doivent pas être considérés comme des données chiffrées issues de la démonstration menée avec AMD. La page officielle distingue la validation avec AMD et le test d’allocation flexible. Elle ne fournit pas non plus suffisamment de détails pour déterminer comment les gains varieraient selon les modèles, les configurations serveur ou les objectifs de service.

Le cache KV relie l’extension de la mémoire au stockage

Le cache des clés et des valeurs, généralement appelé cache KV, constitue un lien central entre les projets de Samsung dans la mémoire et le stockage. Il contient les informations intermédiaires générées lorsqu’un modèle de langage traite du texte, ce qui lui permet de réutiliser les calculs déjà effectués plutôt que de les refaire pour chaque nouveau jeton.

Les conversations longues, les contextes plus volumineux et les utilisateurs simultanés peuvent faire consommer beaucoup de mémoire à ces caches. Samsung propose une hiérarchie dans laquelle la mémoire CXL augmente la capacité disponible et les SSD accueillent les données du cache qui n’ont pas besoin de rester dans le niveau de mémoire le plus rapide.

La page officielle du sommet décrit un déploiement en production sur le campus américain de Samsung Semiconductor, au service d’un agent de programmation interne basé sur l’IA et d’autres applications. Samsung indique que l’ajout d’un niveau mémoire composable L3.5 par l’intermédiaire de sa solution AI Memory Node a multiplié par cinq à sept l’utilisation du cache KV.

L3.5 désigne ce niveau supplémentaire ; cela ne signifie pas que tous les serveurs partagent une architecture de cache identique. Le déploiement a mobilisé le Memory Solutions Lab de Samsung, son équipe DSA AI Platform Integrations et SGLang. Le résultat sur l’utilisation du cache est distinct des données du test d’allocation flexible et des performances de la LPDDR5X-PIM.

Le programme du sommet prévoyait également, le 13 octobre, une session sur l’association de la mutualisation CXL au stockage SSD pour déporter le cache KV. Elle devait être présentée par Jinin So, architecte système, et Youngha Choi, ingénieur principal. Cette combinaison va au-delà d’une simple augmentation de capacité : elle exige des logiciels capables de répartir et de récupérer les données entre mémoire et stockage sans introduire de délais excessifs.

Les SSD prennent en charge la capacité, le refroidissement et le placement des données

La stratégie de Samsung en matière de persistance repose sur les SSD d’entreprise et la mémoire flash NAND haute capacité. La persistance consiste à conserver les données au-delà de l’état de travail temporaire d’un calcul, afin que les systèmes d’IA puissent récupérer au besoin des jeux de données, des fichiers de modèles et des informations de cache enregistrées.

Le PM1763 est présenté comme un SSD d’entreprise PCIe Gen6, offrant des vitesses de lecture séquentielle allant jusqu’à 28,4 Go/s et une efficacité énergétique jusqu’à 1,8 fois supérieure à celle de son prédécesseur. Dans sa démonstration de refroidissement liquide, Samsung place la version E1.S directement contre une plaque froide pour évacuer la chaleur. La page officielle ne fournit pas l’ensemble des conditions de test utilisées pour la comparaison des performances.

Le BM1773 est répertorié comme un SSD E3.S doté de 256 To de stockage QLC. La QLC, ou cellule à quatre niveaux, stocke quatre bits dans chaque cellule flash et permet ainsi d’atteindre une capacité élevée. Des articles décrivent également la poursuite des travaux de Samsung sur la mémoire flash QLC haute capacité et sur une technologie de placement flexible des données.

Samsung a présenté des optimisations du cache KV intégrées à LMCache. Le placement flexible des données, ou FDP, aide à organiser l’emplacement des écritures afin de réduire l’amplification d’écriture, c’est-à-dire les écritures internes supplémentaires effectuées par un SSD au-delà des données envoyées par l’hôte.

La démonstration recourt également à une taille maximale de transfert de données NVMe supérieure afin de réduire la charge du processeur hôte. Samsung présente ces techniques comme utiles à la fois pour le stockage du cache dans un seul nœud et pour les ressources de cache partagées entre plusieurs serveurs. La page de l’événement ne donne aucun gain chiffré pour ces optimisations particulières.

Rapprocher le calcul des données stockées

La démonstration de base de données vectorielle de Samsung offre un autre moyen de réduire les transferts de données. Les bases de données vectorielles stockent des représentations numériques d’informations et les comparent pour repérer des éléments similaires. Cette opération intervient souvent lorsqu’une application d’IA recherche des documents pertinents pour une requête.

La démonstration de faisabilité NCVS déplace les calculs de distance vectorielle dans les SSD. Au lieu d’envoyer à l’hôte un vecteur de 4 Ko pour comparaison, le périphérique renvoie un résultat de distance de quatre octets. Samsung annonce un trafic vers l’hôte jusqu’à 22 fois inférieur à celui de la méthode classique, où le traitement est effectué par l’hôte, ainsi qu’une hausse du débit de recherche à mesure que des SSD sont ajoutés.

Les valeurs de quatre octets et de 4 Ko correspondent à la taille des résultats et des vecteurs pris individuellement ; elles ne signifient pas que le trafic de l’application complète diminue dans les mêmes proportions. La réduction annoncée, jusqu’à 22 fois, correspond à la comparaison mesurée dans son ensemble. Samsung présente NCVS comme une démonstration de faisabilité, et non comme un produit disponible à grande échelle.

Sa démonstration AiSIO concerne les entrées-sorties de stockage, avec une interface logicielle commune pour les opérations lancées par le processeur graphique, les opérations pair à pair et les opérations classiques lancées par le processeur central. Samsung annonce 100 millions d’opérations d’entrée-sortie par seconde et un chargement des modèles de langage jusqu’à dix fois plus rapide à froid, avec OpenDS.

Ces mesures correspondent à des tâches différentes. La vitesse de lecture séquentielle concerne le transfert continu de données, le nombre d’opérations d’entrée-sortie par seconde compte les requêtes de stockage et le chargement à froid mesure le temps nécessaire pour qu’un modèle soit prêt. Aucune ne remplace directement un test mesurant le nombre de requêtes utilisateur qu’un service d’IA complet peut traiter.

Les tests clients et les présentations de fonderie élargissent l’offre

Samsung MAX Lab vise à associer les clients plus tôt au développement. Ils peuvent tester des technologies telles que le PIM, la CMM-D et les SSD de nouvelle génération dans des conditions réalistes de charge de travail en IA, avant leur commercialisation, puis intégrer les exigences des systèmes à la conception des produits.

Cette approche répond à une difficulté pratique qui ressort des démonstrations du sommet : un composant plus rapide n’apporte de valeur que si le logiciel et le matériel environnant sont capables d’en tirer parti. L’équipe Global Open-ecoSystem de Samsung participe au développement de l’open source et à la normalisation du secteur, tandis que le programme de l’événement comprend des sessions sur les environnements logiciels, la gestion des commandes de stockage et la gestion de la mémoire.

Samsung a également présenté le stockage composable, avec migration à chaud et gestion de SSD virtuels via NVMe standard. Selon la description officielle, cette solution permet de partager le stockage entre plusieurs locataires tout en faisant respecter une qualité de service, c’est-à-dire en contrôlant le service fourni à chaque charge de travail.

L’exposition allait au-delà de la mémoire. Des articles font état de tranches de processeurs Groq Language Processing Unit fabriquées selon le procédé 4 nm de Samsung Foundry, d’un système Groq 3 LPX présenté comme un système Nvidia dans plusieurs comptes rendus, ainsi que de tranches produites selon le procédé gate-all-around 2 nm de Samsung. Ces présentations mettent en avant les capacités de fabrication aux côtés de la mémoire et du stockage, mais ne prouvent pas l’existence de nouveaux contrats de production ni de volumes d’expédition.

Un partenariat développé sur plusieurs mois

La démonstration avec AMD s’inscrit dans le prolongement d’une coopération antérieure. Selon plusieurs articles, les deux entreprises ont signé en mars un protocole d’accord portant sur les technologies de mémoire et de calcul pour l’IA de nouvelle génération, avant de poursuivre les discussions lors de la visite en Corée du Sud, le 7 octobre, de Lisa Su, directrice générale d’AMD.

Voici la chronologie des développements rapportés et des sessions prévues au sommet :

• Mars 2026 : Samsung et AMD signent leur protocole de coopération ; Samsung présente également des technologies au salon Nvidia GTC.
• Juin et août 2026 : Samsung présente ses technologies au COMPUTEX, puis à la conférence Future of Memory and Storage.
• 7 octobre 2026 : Lisa Su se rend en Corée du Sud et rencontre Jeon Young-hyun, vice-président de la division DS de Samsung, pour discuter de leur coopération dans la mémoire et le calcul ; des discussions sur la fonderie sont également rapportées.
• 12 octobre 2026 : ouverture du sommet ; la présentation de Shim est prévue ce jour-là.
• Du 13 au 15 octobre 2026 : le programme de Samsung comprend des sessions sur la hiérarchisation du cache KV, l’optimisation du stockage et l’architecture de mémoire CXL partagée.

Samsung participait en tant que sponsor Diamond. Les articles ne s’accordent pas sur la date à retenir pour l’annonce de la stratégie : le 12 octobre, heure locale, ou le communiqué de l’entreprise publié le 13 octobre. Ces dates peuvent correspondre à différentes étapes d’un même événement. Un article situe le sommet à San Francisco, tandis que le programme officiel de Samsung indique le centre des congrès de San Jose.

L’ampleur du marché ne garantit pas la maturité commerciale

Selon des études sectorielles rapportées, Samsung arrivait en tête au deuxième trimestre 2026, avec 39 % du chiffre d’affaires mondial de la DRAM et 29,3 % du marché de la mémoire flash NAND. Counterpoint Research est cité pour le chiffre concernant la DRAM et TrendForce pour celui de la NAND. Il s’agit de parts de marché, et non de parts des marchés émergents du CXL ou du traitement en mémoire.

Omdia est cité comme prévoyant que Samsung produira cette année le plus grand volume de wafers de DRAM et de NAND du secteur. Une autre estimation situe sa capacité annuelle de DRAM à environ 8,175 millions de wafers équivalents à des wafers de 300 mm. La capacité n’est pas synonyme de production réelle, et aucun de ces chiffres ne permet de savoir quelle part de la production est affectée aux technologies présentées à l’OCP.

Un article avance aussi des chiffres préliminaires exceptionnellement élevés pour le troisième trimestre, datés du 8 octobre : un chiffre d’affaires de 195 000 milliards de wons et un bénéfice opérationnel de 107 400 milliards de wons, en hausse de 782,5 % sur un an. Ces chiffres ne sont pas étayés ici par un communiqué financier officiel et ne doivent pas être considérés comme une preuve établie de revenus générés par les technologies présentées au sommet.

La concurrence dépasse également le seul domaine de la HBM. Des articles présentent le Memory-Centric AI Rack System de SK hynix, ou MARS, comme un pool de mémoire CXL partagé à l’échelle d’une baie. Cette approche s’apparente à celle de Samsung, qui veut rendre la mémoire disponible pour plusieurs systèmes, mais aucun test comparable ne permet d’établir laquelle est la plus performante.

Samsung affirme vouloir renforcer sa compétitivité dans la HBM, la DDR5 pour serveurs et les SSD d’entreprise. Les questions commerciales restent ouvertes, notamment la disponibilité de la HBM5, son prix, son adoption par un plus grand nombre de clients et la confirmation indépendante des performances annoncées. Le programme du sommet donne les dates des démonstrations et des discussions, mais ne fixe pas d’échéance ferme pour la commercialisation de chaque technologie.

Points clés

• La stratégie de Samsung pour l’OCP 2026 associe mémoire plus rapide, extension de capacité CXL et stockage persistant sur SSD.
• La collaboration avec AMD s’appuie sur la technologie mémoire CMM-D pour répondre à la hausse des besoins en mémoire des systèmes d’IA.
• Une démonstration distincte de mutualisation flexible annonce jusqu’à 38 % de réduction du délai avant le premier jeton et un débit utile 3,3 fois supérieur.
• L’évaluation de la LPDDR5X-PIM fait état de performances en inférence jusqu’à trois fois supérieures sur l’accélérateur d’IA Edge de Samsung.
• Le stockage PM1763, l’optimisation du cache KV et le calcul effectué dans les SSD visent différents problèmes de transfert des données.
• Les annonces du sommet ne confirment ni les dates de livraison de la HBM5 ni sa disponibilité commerciale à grande échelle.