Décryptage du coût annoncé de 294 000 dollars pour l’entraînement de DeepSeek : pourquoi R1 a en réalité coûté des millions

Pourquoi un coût de 294 000 dollars a stupéfié le monde de l’IA

Lorsque DeepSeek a publié dans Nature un article évalué par les pairs sur son modèle de raisonnement R1, un chiffre a attiré l’attention du monde entier : 294 000 dollars. Les titres de presse laissaient entendre que le modèle phare avait été entraîné pour une fraction du montant que ses concurrents américains auraient dépensé. Le chiffre était réel, mais il ne concernait qu’une partie limitée du travail. Cette somme couvrait une dernière phase d’apprentissage par renforcement, destinée à affiner le raisonnement étape par étape du modèle. Elle n’incluait pas les mois de préentraînement d’un modèle de base bien plus vaste, dont dépend R1.

Les performances de R1 reposent sur DeepSeek V3, un grand modèle de langage entraîné sur un vaste corpus à l’aide d’un important cluster de calcul. Ce n’est qu’une fois cette coûteuse fondation en place que l’équipe a recouru à l’apprentissage par renforcement pour orienter le modèle vers une meilleure logique et une meilleure résolution de problèmes. C’est en confondant l’étape de finition avec l’ensemble du projet qu’un poste de dépense spécialisé est devenu un titre accrocheur.

La différence est importante. Un modèle qui rivalise avec les meilleurs systèmes en programmation et en mathématiques ne se crée pas en un week-end sur quelques racks de puces. Il faut des ressources de calcul soutenues, un important travail de sélection des données, des expériences répétées, un travail rigoureux sur la sécurité et l’évaluation, puis une phase d’optimisation finale. L’article de Nature a ouvert une fenêtre précieuse sur cette dernière phase. Il n’efface pas l’énorme travail qui l’a précédée.

Ce que dit réellement l’article de Nature

Les documents complémentaires sur R1 détaillent une phase d’apprentissage par renforcement menée sur 512 GPU Nvidia H800. Ils décrivent une première période d’entraînement de R1 Zero d’environ 198 heures, puis 80 heures supplémentaires pour aboutir à la version publiée de R1. L’équipe a également comptabilisé près de 5 000 heures GPU pour générer les données de préférence utilisées dans le processus. Aux tarifs habituels de location d’accélérateurs de classe H800, ces étapes reviennent à un peu moins de 300 000 dollars. Ce chiffre ne représente pas la totalité du temps et des ressources de calcul nécessaires pour créer de toutes pièces un modèle de pointe.

L’article précise également le contexte matériel. DeepSeek a principalement entraîné R1 sur des H800, des puces conçues par Nvidia pour la Chine après que les règles américaines à l’exportation ont restreint l’accès à des accélérateurs plus puissants. L’équipe a reconnu avoir utilisé des GPU A100 pour des travaux préparatoires sur un modèle plus petit, avant de passer aux H800 pour la principale phase d’apprentissage par renforcement de R1. Les lecteurs peuvent consulter les précisions techniques et les postes de coûts dans les documents évalués par les pairs publiés par la revue Nature.

La facture réelle de R1 commence avec le préentraînement de V3

Les propres documents de DeepSeek désignent le principal poste de dépenses : le préentraînement du modèle de base V3 sur lequel s’appuie R1. V3 a été entraîné sur 2 048 GPU H800 pendant environ deux mois. Cela représente près de 2,79 millions d’heures GPU. En prenant une hypothèse prudente d’environ 2 dollars par heure GPU pour cette catégorie de matériel, la seule phase de préentraînement atteint près de 5,58 millions de dollars. En ajoutant les quelque 294 000 dollars consacrés à l’apprentissage par renforcement et à la génération des données associées, la facture de calcul pour obtenir la version publiée de R1 approche les 5,87 millions de dollars.

Cette estimation correspond à la présentation de l’article, selon laquelle les 294 000 dollars de R1 constituent un coût supplémentaire venant s’ajouter à celui du modèle de base. Elle concorde aussi avec des analyses externes qui situent les ressources de calcul totales de R1 dans la même fourchette que celles d’autres grands modèles ouverts. Le coût paraît toujours modeste par rapport aux budgets supposés des plus grands systèmes fermés, mais il est loin de l’aubaine suggérée par un titre évoquant moins de 300 000 dollars.

Comment calculer les heures GPU

Les heures GPU sont une façon simple de mesurer les ressources de calcul : un GPU utilisé pendant une heure équivaut à une heure GPU. Le total d’une phase d’entraînement correspond au nombre de GPU multiplié par le nombre d’heures comptabilisées. Le prix dépend du coût de ces heures sur le marché, qu’il s’agisse de location dans le cloud ou de l’amortissement et de l’exploitation de matériel possédé. Un développeur qui loue plus de 2 000 accélérateurs pendant plusieurs mois paie à l’heure. S’il achète le même cluster, il doit investir d’emblée, puis payer l’électricité, le refroidissement, les locaux et la maintenance.

Acheter un cluster de cette taille coûterait bien plus cher que de le louer pour une seule phase d’entraînement. Équiper un ensemble de 2 048 GPU de classe H800, avec le réseau et les serveurs nécessaires, dépasserait 51 millions de dollars aux prix actuels du marché. Ce montant exclut le temps des ingénieurs, les licences de données, le travail d’évaluation, le stockage et les nombreuses expériences infructueuses qui précèdent une publication réussie. Les 5,87 millions de dollars correspondent surtout au coût des grandes phases d’entraînement réussies, et non au coût total de la recherche qui les a rendues possibles.

L’apprentissage par renforcement est une étape de finition, pas l’ensemble du travail

L’apprentissage par renforcement modifie le comportement d’un modèle entraîné en récompensant les résultats souhaités. Pour R1, DeepSeek a utilisé une technique qui évaluait les réponses et orientait le modèle vers des solutions correctes. Les chercheurs décrivent cette approche comme un apprentissage par renforcement pur. Elle ne nécessite pas de chaînes de pensée rédigées par des humains. Le modèle explore et teste ses propres pistes, reçoit un signal lorsqu’il trouve la bonne réponse, puis améliore progressivement sa stratégie de raisonnement interne.

Cette étape de finition est précieuse. Elle peut améliorer les performances en mathématiques, en programmation et dans les tâches scientifiques, où l’objectif est d’obtenir un résultat vérifiable. Elle coûte aussi bien moins cher que le préentraînement. L’essentiel du travail reste constitué par les mois d’apprentissage qui ont doté le modèle de base de connaissances linguistiques et de capacités générales. L’apprentissage par renforcement façonne ensuite ces capacités pour répondre à des objectifs précis, comme le raisonnement étape par étape et l’utilisation d’outils.

Les puces, les règles à l’exportation et le matériel réellement utilisé par DeepSeek

DeepSeek a entraîné ses modèles sous contrainte d’approvisionnement en puces. Les États-Unis ont restreint les exportations d’accélérateurs haut de gamme vers la Chine, ce qui explique la présence des H800, une version des GPU Nvidia pour centres de données adaptée aux restrictions à l’exportation, dans les documents de DeepSeek. Des rumeurs dans le secteur ont laissé entendre que des chercheurs chinois avaient trouvé des moyens d’accéder à des composants plus rapides, et les déclarations de l’entreprise ont été passées au crible à la recherche d’indices sur les sources de matériel. Pour comprendre les coûts, les faits sont plus clairs : la phase d’apprentissage par renforcement de R1 a utilisé un cluster de 512 H800, tandis que des travaux préparatoires antérieurs ont fait appel à des A100.

Dans son document complémentaire, l’équipe l’a reconnu. Les chercheurs ont expliqué le rôle des A100 lors de la phase de préparation qui a précédé les principales étapes d’entraînement de R1 sur H800.

Les chercheurs de DeepSeek ont écrit : « Dans le cadre de nos travaux sur DeepSeek-R1, nous avons utilisé les GPU A100 pour préparer les expériences avec un modèle plus petit. »

Cette précision permet de comprendre comment le budget final et le mélange de puces peuvent tous deux être exacts. Les H800 figurent dans le calcul du coût principal de l’apprentissage par renforcement, tandis que les A100 ont servi lors d’expériences antérieures qui ont orienté l’approche.

DeepSeek a-t-il dépensé bien moins que ses concurrents occidentaux ?

La facture totale de calcul pour produire R1 se rapproche davantage de 6 millions de dollars que de 300 000 dollars. Cela reste une fraction des budgets à neuf chiffres supposés pour les systèmes fermés de pointe. C’est aussi du même ordre que les coûts de grands modèles ouverts comme Llama 4 de Meta, si l’on compare le nombre d’accélérateurs et la durée d’entraînement, même si ces projets ont utilisé davantage de jetons. L’écart est intéressant, mais il ne s’agit pas d’une révolution qui réduirait d’un ordre de grandeur les coûts de l’ensemble du processus.

Si de nombreux lecteurs considèrent encore DeepSeek comme un champion des coûts, c’est notamment parce que son équipe a optimisé l’utilisation des puces malgré les contraintes. L’entreprise a développé une architecture à mélange d’experts qui n’active qu’un petit sous-ensemble de paramètres pour chaque jeton. Cela permet d’augmenter le débit par heure GPU. Elle s’est aussi appuyée sur des raisonnements plus longs au moment de l’inférence, ce qui déplace une partie de la charge du préentraînement vers l’utilisation ultérieure.

Les chercheurs ont également débattu des sources de données et du transfert de connaissances entre modèles. DeepSeek a eu recours à la distillation dans certaines parties de son écosystème : un modèle puissant génère des réponses qui servent à en entraîner un autre, plus petit ou moins coûteux. L’équipe a indiqué que le modèle de base V3 avait appris à partir d’une exploration du Web contenant des contenus générés par l’IA, notamment des sorties d’autres systèmes. L’article présente cette situation comme fortuite plutôt que comme une copie délibérée de raisonnements. Cette distinction technique importe aux juristes et aux responsables politiques, mais aussi aux analystes des coûts qui cherchent à déterminer jusqu’où un développeur peut aller avec moins de jetons et de ressources de calcul.

Ce que disent les experts des coûts et de l’accès

Des universitaires ont appelé à examiner les chiffres de DeepSeek avec mesure. Ils saluent un véritable savoir-faire technique, tout en mettant en garde contre les comparaisons simplistes des coûts. Des budgets d’entraînement plus faibles pourraient profiter au marché s’ils permettent un accès moins cher, mais les chiffres mis en avant omettent souvent le coût des équipes, des expériences et des infrastructures.

Umar Iqbal, professeur assistant en informatique et en génie à l’université Washington de Saint-Louis, a fait valoir que la baisse des coûts peut élargir l’accès, tout en alertant sur les enjeux de confidentialité et de sécurité liés à l’IA dans le cloud.

Iqbal a déclaré : « Pour que les technologies soient largement adoptées, elles doivent être abordables », ajoutant qu’un développement moins coûteux peut permettre de mener davantage d’expériences à grande échelle, tout en avertissant que les services d’IA dans le cloud soulèvent de véritables questions concernant le contrôle des données et la confidentialité.

Même les défenseurs de l’approche technique de DeepSeek ont averti que les chiffres d’entraînement largement diffusés ne constituent pas un indicateur complet. Ils soulignent que les répétitions, les cycles de réglage et le travail sur les données ne sont pas pris en compte dans une seule phase d’entraînement de bout en bout.

Données, distillation et contenu probable du jeu d’entraînement

La distillation consiste à guider un modèle cible à l’aide des réponses d’un système plus puissant. Les développeurs peuvent générer des millions de paires de questions-réponses de grande qualité, de séquences de code ou d’exemples de chaînes de pensée, puis affiner un modèle pour qu’il reproduise ce comportement. Cette méthode peut améliorer la qualité sans reprendre les étapes de préentraînement les plus coûteuses. Elle explique en grande partie pourquoi de petites équipes peuvent se rapprocher des grands laboratoires, voire les égaler, dans des domaines précis comme les mathématiques et la programmation.

DeepSeek a indiqué que certaines variantes distillées de sa famille de modèles s’appuyaient sur des systèmes open source comme Llama de Meta. Pour V3, l’entreprise a décrit une vaste exploration du Web comprenant un volume important de réponses générées par l’IA. Cette approche présente des avantages et des risques. Elle peut accélérer l’apprentissage des schémas courants, mais aussi importer des problèmes de licence et de qualité inconnus. L’article de Nature a incité la communauté à demander davantage de précisions sur les données utilisées à chaque étape et sur les parties du processus qui s’appuyaient sur des annotations synthétiques.

Pourquoi le chiffre de 294 000 dollars a fait le tour du monde et pourquoi c’est important

Le chiffre de 294 000 dollars était facile à communiquer et assez spectaculaire pour faire bouger les marchés. En janvier, les premières publications de DeepSeek avaient déjà suscité la crainte qu’un concurrent à bas coût ne devance les leaders américains. Les investisseurs ont vendu des actions de fabricants de puces et de partenaires de l’IA. L’article évalué par les pairs a ravivé cette inquiétude avec une formule simple, qui s’est propagée plus vite que les notes de bas de page. De nombreux lecteurs, ainsi que certains journalistes, ont pris l’apprentissage par renforcement pour l’histoire entière.

L’article ne s’est pas contenté de susciter l’enthousiasme. Il a établi un niveau de transparence en consignant des chiffres précis et des détails méthodologiques dans une publication scientifique accessible au public. Les évaluateurs ont demandé à DeepSeek d’atténuer les formulations anthropomorphiques et de clarifier les questions de sécurité, les sources des données et les ressources de calcul. C’est une bonne chose pour la science comme pour le secteur. La communauté peut ainsi comprendre quelles techniques ont apporté le plus de valeur et quels coûts restent difficiles à réduire.

Ce que cela signifie pour les coûts de l’IA et la concurrence

L’économie du développement des modèles évolue. Après des années de montée en puissance, de nombreuses équipes accordent désormais plus d’importance au réglage fin et au temps laissé aux modèles pour raisonner qu’à la seule augmentation de la taille des jeux de données et du nombre de paramètres. Une partie des coûts est ainsi déplacée vers l’inférence, où le modèle réfléchit plus longtemps à chaque requête et consomme davantage de ressources de calcul par réponse. L’accès peut malgré tout coûter moins cher à l’utilisateur final si les gains d’efficacité dépassent le surcoût lié à ces raisonnements plus longs.

L’architecture à mélange d’experts de DeepSeek, son recours à l’apprentissage par renforcement pour le raisonnement et l’usage sélectif de la distillation s’inscrivent dans une évolution plus générale du secteur vers un développement plus modulaire. Les modèles apprennent les uns des autres, les petites équipes s’appuient sur des modèles de base plus grands et les poids ouverts donnent une longueur d’avance aux jeunes pousses. Une étude sur les politiques publiques menée en Europe a observé que ces évolutions pourraient aider les petites entreprises à être compétitives, mais qu’elles compliquent aussi l’amortissement des coûts fixes du préentraînement des modèles fondamentaux. La concurrence sur les prix pourrait s’intensifier tandis que les développeurs cherchent des moyens durables d’intégrer l’IA à leurs produits et services.

Certains chercheurs mettent en garde : les chiffres d’entraînement publiés sous-estiment souvent le travail nécessaire pour obtenir un système abouti. Ils insistent sur la différence entre le coût d’une dernière phase d’entraînement réussie et le budget total, qui inclut le travail sur les données, les essais infructueux, les évaluations de sécurité et des mois de travail d’ingénierie.

Martin Vechev, directeur de l’institut INSAIT, basé en Suisse, a salué cette prouesse technique tout en avertissant qu’il ne fallait pas assimiler les chiffres d’une seule phase au coût total.

Vechev a déclaré : « Le chiffre de 5 à 6 millions de dollars est trompeur, car il ne tient compte que d’une seule phase d’entraînement ; le développement d’un tel modèle nécessite plusieurs phases et expériences, ce qui rend son coût réel bien plus élevé. »

Cette analyse correspond aux éléments disponibles sur R1. Les grandes économies du projet viennent de choix d’architecture judicieux et d’une méthode efficace d’apprentissage par renforcement, et non de l’abandon des coûteuses étapes de préentraînement. Le résultat offre une voie crédible vers de hautes performances avec moins de ressources de calcul que certains concurrents, mais pas une méthode qui ramènerait l’entraînement d’un modèle de pointe sous la barre des 300 000 dollars.

Points clés

• Les 294 000 dollars annoncés pour DeepSeek R1 couvrent l’apprentissage par renforcement sur 512 GPU H800 et la génération des données associées, et non l’entraînement complet du modèle.
• R1 repose sur le modèle de base V3, entraîné sur 2 048 GPU H800 pendant environ deux mois, soit près de 2,79 millions d’heures GPU.
• La location des ressources de calcul pour le préentraînement de V3 est estimée à près de 5,58 millions de dollars, portant le total pour obtenir R1 à environ 5,87 millions de dollars.
• L’achat d’un matériel comparable coûterait bien plus cher que sa location : un cluster de la catégorie des 2 000 GPU dépasserait 51 millions de dollars, hors coûts d’exploitation.
• DeepSeek a utilisé des GPU A100 pour les travaux préparatoires, puis des H800 pour la principale phase d’apprentissage par renforcement de R1.
• Les ressources de calcul nécessaires à R1 sont plus proches de celles d’autres grands modèles ouverts que ne le laissaient penser les premiers titres, même si elles paraissent modestes par rapport aux budgets à neuf chiffres supposés des modèles fermés.
• L’apprentissage par renforcement a amélioré le raisonnement à un coût relativement faible, tandis que l’essentiel du travail restait le préentraînement et le traitement des données.
• Les experts rappellent que les chiffres d’entraînement annoncés incluent rarement la R&D, la préparation des données et les nombreux essais infructueux, qui alourdissent le coût réel des projets.