Alibaba ouvre le code de Qwen3-Next, un modèle d’IA plus rapide et moins coûteux, qui fonctionne sur du matériel grand public

Un modèle plus rapide et moins coûteux, destiné aux développeurs et aux entreprises

Alibaba Cloud a publié une famille de grands modèles de langage open source reposant sur une nouvelle architecture appelée Qwen3-Next. Le modèle phare, Qwen3-Next-80B-A3B, compte 80 milliards de paramètres, mais introduit des choix de conception qui permettent au système de fonctionner bien plus rapidement et à un coût bien inférieur à celui des précédents modèles Qwen. Alibaba affirme que l’entraînement du nouveau modèle de base a nécessité moins d’un dixième de la puissance de calcul utilisée pour Qwen3-32B, un modèle dense antérieur publié en avril, tandis que la nouvelle série atteint une qualité comparable à celle du modèle plus imposant Qwen3-235B de l’entreprise sur de nombreuses tâches.

Alibaba met ces modèles à la disposition des développeurs en open source, avec des téléchargements et un accès par API sur les principaux hubs de modèles ainsi que sur son propre cloud. L’entreprise présente Qwen comme un écosystème de développeurs en forte croissance. Cette stratégie s’inscrit dans une tendance plus large des groupes chinois spécialisés dans l’IA à publier des modèles de haute qualité que d’autres peuvent examiner et utiliser comme base, une approche qui peut favoriser l’adoption sans dépendre d’infrastructures centralisées massives.

Outre les gains d’efficacité annoncés pour l’entraînement, Qwen3-Next vise à améliorer la vitesse et les performances sur de longs contextes au moment de l’inférence. Selon les tests communiqués par Alibaba, l’architecture offre un débit plus de 10 fois supérieur à celui des versions précédentes de Qwen pour les prompts de plus de 32 000 tokens. La fenêtre de contexte atteint 256 000 tokens et peut, dans certains cas, être étendue à 1 million de tokens. Les modèles sont ainsi mieux adaptés aux documents de la longueur d’un livre, aux vastes dépôts de code et à d’autres charges de travail comportant de grandes quantités de données en entrée.

Les changements apportés par Qwen3-Next sous le capot

Cette génération introduit plusieurs composants qui deviennent des outils courants de l’IA avancée. Son cœur repose sur un mélange d’experts (MoE) parcimonieux, une architecture dans laquelle de nombreux petits réseaux experts sont entraînés, mais seuls quelques-uns sont utilisés pour chaque token. Qwen3-Next y associe un mécanisme d’attention hybride pour traiter les longues séquences, la prédiction de plusieurs tokens pour accélérer la génération et des ajustements d’entraînement destinés à stabiliser l’apprentissage par renforcement (RL). Dans le modèle Qwen3-Next-80B-A3B-Base, seuls environ 3 milliards de paramètres sont actifs à chaque étape, alors que le modèle en compte 80 milliards au total.

Alibaba affirme que le modèle de base atteint une qualité comparable, voire parfois supérieure, à celle du modèle dense Qwen3-32B, tout en mobilisant moins de 10 % des heures de calcul GPU nécessaires à son entraînement. À l’inférence, l’architecture limite les besoins de calcul tout en préservant les capacités du modèle, ce qui explique les fortes accélérations annoncées par l’équipe pour les longs contextes et un meilleur rapport coût-performance, aussi bien dans le cloud que sur du matériel grand public.

Le mélange d’experts en termes simples

Dans un mélange d’experts, le réseau apprend à maîtriser de nombreux sous-modèles spécialisés, appelés experts. Un module de sélection léger décide quels experts solliciter pour chaque token. Qwen3-Next recourt à un niveau élevé de parcimonie : seule une petite fraction des experts est activée à la fois. Selon certaines publications, certaines couches comptent 512 experts, dont 10 actifs par token. Ainsi, les besoins en calcul et en mémoire de chaque passe avant sont comparables à ceux d’un réseau dense bien plus petit, tandis que l’ensemble des experts confère au modèle une grande capacité totale.

En contrepartie, l’entraînement se complexifie et nécessite une planification pour garantir un bon équilibre entre les experts. Alibaba affirme avoir résolu les problèmes de stabilité qui surviennent souvent lorsqu’on associe un MoE parcimonieux à un affinage de type RL. Pour les développeurs, l’essentiel est que le coût d’exécution évolue en fonction du nombre de paramètres actifs, et non du nombre total de paramètres.

Attention hybride et longs contextes

Les couches d’attention permettent à un modèle de parcourir les tokens d’entrée et de déterminer lesquels sont importants. L’attention standard devient coûteuse lorsque les entrées s’allongent, car son coût croît avec le carré de la longueur de la séquence. Qwen3-Next combine l’attention standard à des méthodes qui permettent de traiter le contexte de façon plus légère, décrites par l’équipe comme l’association de Gated DeltaNet et de l’attention classique. Résultat : un débit supérieur sur les longues entrées et moins de ralentissements à mesure que les prompts s’allongent. Alibaba annonce un débit plus de 10 fois supérieur pour les contextes dépassant 32 000 tokens, une fenêtre de 256 000 tokens par défaut et la possibilité de l’étendre à 1 million de tokens dans certains cas particuliers. L’équipe fait également état de gains de performance proches d’une croissance linéaire dans certains scénarios, avec un préremplissage jusqu’à environ 7 fois plus rapide et un décodage environ 4 fois plus rapide pour des contextes plus courts.

Prédiction de plusieurs tokens et décodage

La prédiction de plusieurs tokens consiste à tenter de deviner plusieurs tokens suivants à la fois, puis à corriger les prédictions erronées. Associée au décodage spéculatif, elle réduit le nombre de passes avant coûteuses nécessaires pour générer une réponse en continu. Qwen3-Next prend en charge cette approche et s’intègre aux piles d’inférence populaires, comme SGLang et vLLM, ce qui contribue à réduire la latence des services en production. L’équipe mentionne également Zero Centered RMSNorm et d’autres choix d’optimisation qui stabilisent l’entraînement. Combinée à un MoE parcimonieux, cette approche accélère la génération sans dégrader sensiblement la qualité.

Deux variantes de modèles pour suivre des instructions et raisonner

À sa sortie, Alibaba a proposé deux modèles affinés après l’entraînement du réseau de base. Qwen3-Next-80B-A3B-Instruct est destiné au suivi d’instructions au quotidien, aux échanges conversationnels et à l’utilisation d’outils. Lors des tests de l’entreprise, il se rapproche du modèle phare de 235 milliards de paramètres sur de nombreuses tâches générales et se montre performant lorsque le prompt comporte un contexte très long, pouvant atteindre 256 000 tokens.

Qwen3-Next-80B-A3B-Thinking est optimisé pour le raisonnement complexe. Alibaba met en avant des résultats supérieurs à ceux de ses propres modèles Qwen3 de milieu de gamme et au modèle fermé Gemini 2.5 Flash Thinking sur plusieurs benchmarks sélectionnés pour l’évaluation. L’entreprise cite un score de 60,8 % à SuperGPQA, un test exigeant de niveau universitaire. Les benchmarks fournissent des indications utiles, mais les acheteurs devraient effectuer leurs propres essais sur des tâches spécifiques à leur domaine, notamment le codage, la génération augmentée par récupération, les mathématiques et la planification en plusieurs étapes.

Vitesse, coût et empreinte matérielle

Les gains mis en avant concernent autant le coût que le temps. Selon Alibaba, l’entraînement du modèle de base a nécessité moins de 10 % de la puissance de calcul mobilisée pour Qwen3-32B. À l’inférence, seuls environ 3 milliards de paramètres sont actifs par token : le modèle peut donc répondre en sollicitant moins de mémoire GPU et en consommant moins d’énergie. Il en résulte une empreinte matérielle réduite pour un même niveau de service, ou un débit de requêtes supérieur à configuration identique.

L’architecture se distingue particulièrement avec les longs prompts. Alibaba annonce un débit multiplié par un ordre de grandeur pour les entrées dépassant 32 000 tokens et des améliorations notables pour les séquences plus courtes également, avec un préremplissage environ 7 fois plus rapide et un décodage environ 4 fois plus rapide dans certains tests. Grâce à une fenêtre de 256 000 tokens, les analystes peuvent soumettre en une seule requête des contrats complets, des transcriptions ou de volumineux fichiers de code, puis demander au modèle de les résumer, de les comparer ou de proposer des modifications. L’entreprise souligne que la nouvelle série est optimisée pour fonctionner sur du matériel grand public : les prototypes avancés ne nécessitent donc plus de grands clusters.

Disponibilité et accès

Les modèles Qwen3-Next sont publiés et largement accessibles. Ils figurent sur des hubs de modèles courants, comme Hugging Face et ModelScope, et sont également proposés sur Alibaba Cloud Model Studio pour un déploiement géré. Les utilisateurs peuvent appeler des points de terminaison hébergés ou télécharger les poids pour effectuer l’inférence en local. La série est aussi accessible via le catalogue d’API de NVIDIA, et certaines variantes sont hébergées sur Kaggle pour faciliter les expérimentations.

Cette publication s’ajoute à des outils comme Qwen3-ASR-Flash, un composant de transcription vocale qui prend en charge 11 grandes langues, selon l’équipe. Alibaba invite les développeurs à consulter les conditions de licence de chaque modèle, en particulier en cas d’utilisation commerciale ou de trafic important, puis à effectuer des tests avec leurs propres jeux de données et charges de travail. La prise en charge de frameworks d’inférence comme SGLang et vLLM, ainsi que des schémas d’activation adaptés au matériel, devrait raccourcir le passage de la démonstration à un service fiable.

Comment cette avancée rebat les cartes de la concurrence dans l’IA

Cette initiative illustre une compétition plus large entre laboratoires du monde entier, qui cherchent à rendre les modèles puissants accessibles au plus grand nombre et à moindre coût. Les entreprises chinoises misent fortement sur l’IA open source pour favoriser son adoption et rattraper leurs rivales occidentales en matière de capacités. Alibaba affirme que l’écosystème Qwen est devenu l’une des plus grandes communautés open source de développeurs. Le groupe a également présenté en avant-première Qwen3-Max, un modèle de plus de 1 000 milliards de paramètres qui s’est récemment classé sixième du classement des chatbots LMArena, hébergé par des chercheurs. Aux côtés d’Alibaba, des entreprises comme DeepSeek et Meituan publient elles aussi des modèles et des services compétitifs.

Des modèles de base moins coûteux et plus rapides sont importants, car la puissance de calcul est rare et chère. Les restrictions à l’exportation de puces avancées accentuent la pression en Chine, et de nombreuses équipes manquent de GPU même aux États-Unis et en Europe. Les architectures qui laissent la plupart des paramètres inactifs pendant l’inférence permettent à de plus petits laboratoires, aux start-up et aux universités d’exécuter des modèles de haute qualité sur des serveurs modestes. Les investisseurs suivent la situation de près : l’action Alibaba progresse cette année, alors que l’entreprise recentre ses activités sur le cloud et l’IA. Les effets sur la concurrence s’amplifieront à mesure que davantage d’organisations intégreront l’IA open source à leurs activités quotidiennes.

Benchmarks, transparence et évaluation rigoureuse

Les classements de modèles sont utiles, mais ils peuvent masquer des compromis. Les chiffres de vitesse varient selon la taille des lots, le framework, la quantification et le matériel. La précision varie en fonction du domaine, de la formulation des prompts et de la présence d’outils comme les interpréteurs de code ou la récupération d’informations. Les éditeurs choisissent également leurs propres batteries de tests. Les évaluations indépendantes menées par des groupes de la communauté et des clients donnent généralement une image plus complète des points forts et des lacunes.

Les équipes qui évaluent Qwen3-Next devraient aller au-delà d’un score obtenu à un seul benchmark. Elles devraient mesurer la précision sur les longs contextes, l’utilisation des outils, la fiabilité en mathématiques et en programmation, ainsi que le comportement du modèle sous contraintes de sécurité. Il convient de suivre la consommation mémoire et le débit pour les longueurs de contexte qui les intéressent. Si l’application exige des réponses étayées, il faut associer le modèle à un système de récupération et vérifier les sources. Si une chaîne de raisonnement cohérente est nécessaire, il est conseillé de comparer la variante Thinking à la pile actuellement utilisée.

Cas d’usage et secteurs susceptibles d’en bénéficier

Qwen3-Next semble conçu pour les applications qui nécessitent de longs contextes, des réponses rapides et une maîtrise étroite des coûts. Les équipes juridiques et financières peuvent analyser de grands ensembles de documents et produire des synthèses adaptées qui conservent les références aux sources. Les responsables du service client peuvent réunir bases de connaissances et longs guides de dépannage au sein d’un même assistant capable de raisonner sur des milliers de pages. Les équipes logicielles peuvent lui fournir des dépôts de code et des journaux afin de faciliter les revues de code, la refactorisation et la génération de tests.

Les chercheurs peuvent téléverser de longs articles et des jeux de données pour comparer méthodes et résultats. Les acteurs des médias et de l’éducation peuvent transcrire et traduire de l’audio avec Qwen3-ASR-Flash, puis utiliser le modèle de langage pour créer des fiches de révision ou des plans de contenu. Les administrations et les secteurs réglementés qui exigent un déploiement sur site peuvent tirer parti de la possibilité d’exécuter un modèle performant sur des serveurs grand public, avec une supervision rigoureuse, une journalisation des audits et des filtres de contenu.

L’essentiel

• Alibaba a publié Qwen3-Next et ouvert le code de la famille Qwen3-Next-80B-A3B.
• L’entraînement a nécessité moins de 10 % de la puissance de calcul utilisée pour Qwen3-32B, tout en égalant ou en dépassant ses résultats lors des tests.
• Grâce au mélange d’experts parcimonieux, seuls environ 3 milliards des 80 milliards de paramètres sont actifs par token.
• Le débit est multiplié par plus de 10 pour les prompts dépassant 32 000 tokens, avec une fenêtre de contexte de 256 000 tokens.
• Dans certaines configurations, la fenêtre peut être étendue à 1 million de tokens ; des accélérations du préremplissage et du décodage sont également annoncées pour des contextes plus courts.
• Deux variantes affinées après l’entraînement couvrent le suivi d’instructions et le raisonnement complexe ; selon les tests de l’entreprise, elles surpassent certains concurrents fermés.
• Les modèles sont disponibles sur Hugging Face, ModelScope, Alibaba Cloud Model Studio et le catalogue d’API de NVIDIA.
• L’accès open source et des besoins matériels réduits favorisent leur adoption par les start-up, les entreprises et les équipes de recherche.