L’IA de codage ultra-sparse d’Alibaba remet en cause la domination de la Silicon Valley

L’IA de codage ultra-sparse d’Alibaba remet en cause la domination de la Silicon Valley

Le géant chinois de la technologie Alibaba a lancé Qwen3-Coder-Next, un modèle de codage open source dont les performances rivalisent avec celles des systèmes propriétaires d’OpenAI et d’Anthropic, tout en nécessitant une fraction seulement de leurs ressources de calcul. Ce modèle de 80 milliards de paramètres n’en active que 3 milliards à chaque passe avant grâce à son architecture Mixture-of-Experts ultra-sparse. Les développeurs peuvent ainsi exécuter des agents de codage sophistiqués sur du matériel local, sans la latence ni les coûts généralement associés aux grands modèles de langage. Cette approche marque un changement fondamental dans l’économie de l’ingénierie de l’IA et montre que des capacités de raisonnement avancées n’exigent pas nécessairement une empreinte de calcul massive.

Cette sortie intervient dans une période particulièrement intense pour le marché des assistants de codage basés sur l’IA. Anthropic a récemment présenté des améliorations d’efficacité pour Claude Code, OpenAI a lancé son application Codex et des frameworks open source comme OpenClaw ont rapidement séduit la communauté. Alibaba se distingue par l’association d’une licence open source permissive, Apache 2.0, et d’innovations architecturales qui remettent en cause l’idée selon laquelle les modèles plus grands sont toujours plus performants. Les poids du modèle sont disponibles sur Hugging Face en plusieurs variantes, notamment aux formats FP8 et GGUF pour différents scénarios de déploiement, accompagnés d’un rapport technique détaillant la méthode d’entraînement et les choix architecturaux.

Des évaluations indépendantes ont confirmé les gains d’efficacité revendiqués par Alibaba. Des tests menés sur différentes configurations matérielles ont montré que Qwen3-Coder-Next atteignait 172 jetons par seconde, avec un score de qualité de 9,9 sur 10 pour les tâches de codage. Ces résultats montrent que les développeurs n’ont plus à choisir entre vitesse et précision lorsqu’ils sélectionnent des outils de développement locaux. Le modèle prend en charge 370 langages de programmation, contre 92 dans les versions précédentes, et dispose d’une fenêtre de contexte native de 256 000 jetons, extensible jusqu’à un million grâce à des techniques d’extrapolation.

Comment l’architecture hybride franchit le mur de la mémoire

Les modèles Transformer traditionnels se heurtent à une limite majeure, connue sous le nom de problème de mise à l’échelle quadratique. À mesure que les fenêtres de contexte s’allongent, les mécanismes d’attention standard deviennent prohibitifs en calcul, car les coûts de traitement augmentent au carré de la longueur de la séquence. Un mur de la mémoire se dresse alors, empêchant les modèles de traiter efficacement de vastes bases de code ou de longues conversations. Qwen3-Coder-Next répond à ce problème grâce à une architecture hybride associant Gated DeltaNet et Gated Attention, qui repense en profondeur la manière dont les modèles de langage traitent l’information dans des contextes étendus.

Gated DeltaNet constitue une solution à complexité linéaire, en remplacement de l’attention softmax conventionnelle. Le modèle peut ainsi conserver un état sur sa fenêtre d’un quart de million de jetons sans subir les pénalités de latence exponentielles typiques du raisonnement à long horizon. Associée à la conception MoE ultra-sparse, cette architecture offre un débit théorique dix fois supérieur à celui de modèles denses de capacité totale similaire pour les tâches portant sur des dépôts de code. Un agent peut ainsi lire l’intégralité d’une bibliothèque Python ou d’un framework JavaScript complexe et répondre à la vitesse d’un modèle de 3 milliards de paramètres, tout en conservant la compréhension structurelle d’un système de 80 milliards de paramètres.

Pour éviter les hallucinations de contexte pendant l’entraînement, l’équipe a utilisé le Best-Fit Packing, une stratégie qui préserve l’efficacité sans les erreurs de troncature observées avec les méthodes traditionnelles de concaténation de documents. L’architecture intègre également des optimisations de stabilité, dont des techniques de normalisation des couches à centrage zéro et à décroissance des poids, afin de garantir des performances robustes pendant les phases de préentraînement et de post-entraînement. Elle prend aussi en charge la prédiction multi-jetons, qui améliore les performances de préentraînement et accélère l’inférence en prédisant simultanément plusieurs jetons futurs au lieu de les générer l’un après l’autre.

Un entraînement d’abord conçu pour les agents, au-delà des paires de code statiques

Jusqu’ici, les modèles de codage étaient formés à partir de paires statiques de code et de texte, une méthode essentiellement en lecture seule qui limitait leur capacité à interagir avec des environnements de développement dynamiques. Qwen3-Coder-Next rompt avec cette tradition grâce à un vaste pipeline d’entraînement agentique, qui a généré 800 000 tâches de codage vérifiables à partir de scénarios réels. Il ne s’agissait pas de simples extraits de code, mais de véritables situations de correction de bogues tirées de demandes d’intégration GitHub et associées à des environnements conteneurisés entièrement exécutables.

L’infrastructure d’entraînement, baptisée MegaFlow, est un système d’orchestration cloud native reposant sur Kubernetes d’Alibaba Cloud. Chaque tâche agentique suit un processus en trois étapes : déploiement de l’agent, évaluation et post-traitement. Pendant la phase de déploiement, le modèle interagit avec des environnements conteneurisés en direct et reçoit un retour immédiat lorsque le code généré échoue aux tests unitaires ou provoque le plantage des conteneurs. Cette formation en boucle fermée permet au système d’apprendre des retours de l’environnement grâce à l’apprentissage par renforcement en cours d’entraînement. Il apprend ainsi à se remettre d’erreurs et à affiner ses solutions en temps réel, au lieu de simplement mémoriser les réponses correctes.

L’entraînement a privilégié la compréhension des dépôts de code dans leur ensemble plutôt que l’analyse de fichiers isolés. Le préentraînement intermédiaire a porté sur environ 600 milliards de jetons de données au niveau des dépôts, un choix qui s’est révélé plus efficace pour comprendre la logique des dépendances entre fichiers que les seuls jeux de données à l’échelle du fichier. Cette approche permet au modèle de saisir les relations complexes entre les différents composants d’une base de code, une capacité essentielle pour les grands projets d’ingénierie logicielle. Le système intègre également des modèles experts spécialisés dans certains domaines, notamment le développement web et l’optimisation de l’expérience utilisateur. Leurs connaissances nuancées ont ensuite été distillées dans le modèle principal pour qu’il les conserve dans une version légère, adaptée au déploiement.

Des résultats comparables à ceux des géants propriétaires

Sur SWE-Bench Verified, référence pour évaluer la capacité des modèles d’IA à résoudre de vrais problèmes logiciels, Qwen3-Coder-Next a obtenu un score de 70,6 %. Il devance ainsi DeepSeek-V3.2, qui a obtenu 70,2 %, et se rapproche de GLM-4.7, à 74,2 %. Ces résultats sont d’autant plus remarquables que le modèle d’Alibaba n’active que 3 milliards de paramètres, contre des volumes de paramètres actifs bien supérieurs pour les systèmes concurrents. Sur le benchmark plus exigeant SWE-Bench Pro, le modèle s’est particulièrement distingué par son raisonnement à long terme dans des tâches agentiques à plusieurs tours.

Les capacités du modèle vont au-delà de la génération de code fonctionnel et incluent la prise en compte de la sécurité. Sur SecCodeBench, qui évalue la capacité d’un modèle à corriger des vulnérabilités, Qwen3-Coder-Next a surpassé Claude-Opus-4.5 dans les scénarios de génération de code, avec un score de 61,2 % contre 52,5 %. Fait notable, il a conservé des scores élevés même sans recevoir d’indications sur la sécurité, ce qui laisse penser que la phase d’entraînement agentique sur 800 000 tâches lui a donné une connaissance intrinsèque des pièges de sécurité courants. Lors d’évaluations de sécurité multilingues, le modèle a aussi affiché un équilibre compétitif entre génération de code fonctionnel et sécurisé. Sur le benchmark CWEval, son score func-sec@1 de 56,32 % dépasse ceux de DeepSeek-V3.2 et de GLM-4.7.

Au-delà des benchmarks propres au codage, l’architecture sous-jacente Qwen3-Next démontre de solides capacités générales de raisonnement. La variante « thinking » du modèle de base surpasse les concurrents dans des tâches de raisonnement complexes, notamment en mathématiques et en logique de bon sens. Lors d’évaluations des capacités agentiques telles que BFCL-v3 et les benchmarks TAU, le modèle se montre efficace dans l’utilisation d’outils et l’exécution autonome de tâches, au niveau, voire au-dessus, d’alternatives propriétaires plus volumineuses.

Capacités de sécurité et controverses

Si les scores obtenus aux benchmarks mettent en évidence la capacité du modèle à générer du code sécurisé, certains experts en cybersécurité s’inquiètent des risques liés à l’adoption d’outils de codage par IA développés dans le cadre de la législation chinoise sur la sécurité nationale. Jurgita Lapienyė, rédactrice en chef de Cybernews, a averti qu’une adoption généralisée par les développeurs occidentaux pourrait introduire des vulnérabilités discrètes, difficiles à repérer dans des bases de code complexes.

Les développeurs pourraient avancer à l’aveugle vers un avenir où des systèmes essentiels seraient construits, sans qu’ils le sachent, avec du code vulnérable.

En vertu de la loi chinoise sur le renseignement national, des entreprises comme Alibaba doivent répondre aux demandes du gouvernement portant sur les données et les modèles d’IA. Cela ouvre la voie à des scénarios dans lesquels le code généré pourrait contenir des faiblesses délibérément dissimulées. Ces inquiétudes portent notamment sur des vecteurs d’attaque de la chaîne d’approvisionnement, comparables à l’incident SolarWinds, où une infiltration de longue durée a été menée au moyen de mises à jour logicielles de confiance. Selon les critiques, des agents de codage autonomes capables d’analyser des bases de code entières et d’y apporter des modifications de leur propre initiative pourraient théoriquement être détournés pour comprendre les défenses d’un système et concevoir des attaques ciblées. Le risque ne tient pas à des bogues évidents, mais à de petits problèmes difficiles à détecter, semblables à des choix de conception anodins et susceptibles d’échapper aux revues de code habituelles.

Les défenseurs de l’approche open source soulignent que les poids du modèle sont entièrement inspectables en vertu de la licence Apache 2.0, ce qui permet aux organisations de procéder à un audit avant son déploiement. Les chercheurs en sécurité rétorquent toutefois que l’infrastructure backend, les systèmes de télémétrie et les méthodes de suivi de l’utilisation restent opaques, même lorsque les poids du modèle sont publics.

L’écosystème Qwen Code et l’intégration aux outils des développeurs

En parallèle du lancement du modèle, Alibaba a publié Qwen Code en open source, un outil en ligne de commande dérivé de Gemini Code et optimisé pour les flux de travail de codage agentique. Il permet aux développeurs de déléguer des tâches d’ingénierie à une IA au moyen d’instructions en langage naturel, avec des invites personnalisées et des protocoles d’interaction conçus pour exploiter pleinement le potentiel de Qwen3-Coder-Next. L’interface en ligne de commande s’intègre aux environnements de développement populaires, notamment via des extensions pour VS Code, et fonctionne avec des outils communautaires existants comme les interfaces Cline et Claude Code.

Le modèle prend en charge un nouveau format d’appel d’outils de style XML, conçu spécifiquement pour les arguments riches en chaînes de caractères. Il peut ainsi émettre de longs extraits de code sans le surcoût lié à l’imbrication et à l’échappement des guillemets, fréquent dans les appels de fonctions fondés sur JSON. Ce détail technique compte en pratique, car il réduit la consommation de jetons et la complexité de l’analyse lorsque le modèle génère de grands blocs de code ou interagit avec des outils de développement externes. Le système utilise également un nouveau tokenizer, compatible avec la famille Qwen3 dans son ensemble. Les développeurs qui migrent depuis une version antérieure doivent donc mettre à jour leurs pipelines de tokenisation.

Les options de déploiement dans le cloud se sont rapidement multipliées. GroqCloud prend désormais en charge les modèles Qwen avec accès à l’intégralité de la fenêtre de contexte. Les tarifs sont de 0,29 dollar par million de jetons en entrée et de 0,59 dollar par million en sortie, pour une vitesse d’inférence supérieure à 535 jetons par seconde. La plateforme Model Studio d’Alibaba propose un accès par API à coût réduit, et l’entreprise indique que les modèles de codage basés sur Qwen ont dépassé les 20 millions de téléchargements cumulés dans le monde. Tongyi Lingma, le plug-in d’environnement de développement intégré d’Alibaba, devrait bientôt être mis à niveau pour intégrer les capacités agentiques améliorées de Qwen3-Coder, ce qui pourrait donner accès à ces nouvelles fonctionnalités à des millions d’utilisateurs actuels.

Concurrence mondiale et enjeux de souveraineté de l’IA

Cette sortie intensifie la concurrence sur le marché mondial des assistants de codage par IA, où les entreprises chinoises contestent de plus en plus la domination américaine en misant sur l’open source. Alibaba affirme que l’architecture Qwen3-Next offre des performances comparables à celles de son modèle phare Qwen3-235B-A22B, tout en réduisant les coûts d’entraînement à un dixième de ceux de la génération précédente. Ce gain d’efficacité élargit l’accès à des outils d’IA performants sans nécessiter d’investissements massifs dans les infrastructures, ce qui pourrait accélérer leur adoption dans les marchés en développement et parmi les développeurs indépendants.

Les tensions géopolitiques compliquent toutefois les conditions d’adoption. Selon les analystes, le recours à des modèles d’IA étrangers se raréfie aux États-Unis comme en Chine, en raison de préoccupations réglementaires, de confiance et de sécurité nationale. L’essor de l’IA souveraine, dans laquelle les pays privilégient des modèles soutenus par des infrastructures et des services cloud locaux, laisse penser que les modèles open source ne gagneront du terrain que s’ils s’inscrivent dans les politiques nationales et respectent les seuils de risque des entreprises. Qwen3-Coder-Next pourrait accélérer l’expansion d’Alibaba Cloud dans la région Asie-Pacifique, mais des réglementations strictes et des préoccupations de sécurité limiteront probablement son adoption en Occident, malgré ses qualités techniques.

Lian Jye Su, analyste en chef chez Omdia, a insisté sur la nécessité de mener des évaluations de sécurité approfondies, quelles que soient les performances techniques.

Je ne serais pas surpris que des dirigeants occidentaux du secteur technologique s’intéressent à des modèles de codage open source comme Qwen3-Coder, compte tenu de leurs résultats dans différents benchmarks. Les préoccupations relatives à la protection de la propriété intellectuelle et à la sécurité des données sont bien sûr légitimes. J’encourage donc les dirigeants technologiques américains à évaluer en profondeur tous les modèles open source, quelle que soit leur origine.

La concurrence laisse penser que le meilleur assistant de codage pourrait ne pas naître d’un développement propriétaire fermé, mais de l’amélioration collaborative d’architectures ouvertes, à condition d’établir un climat de confiance et de vérifier leur sécurité.

L’essentiel

• Qwen3-Coder-Next d’Alibaba atteint 70,6 % sur SWE-Bench Verified en n’activant que 3 milliards de paramètres sur 80 milliards au total, rivalisant avec des modèles propriétaires bien plus grands.
• L’architecture hybride associant Gated DeltaNet et Gated Attention permet de traiter des fenêtres de contexte de 256 000 jetons, extensibles jusqu’à un million, tout en conservant une complexité de calcul linéaire.
• L’entraînement agentique sur 800 000 tâches réelles vérifiables via l’infrastructure MegaFlow permet un apprentissage en boucle fermée, qui va au-delà de la simple mémorisation de code statique.
• Des benchmarks indépendants confirment une vitesse de traitement de 172 jetons par seconde sur du matériel grand public, attestant de la viabilité du modèle pour le développement en local.
• Les évaluations de sécurité montrent de meilleures capacités de correction des vulnérabilités que Claude-Opus-4.5, même si les inquiétudes géopolitiques liées à la souveraineté des données et aux risques potentiels pour la chaîne d’approvisionnement restent un obstacle majeur à son adoption par les entreprises occidentales.
• La licence Apache 2.0 autorise l’utilisation commerciale et l’inspection du modèle. Ses poids sont disponibles sur Hugging Face, ainsi que l’outil en ligne de commande Qwen Code, pour une intégration immédiate dans les environnements de développement.