Alibaba lance Qwen3 Omni, un modèle d’IA multimodale open source

Pourquoi ce lancement est important aujourd’hui

Alibaba a lancé Qwen3 Omni, un modèle d’intelligence artificielle multimodale qui traite le texte, les images, l’audio et la vidéo au sein d’un même système, alors que la concurrence mondiale dans l’IA s’intensifie. Le modèle peut être téléchargé et utilisé sous licence Apache 2.0, qui accorde aux entreprises une grande liberté pour exploiter, modifier et intégrer cette technologie à des produits commerciaux. En combinant une large couverture des modalités et une licence permissive, Alibaba met directement sous pression les systèmes fermés des leaders américains.

Le calendrier est frappant. Les entreprises occidentales continuent d’investir massivement dans l’IA propriétaire et les infrastructures qui la sous-tendent, tandis que des équipes de recherche chinoises attirent les développeurs avec des modèles en accès libre. Qwen3 Omni a rapidement grimpé dans les classements de la communauté sur Hugging Face, signe que les développeurs s’y intéressent à grande échelle. Pour Alibaba, cette sortie montre que le premier fournisseur de services cloud chinois entend se battre pour les charges de travail mondiales liées à l’IA, et pas seulement pour la reconnaissance dans le milieu de la recherche.

La promesse du modèle est simple à formuler : un modèle de fondation capable de traiter du langage, des images, de l’audio et de la vidéo, puis de répondre par écrit ou à l’oral, avec une voix naturelle et une diffusion en continu. Si les performances annoncées par Alibaba se confirment dans les usages courants, les entreprises pourraient déployer des assistants, des services de transcription et des outils d’analyse sans payer de frais d’utilisation à des plateformes fermées ni assembler des modèles distincts pour chaque type de données.

Qu’est-ce que Qwen3 Omni et que permet-il de faire ?

Qwen3 Omni est un modèle de fondation conçu pour des interactions multimodales natives. Il accepte quatre types d’entrées — texte, image, audio et vidéo — et produit deux types de sorties : du texte et de la parole. Les réponses peuvent être diffusées en continu, presque en temps réel, de sorte qu’un utilisateur peut dialoguer avec le système ou pointer une caméra vers une scène et commencer à entendre une réponse pendant que les images sont traitées.

Alibaba propose trois versions afin que les équipes puissent choisir les capacités adaptées à leurs cas d’usage. Chacune repose sur une architecture de 30 milliards de paramètres qui n’active que certains experts pendant l’inférence, pour plus d’efficacité. La gamme se décline ainsi :

• Instruct, le modèle interactif complet, qui traite les entrées audio, vidéo et textuelles et génère du texte comme de la parole.
• Thinking, le modèle axé sur le raisonnement et les réponses qui développent une longue chaîne de pensée. Il accepte les mêmes entrées, mais ne produit que du texte.
• Captioner, une variante ajustée pour décrire l’audio en détail, qui vise à limiter les hallucinations lorsqu’elle décrit les sources sonores et les événements.

Les développeurs peuvent télécharger les poids depuis GitHub et Hugging Face, ou faire appel à un point d’accès géré via l’API d’Alibaba, qui propose également une variante Flash plus rapide pour les usages sensibles à la latence.

Au cœur de l’architecture Thinker et Talker

Le système repose sur une architecture à deux composants, que Alibaba appelle Thinker et Talker. Thinker est chargé du raisonnement entre les différentes modalités. Il fusionne les informations issues du texte, des encodeurs visuels et d’un encodeur audio, puis planifie et produit des jetons textuels représentant la réponse ou l’action envisagée. Talker transforme ce plan en parole naturelle, tout en synchronisant le rythme et l’intonation avec le contexte visuel et audio.

Les deux composants utilisent une approche de mélange d’experts (Mixture of Experts). Seule une partie des paramètres est activée à chaque étape, ce qui répartit la charge entre les experts et améliore le débit lorsque de nombreuses requêtes arrivent simultanément. Cette architecture aide le modèle à conserver une faible latence tout en servant plusieurs utilisateurs à la fois.

Talker ne dépend pas de la représentation textuelle interne de Thinker. Il peut s’appuyer directement sur des caractéristiques audio et visuelles. La parole générée est ainsi plus naturelle lors d’une traduction ou d’une assistance en direct, puisque le système peut préserver une prosodie et un timbre adaptés à la scène. Cette séparation présente aussi des avantages opérationnels : des modules externes, comme des systèmes de recherche d’informations ou des filtres de sécurité, peuvent examiner et ajuster le texte proposé par Thinker avant que Talker ne le transforme en parole.

Pour produire une parole rapide et claire, Talker prédit de façon autorégressive une séquence de plusieurs codebooks et utilise un réseau Code2Wav léger pour synthétiser les trames audio à la volée. Cette approche réduit le délai sans sacrifier la qualité et les nuances de la voix.

Vitesse, échelle et langues

La latence est essentielle pour les interactions vocales et vidéo. Selon Alibaba, la latence avant le premier paquet est d’environ 234 millisecondes pour l’audio et de 547 millisecondes pour la vidéo. La réactivité de bout en bout reste dans la limite d’un facteur temps réel, même en cas de requêtes multiples, ce qui garantit la fluidité de la conversation.

La couverture linguistique est étendue. Le modèle prend en charge 119 langues à l’écrit. Il comprend la parole dans 19 langues et peut s’exprimer dans 10 langues. Cette couverture inclut les principales langues du monde ainsi que des dialectes comme le cantonais. Les équipes produit peuvent ainsi concevoir des assistants destinés à un public mondial sans changer de modèle selon les régions.

Les fenêtres de contexte sont conçues pour les longues sessions. Le mode Thinking offre 65 536 jetons, contre 49 152 pour le mode Non Thinking. Les entrées et sorties peuvent compter jusqu’à 16 384 jetons chacune, et la plus longue chaîne de raisonnement prise en charge atteint 32 768 jetons. Le modèle peut analyser et résumer de longs extraits audio, jusqu’à environ 30 minutes.

Comment Alibaba a entraîné le modèle

La compréhension audio repose sur un Transformer audio maison appelé AuT. Alibaba a entraîné AuT à partir de zéro sur environ 20 millions d’heures d’audio annoté. La majeure partie de cet ensemble porte sur la reconnaissance automatique de la parole en chinois et en anglais, le reste étant consacré à d’autres langues et à des tâches visant une compréhension audio plus générale. AuT compte environ 600 millions de paramètres et est optimisé à la fois pour le traitement en continu avec cache et pour les traitements hors ligne.

Le préentraînement s’est déroulé en trois étapes. Lors d’une phase d’alignement des encodeurs, l’équipe a entraîné les encodeurs visuel et audio tout en gardant l’architecture de langage gelée, afin de préserver la qualité de la perception. Une phase d’entraînement général a ensuite utilisé un jeu de données d’environ deux mille milliards de jetons couvrant le texte, l’audio et les images, ainsi que des volumes plus modestes de vidéo et de contenus audiovisuels. Enfin, une phase consacrée aux longs contextes a porté la longueur des séquences de 8 192 à 32 768 jetons et intégré des contenus audio et vidéo plus longs, pour permettre au modèle de traiter des séquences étendues.

Le post-entraînement a ajouté le suivi des instructions et l’alignement de sécurité. Pour Thinker, l’équipe a appliqué un ajustement fin supervisé, une distillation du fort vers le faible et une optimisation GSPO s’appuyant sur une combinaison de règles et de retours produits par un LLM utilisé comme juge. Talker a suivi quatre étapes, combinant des centaines de millions d’échantillons vocaux multimodaux et un préentraînement continu sur des données sélectionnées. L’objectif était de réduire les hallucinations tout en améliorant la clarté et l’expressivité de la parole.

Benchmarks, points forts et limites

Sur 36 benchmarks publics couvrant le texte, la parole, la vision et la vidéo, Alibaba affirme que Qwen3 Omni occupe la première place dans 22 d’entre eux et devance les modèles ouverts dans 32. Ces résultats témoignent de solides performances sur les tâches riches en audio, ainsi que de résultats compétitifs en texte et en vision.

Raisonnement et rédaction : sur AIME25, le modèle obtient 65,0, loin devant le score de 26,7 obtenu par GPT 4o, génération 2024. Sur ZebraLogic, il atteint 76,0, contre 57,9 pour Gemini 2.5 Flash. Sur WritingBench, il affiche 82,6, au-dessus des 75,5 de GPT 4o.

Parole et audio : sur la suite Wenetspeech, les taux d’erreur de mots annoncés sont de 4,69 et 5,89, bien inférieurs à ceux de GPT 4o, qui s’élèvent à 15,30 et 32,27. Sur LibriSpeech other, le taux d’erreur tombe à 2,48. Le modèle se distingue également en classification musicale, avec 93,0 sur GTZAN et 52,0 sur RUL MuchoMusic, dans les deux cas devant GPT 4o.

Vision et vidéo : Qwen3 Omni obtient 59,7 sur HallusionBench, 57,0 sur MMMU pro et 56,3 sur MathVision full, soit des scores supérieurs à ceux de GPT 4o dans la même série de résultats. Au test de compréhension vidéo MLVU, il atteint 75,2, devant Gemini 2.0 Flash à 71,0 et GPT 4o à 64,6.

Ces chiffres sont solides, mais les équipes doivent les interpréter dans leur contexte. Alibaba a optimisé le système pour préserver la qualité du texte et de la vision, tout en le spécialisant dans la parole et les interactions multimodales. Les premières observations indiquent qu’un modèle textuel de la même famille peut encore être en tête sur certaines tâches purement linguistiques, un compromis courant lorsqu’on passe d’un entraînement monomodal à une architecture multimodale étendue. Le véritable test reste celui des performances au quotidien dans les processus de production.

Licence ouverte, accès et tarifs

Qwen3 Omni est distribué sous licence Apache 2.0. Celle-ci autorise l’usage commercial, la modification et la redistribution, et comprend une licence de brevet. Les entreprises peuvent intégrer le modèle à leurs produits, le déployer sur leur propre matériel ou dans des environnements cloud de confiance, et commercialiser des produits fermés sans divulguer leurs modifications propriétaires. Cette licence élimine les obstacles juridiques les plus courants qui empêchent les équipes d’utiliser des modèles avancés dans des environnements réglementés.

La famille de modèles peut être téléchargée depuis GitHub et Hugging Face. Les équipes qui préfèrent une solution gérée peuvent utiliser l’API d’Alibaba, qui propose également une option Flash pour des réponses plus rapides. Alibaba offre un quota gratuit d’un million de jetons, toutes modalités confondues, pendant 90 jours après activation, afin que les équipes puissent évaluer les capacités du modèle avant de payer.

Comment fonctionne la tarification au jeton

La facturation se fait par tranche de mille jetons. Un jeton est une petite unité de texte ou une représentation découpée d’autres médias ; c’est la référence commune pour mesurer le coût de calcul entre les différentes modalités. Alibaba applique les mêmes tarifs par jeton aux modes Thinking et Non Thinking, à une exception près : la génération audio est uniquement disponible en mode Non Thinking.

Coût des entrées : le texte coûte 0,00025 dollar pour mille jetons, soit environ 25 cents par million de jetons. L’audio coûte 0,00221 dollar pour mille jetons, soit environ 2,21 dollars par million de jetons. Les images et la vidéo coûtent 0,00046 dollar pour mille jetons, soit environ 46 cents par million de jetons.

Coût des sorties : le texte coûte 0,00096 dollar pour mille jetons lorsque l’invite ne contient que du texte. Si l’entrée inclut une image ou de l’audio, la sortie textuelle coûte 0,00178 dollar pour mille jetons. Lorsque les deux types de sortie, texte et audio, sont demandés, la partie audio coûte 0,00876 dollar pour mille jetons. Dans ce cas, la partie textuelle est gratuite.

Des cas d’usage déjà prêts

Les applications axées sur l’audio et la vidéo ont tout à y gagner. La transcription et la traduction multilingues pour le service client et la localisation de contenus multimédias peuvent s’appuyer sur un même modèle, capable d’écouter, de comprendre le contexte et de répondre à l’oral. La variante Captioner se concentre sur la description audio, utile pour l’indexation de contenus multimédias, la veille audiovisuelle et la recherche d’informations musicales.

Les tâches visuelles comme la reconnaissance optique de caractères, le repérage d’objets et les questions-réponses sur des images ou des vidéos sont également adaptées. Un agent d’assistance pourrait observer en direct la caméra d’un téléphone pointée vers un ordinateur portable, indiquer quel câble vérifier, puis décrire les étapes à un rythme naturel. Alibaba a présenté une démonstration de traduction en temps réel du menu d’un restaurant via un appareil connecté. Ces scénarios illustrent l’importance d’une faible latence en diffusion continue et d’une bonne qualité vocale.

Qwen3 Omni prend également en charge le dialogue audiovisuel. Il peut tenir une conversation en faisant référence à ce qu’il entend et à ce qu’il voit, conserver le contexte au fil d’une longue session et faire remonter des informations externes pertinentes lorsqu’il est connecté à des outils. Les développeurs peuvent définir le ton et le comportement à l’aide d’invites système, créer des assistants spécialisés et faire passer les sorties de Thinker par des filtres de sécurité personnalisés avant toute production vocale.

Comparaison avec GPT 4o, Gemini 2.5 et Gemma 3n

Qwen3 Omni rejoint la catégorie des modèles omnicanaux conçus pour traiter de nombreux types de données au sein d’un même moteur. GPT 4o d’OpenAI accepte du texte, des images et de l’audio en entrée, mais est proposé sous la forme d’un service fermé. Gemini 2.5 Pro de Google traite également l’analyse vidéo et est lui aussi fermé. Gemma 3n, également développé par Google, est distribué sous licence ouverte et accepte du texte, des images, de l’audio et de la vidéo en entrée, mais ne génère que du texte. Le modèle d’Alibaba accepte les mêmes quatre types d’entrées et ajoute la génération vocale, un atout pour les assistants et la traduction en direct.

L’ouverture constitue une différence concrète. Les poids de Qwen3 Omni sont disponibles sous licence Apache 2.0, ce qui permet aux entreprises d’exécuter le modèle en local, de l’adapter aux réglementations de leur secteur et de maîtriser les flux de données. Les modèles fermés restent dominants pour certaines tâches haut de gamme, mais leurs conditions de licence et de résidence des données peuvent limiter leur déploiement dans les secteurs sensibles. De nombreuses organisations opteront pour une architecture mixte, associant des modèles ouverts pour maîtriser les coûts et garder le contrôle à des services payants lorsque leurs performances sont difficiles à égaler.

Le passage en production constitue une autre différence. Alibaba a développé une vaste famille de modèles Qwen, qui compte des centaines de variantes, et affirme qu’elle est largement adoptée par les développeurs. Si les interactions vocales et vidéo en direct de Qwen3 Omni tiennent leurs promesses dans les usages quotidiens, le modèle offrira aux équipes une alternative crédible lorsqu’elles ont besoin d’un assistant multilingue à faible latence qu’elles peuvent héberger elles-mêmes.

Adoption et signaux du marché

L’intérêt des développeurs est manifeste. Qwen3 Omni a atteint le sommet des classements des tendances sur Hugging Face, et d’autres modèles d’Alibaba occupent désormais plusieurs des premières places. Cette dynamique reflète une évolution plus générale : les modèles ouverts issus des laboratoires chinois gagnent du terrain dans la communauté mondiale.

Alibaba Cloud affirme que la famille Qwen a été téléchargée plus de 400 millions de fois dans le monde et que l’entreprise a publié plus de 300 modèles depuis son lancement. La réaction des investisseurs est positive. Le jour où Qwen3 Omni a grimpé en tête des classements de la communauté, l’action Alibaba a progressé d’un peu plus de 4 % à Hong Kong, signe que le marché suit les avancées de l’entreprise dans l’IA.

Le sens du terme « ouvert » fait aussi débat. Les modèles sont publiés sous licence Apache 2.0 et leurs poids sont disponibles, mais la recette complète permettant de reproduire l’entraînement à partir des données brutes n’est pas publique. Les puristes parleraient de poids ouverts. Pour la plupart des entreprises, ce sont les conditions de licence qui comptent : elles permettent de commercialiser des produits sans payer de frais par utilisateur ou par siège.

Les enjeux de sécurité et de gouvernance

Les entreprises voudront savoir si les progrès annoncés dans les benchmarks se traduisent par un comportement prévisible et sûr, même en cas de forte charge. Les systèmes vocaux présentent des risques spécifiques, qu’il s’agisse de commandes mal comprises ou d’une synthèse vocale convaincante. Les équipes doivent mettre en place des garde-fous pour la vérification d’identité, le filtrage des contenus et la conservation des données. La séparation entre Thinker et Talker facilite ces contrôles, car une couche de sécurité peut intercepter le texte avant qu’il ne soit transformé en parole.

La capacité à passer en production sera également au centre de l’attention. Les organisations qui adoptent des modèles ouverts à grande échelle investissent souvent dans le MLOps, les chaînes d’ajustement fin et l’évaluation. Qwen3 Omni réduit la nécessité de jongler entre plusieurs modèles en traitant le texte, l’audio, les images et la vidéo au même endroit. Cela peut simplifier l’infrastructure et accélérer les cycles de développement, notamment pour les déploiements sur site ou dans des clouds souverains soumis à des réglementations régionales.

Alibaba a présenté les prochaines étapes, notamment une meilleure reconnaissance de plusieurs locuteurs, la reconnaissance de texte dans les vidéos, un apprentissage renforcé à partir de l’audio et de la vidéo combinés, ainsi que des agents autonomes plus performants. Ces objectifs correspondent aux domaines que les clients mettront d’abord à l’épreuve lorsqu’ils passeront des projets pilotes à la production.

À retenir

• Qwen3 Omni est un modèle unique qui accepte du texte, des images, de l’audio et de la vidéo, et produit du texte et de la parole en diffusion continue.
• Alibaba publie les poids sous licence Apache 2.0, qui autorise l’usage commercial, la modification et la redistribution, avec une licence de brevet.
• Trois variantes sont proposées : Instruct pour une interaction complète, Thinking pour les longs raisonnements avec sortie textuelle et Captioner pour la description audio avec peu d’hallucinations.
• Thinker et Talker séparent le raisonnement de la génération vocale et utilisent un mélange d’experts pour maintenir une faible latence lorsque plusieurs requêtes sont traitées simultanément.
• La latence annoncée avant le premier paquet est d’environ 234 millisecondes pour l’audio et 547 millisecondes pour la vidéo, avec un facteur de temps réel inférieur ou égal à un.
• Le modèle prend en charge 119 langues à l’écrit, comprend la parole dans 19 langues et peut parler dans 10 langues, avec des dialectes comme le cantonais.
• AuT, un encodeur audio de 600 millions de paramètres entraîné sur environ 20 millions d’heures, est au cœur de la compréhension de la parole.
• Les benchmarks le placent en tête de 22 tests sur 36 et des modèles ouverts dans 32 d’entre eux, avec de bons résultats en parole, musique, vision et vidéo.
• Les tarifs de l’API commencent à 0,00025 dollar pour mille jetons de texte en entrée et 0,00096 dollar pour mille jetons de texte en sortie ; un essai gratuit d’un million de jetons est proposé pendant 90 jours.
• L’adoption progresse rapidement sur Hugging Face et Alibaba fait état de centaines de millions de téléchargements des modèles Qwen, tandis que les entreprises évaluent les modèles ouverts pour un usage en production.