Alibaba dévoile Qwen3-Omni, un modèle d’IA multimodale open source

Pourquoi c’est important aujourd’hui : l’IA multimodale ouverte se généralise

Alibaba a lancé Qwen3-Omni, un modèle d’intelligence artificielle multimodale en libre accès, capable de recevoir du texte, des images, de l’audio et de la vidéo, puis de répondre par écrit ou à l’oral, en temps réel. L’entreprise le présente comme le premier système omni-modal natif de bout en bout à intégrer ces quatre types d’entrées dans un seul modèle, plutôt que de les ajouter après coup. Ce lancement intervient alors que les systèmes de pointe d’OpenAI et de Google restent propriétaires, creusant le contraste entre les plateformes fermées et une solution open source que chacun peut télécharger, modifier et déployer sous licence Apache 2.0.

La promesse est simple : les entreprises et les développeurs disposent d’un modèle capable de traiter plusieurs modalités avec une faible latence, une large couverture linguistique et des outils permettant de façonner ses réponses. Les enjeux dépassent les seuls benchmarks techniques. Une licence ouverte adaptée aux entreprises supprime la dépendance à un fournisseur et permet aux organisations d’exécuter le modèle sur leur propre infrastructure. C’est une différence notable, alors que de nombreuses entreprises cherchent à concilier coût, contrôle et performances dans leurs infrastructures d’IA.

Qwen3-Omni arrive après une vague de modèles omni-modaux. GPT-4o d’OpenAI combinait texte, image et audio. Gemini 2.5 Pro de Google a ajouté l’analyse vidéo. Ces systèmes restent payants et fermés. Qwen3-Omni réunit compréhension vidéo, entrée vocale et sortie vocale dans un seul modèle que la communauté peut examiner et faire évoluer. Ce lancement témoigne aussi de l’essor des projets chinois d’IA ouverte, qui suscitent une forte adoption sur les plateformes de développeurs et redessinent le paysage concurrentiel.

Qwen3-Omni : présentation et fonctionnement

Qwen3-Omni repose sur une architecture en deux parties, Thinker et Talker, chacune optimisée pour une étape différente du traitement. Thinker prend en charge la compréhension multimodale, le raisonnement et la génération de texte. Talker transforme les sorties validées en parole et coordonne celle-ci avec les éléments visuels. Les deux composants s’appuient sur une architecture Mixture of Experts, qui répartit le modèle en groupes spécialisés de paramètres, activés uniquement lorsqu’ils sont utiles. L’inférence est ainsi plus rapide et plus évolutive, car le modèle n’a pas besoin d’exécuter tous ses paramètres pour chaque requête.

Thinker et Talker : explications

Dans Qwen3-Omni, Thinker reçoit les entrées, fusionne les signaux issus du texte, des images, de l’audio et de la vidéo, puis produit la réponse principale sous forme de texte. C’est à ce stade que peuvent intervenir le raisonnement sur un long contexte, l’utilisation d’outils, la recherche d’informations et les filtres de sécurité. Point essentiel, Talker n’est pas contraint de se baser sur les tokens textuels de Thinker : il s’appuie directement sur les caractéristiques audio et visuelles. Le système peut ainsi reproduire le rythme et les intonations de la voix d’origine pendant une traduction, ou synchroniser le débit de parole avec ce qui apparaît à l’écran. Cette conception permet aussi de contrôler le flux de travail : des modules externes peuvent examiner ou ajuster les sorties de Thinker avant que Talker ne les convertisse en audio.

Pour la parole, Qwen3-Omni utilise une approche autorégressive à plusieurs codebooks, qui prédit des tokens acoustiques compacts avant de les convertir en formes d’onde au moyen du réseau léger Code2Wav. Cette conception réduit la latence tout en préservant les nuances vocales. L’encodeur audio, appelé Audio Transformer, a été entraîné de zéro pour prendre en charge aussi bien le traitement en continu que le traitement hors ligne.

Conçu pour le streaming à faible latence

Qwen3-Omni vise les interactions en direct et conversationnelles. Le système annonce une latence de bout en bout d’environ 234 millisecondes avant le premier paquet audio, et d’environ 547 millisecondes pour la vidéo. Son facteur temps réel reste inférieur à un, ce qui signifie qu’il peut générer une sortie aussi vite, voire plus vite, que les données d’entrée ne lui parviennent. C’est un point important pour les agents vocaux, les assistants des centres d’appels, la transcription de réunions et toutes les situations où les délais nuisent à la fluidité des échanges.

Langues prises en charge et limites de contexte

Le modèle prend en charge 119 langues en texte, 19 en entrée vocale et 10 en sortie vocale. Il peut gérer de longues interactions. Le mode Thinking offre une fenêtre de contexte de 65 536 tokens et une chaîne de raisonnement pouvant atteindre 32 768 tokens. Le mode Non Thinking utilise un contexte de 49 152 tokens. Les limites maximales d’entrée et de sortie sont toutes deux de 16 384 tokens. Elles déterminent la quantité de contenu que le modèle peut traiter et produire au cours d’une session, ce qui est particulièrement important pour les transcriptions vidéo et les documents volumineux.

Versions et options de déploiement

Alibaba lance trois versions de Qwen3-Omni-30B-A3B, chacune optimisée pour un usage différent.

Le modèle Instruct combine Thinker et Talker. Il accepte du texte, des images, de l’audio et de la vidéo, et répond par écrit et à l’oral. Le modèle Thinking se concentre sur le raisonnement et les tâches nécessitant une longue chaîne de réflexion. Il accepte les mêmes entrées, mais ne produit que du texte. Il convient donc aux situations où des réponses écrites détaillées comptent davantage que la voix. Le modèle Captioner est affiné pour le sous-titrage audio et produit des descriptions textuelles détaillées en cherchant à limiter les hallucinations. L’ensemble couvre ainsi les interactions multimodales générales, le raisonnement approfondi et la compréhension audio spécialisée.

Qwen3-Omni est disponible en local et dans le cloud. Les développeurs peuvent télécharger les poids depuis le dépôt officiel et les plateformes communautaires, ou utiliser une variante Flash plus rapide via l’API d’Alibaba. La documentation du projet comprend un guide de démarrage rapide, des recueils d’exemples pour des tâches telles que la reconnaissance vocale, la traduction, l’analyse musicale, l’OCR et le dialogue audiovisuel, ainsi que des instructions de déploiement avec Docker. Le dépôt GitHub est accessible ici : https://github.com/QwenLM/Qwen3-Omni.

Pour les équipes qui testent l’API hébergée, Alibaba offre un quota gratuit d’un million de tokens, toutes modalités confondues, valable 90 jours après son activation. La sortie audio n’est disponible via l’API qu’en mode Non Thinking. Ces modalités sont à prendre en compte pour planifier les projets pilotes et estimer les coûts des premières expérimentations.

Aperçu du processus d’entraînement

Qwen3-Omni a été entraîné en plusieurs étapes, combinant préentraînement à grande échelle et post-entraînement ciblé. L’Audio Transformer, qui sert d’encodeur audio, compte environ 0,6 milliard de paramètres. Il a été entraîné sur 20 millions d’heures d’audio annoté. Les données se composaient d’environ 80 % de reconnaissance vocale en chinois et en anglais, 10 % de reconnaissance vocale dans d’autres langues et 10 % de tâches de compréhension audio. Cet encodeur est conçu pour la mise en cache en temps réel comme pour le traitement hors ligne.

Le préentraînement s’est déroulé en trois étapes. Lors de la première, dite d’alignement des encodeurs, les encodeurs de vision et d’audio ont été entraînés tandis que le cœur du modèle de langage restait gelé. Cela a évité une dégradation de la perception du modèle pendant la fusion initiale. La deuxième étape, dite d’entraînement général, a utilisé un jeu de données d’environ 2 000 milliards de tokens couvrant le texte, l’audio et les images, ainsi que des proportions plus faibles de vidéos et d’échantillons audiovisuels. La troisième étape a porté la longueur maximale des séquences de 8 192 à 32 768 tokens, en augmentant la quantité de contenus audio et vidéo longs afin de renforcer le traitement des séquences étendues.

Le post-entraînement a porté à la fois sur le raisonnement et la qualité vocale. Thinker a bénéficié d’un affinage supervisé, d’une distillation du modèle fort vers le modèle faible et d’une optimisation GSPO combinant des retours fondés sur des règles et une évaluation par un modèle juge. Talker a suivi un processus en quatre étapes, utilisant des centaines de millions d’échantillons vocaux multimodaux et un préentraînement continu sur des données sélectionnées. L’objectif était de réduire les hallucinations et d’améliorer le naturel de la voix.

Performances et points forts

D’après les benchmarks publics communiqués par l’entreprise, Qwen3-Omni obtient de bons résultats en parole, en audio et en compréhension vidéo, tout en conservant des scores élevés en texte et en vision. Il arrive en tête de nombreux classements ouverts et affiche des résultats compétitifs face aux systèmes fermés.

En texte et en raisonnement, le modèle obtient 65,0 sur AIME25 et 76,0 sur ZebraLogic. Il atteint 82,6 sur WritingBench. En parole et en audio, son taux d’erreur sur les mots est de 4,69 sur Wenetspeech, de 5,89 sur Wenetspeech et de 2,48 sur Librispeech other. Il se distingue aussi dans les tâches musicales, avec 93,0 sur GTZAN et 52,0 sur RUL MuchoMusic. Pour l’image et la vision, il obtient 59,7 sur HallusionBench, 57,0 sur MMMU pro et 56,3 sur MathVision full. En vidéo, il affiche 75,2 sur MLVU. Si des évaluations externes les confirment, ces chiffres indiquent un modèle qui conjugue performances sur les tâches textuelles classiques et compréhension avancée de l’audio et de la vidéo.

Deux réserves méritent d’être signalées. Premièrement, de nombreux résultats sont autoévalués. Des réplications indépendantes sur des batteries de tests plus larges donneront une image plus complète des performances en situation réelle. Deuxièmement, réunir quatre types d’entrées dans un seul modèle peut entraîner des compromis. Les documents de l’entreprise visent à démontrer un niveau comparable d’une modalité à l’autre, mais certains membres de la communauté ont observé que les versions antérieures de Qwen, privilégiant le texte, pouvaient produire des résultats légèrement supérieurs dans certaines tâches textuelles ciblées. C’est la tension classique entre modèles spécialisés et généralistes. La version actuelle réduit cet écart tout en débloquant des capacités multimodales que les spécialistes ne peuvent égaler.

Tarifs, quotas et limites d’utilisation

Qwen3-Omni est un modèle open source déployable en local sous licence Apache 2.0. Pour l’accès géré via l’API d’Alibaba, la facturation est calculée par token. Les modes Thinking et Non Thinking appliquent les mêmes tarifs par token. La sortie audio n’est proposée qu’en mode Non Thinking.

Coût des entrées pour 1 000 tokens

• Entrée textuelle : 0.00025 dollar américain
• Entrée audio : 0.00221 dollar américain
• Entrée image ou vidéo : 0.00046 dollar américain

Coût des sorties pour 1 000 tokens

• Sortie textuelle avec une entrée uniquement textuelle : 0.00096 dollar américain
• Sortie textuelle lorsque l’entrée comprend une image ou de l’audio : 0.00178 dollar américain
• Sortie texte et audio : 0.00876 dollar américain pour la partie audio, le texte est gratuit

Offre gratuite : un million de tokens toutes modalités confondues, valable 90 jours après activation. Les limites de contexte sont élevées, avec 65 536 tokens en mode Thinking et 49 152 en mode Non Thinking. Une entrée unique ne peut dépasser 16 384 tokens, et la sortie est plafonnée à 16 384 tokens. La chaîne de raisonnement peut atteindre 32 768 tokens. Ces plafonds déterminent la manière de découper les longs contenus multimédias et les documents en production.

Pourquoi c’est important pour les entreprises

La licence est au cœur du sujet. Apache 2.0 autorise l’utilisation commerciale, la modification et la redistribution. Elle comprend une licence de brevets, qui réduit le risque juridique lorsque le modèle est intégré à des systèmes propriétaires. Rien n’oblige à publier les travaux dérivés, ce qui facilite son adoption par les entreprises qui souhaitent garder privées leurs variantes affinées. C’est l’opposé d’une boîte noire contrôlée par un fournisseur, dont les coûts, les limites de débit et le comportement peuvent changer sans recours possible.

Cette sortie influe aussi sur les choix d’architecture. De nombreuses organisations s’orientent vers des infrastructures composées de plusieurs modèles. Elles associent des modèles ouverts et fermés selon les tâches, combinent des modèles rapides et compacts pour les opérations courantes avec des modèles plus grands pour les raisonnements complexes, et conservent certaines charges de travail sur site pour mieux contrôler les données. La polyvalence de Qwen3-Omni en fait un candidat pour les usages très vocaux, les environnements multilingues et les flux de travail riches en vidéo. Le traitement de plusieurs modalités par un seul modèle peut réduire le nombre de systèmes distincts à entraîner et à maintenir.

Un déploiement réussi exige toutefois de la rigueur. Les évaluations de sécurité, les contrôles de confidentialité, les dispositifs de test et les pipelines d’affinage restent indispensables. Le caractère ouvert du modèle facilite l’audit et l’optimisation, mais confie aussi à l’utilisateur la responsabilité de la sécurité et de la conformité. Les équipes qui investissent dans le MLOps, l’utilisation d’outils et les garde-fous en tireront le meilleur parti.

Cas d’usage : des centres de contact à la maintenance sur le terrain

Alibaba met en avant de nombreux cas d’usage correspondant aux points forts du modèle. La transcription et la traduction multilingues peuvent être associées à une synthèse vocale à faible latence pour les conversations en direct. Le sous-titrage audio facilite la production de médias et l’accessibilité des contenus. L’OCR et la compréhension de documents s’étendent aux images de formulaires, de reçus et de schémas. Le classement musical et l’analyse des sons peuvent servir aux médiathèques et aux outils de création. La compréhension vidéo permet d’indexer et de parcourir des contenus, ainsi que de suivre des instructions tirées de tutoriels ou de visites guidées d’équipements.

Le support technique en est un exemple parlant. Un client peut diffuser une vidéo depuis son téléphone pendant que le modèle lit le texte à l’écran, écoute les sons ambiants et fournit des instructions étape par étape à l’oral. Autre exemple : un assistant connecté à un objet porté sur soi qui traduit des menus ou des panneaux en temps réel. Les développeurs peuvent également orienter le comportement du modèle au moyen d’instructions système pour définir le ton, le personnage et les limites du domaine, puis le relier à des outils de recherche, des calculatrices ou des services tiers pour étendre ses capacités.

Signes d’adoption et contexte mondial

Les premiers signes témoignent d’un vif intérêt de la communauté des développeurs. Des variantes de Qwen3-Omni ont atteint le sommet des classements des modèles tendance sur les principales plateformes d’IA, tandis que d’autres modèles Qwen occupaient plusieurs autres places en tête. Cette progression illustre une évolution plus générale vers les systèmes ouverts développés par des équipes chinoises, qui rivalisent directement avec les acteurs occidentaux établis. Sur les marchés, l’action Alibaba cotée à Hong Kong a progressé d’un peu plus de 4 % lors d’une journée où le lancement a bénéficié d’une forte visibilité.

Cette solution ouverte accentuera la pression sur les tarifs et les stratégies produit des systèmes fermés, en particulier pour les usages intensifs en audio et en vidéo. Les entreprises qui souhaitent tester des idées sans passer par une longue procédure d’achat peuvent désormais utiliser un modèle omni-modal à faible coût. Si les performances en conditions réelles sont conformes aux benchmarks annoncés, ce lancement pourrait accélérer l’adoption des assistants multimodaux dans les centres de contact, la production de médias, l’éducation, la transcription médicale et la maintenance industrielle.

En bref

• Qwen3-Omni est un modèle open source qui accepte du texte, des images, de l’audio et de la vidéo, et répond par écrit et à l’oral. Il est optimisé pour une utilisation en temps réel.
• Le système associe une architecture Thinker-Talker et une architecture Mixture of Experts pour gagner en rapidité et en capacité, ainsi qu’un Audio Transformer personnalisé et le moteur de rendu Code2Wav.
• La latence visée est d’environ 234 millisecondes pour l’audio et 547 millisecondes pour la vidéo, avec un facteur de streaming en temps réel inférieur à un.
• Le modèle couvre 119 langues en texte, 19 en entrée vocale et 10 en sortie vocale, avec des fenêtres de contexte pouvant atteindre 65 536 tokens.
• Trois variantes sont disponibles : Instruct pour les entrées-sorties multimodales complètes, Thinking pour le raisonnement en texte uniquement et Captioner pour le sous-titrage audio détaillé.
• Le modèle est open source sous licence Apache 2.0. L’API propose un quota gratuit d’un million de tokens pour les essais, puis une facturation par token pour l’accès hébergé.
• Les benchmarks communiqués par l’entreprise font état de bons résultats en parole, en audio, en vidéo et en texte, avec plusieurs scores de pointe.
• Les entreprises disposent d’une solution sans coût de licence pour déployer, personnaliser et exécuter une IA multimodale sans dépendre d’un fournisseur, à condition d’investir dans l’évaluation et la sécurité.
• L’adoption par la communauté est rapide : les modèles Qwen sont en vogue sur les plateformes de développeurs et l’intérêt pour les systèmes chinois d’IA ouverte grandit.