Alibaba dévoile Qwen3-Omni, un modèle d’IA multimodale open source

Un concurrent multimodal natif passe à l’open source

Alibaba a dévoilé Qwen3-Omni, un modèle d’intelligence artificielle multimodal natif qui accepte des textes, des images, de l’audio et des vidéos en entrée, et répond par du texte ou de la parole synthétisée. Le modèle est disponible en open source sous licence Apache 2.0, qui autorise l’usage commercial, la modification et la redistribution, et comprend une licence de brevet. Cette combinaison de capacités étendues et de licence permissive place Qwen3-Omni en concurrence directe avec les principaux systèmes propriétaires américains, tout en facilitant son adoption par les start-up, les chercheurs et les grandes entreprises.

Qwen3-Omni s’inscrit dans l’évolution du secteur vers les modèles omni, une catégorie de systèmes conçus pour comprendre et traiter plusieurs modalités en temps réel. Contrairement aux architectures qui ajoutent des fonctions vocales ou visuelles à un modèle textuel, Alibaba affirme que Qwen3-Omni a été conçu comme un système multimodal de bout en bout. Il traite directement l’audio et la vidéo pendant le raisonnement et génère la parole au moyen d’un module dédié, ce qui lui permet de conserver le rythme, le ton et le contexte de la conversation sans attendre que les fichiers soient entièrement traités.

La première version s’appuie sur une famille de modèles de 30 milliards de paramètres, conçue selon une architecture à mélange d’experts afin de garantir une inférence rapide et évolutive. Alibaba indique des latences avant le premier paquet de 234 millisecondes pour l’audio et de 547 millisecondes pour la vidéo, avec un facteur temps réel (RTF) inférieur à un, même en cas de requêtes simultanées. Le système prend en charge 119 langues pour le texte, 19 langues en entrée vocale et 10 langues en sortie vocale, ouvrant la voie aux assistants multilingues, aux centres d’appels et à la traduction en direct.

Ce lancement intervient alors qu’Alibaba présente son activité cloud comme un fournisseur d’IA de bout en bout et que les modèles open source chinois gagnent en popularité sur les plateformes destinées aux développeurs. En quelques jours, des variantes de Qwen3-Omni ont atteint le sommet des classements des modèles tendance sur Hugging Face, témoignant d’un vif intérêt de la communauté internationale. L’entreprise propose également une version API plus rapide et héberge les poids du modèle pour leur téléchargement direct et leur déploiement local.

Ce qui distingue Qwen3-Omni

Qwen3-Omni est conçu pour raisonner et parler en parallèle. Le composant Thinker gère le raisonnement multimodal. Le composant Talker transforme les résultats de Thinker en parole naturelle, en s’appuyant directement sur les caractéristiques audio et visuelles. Cette séparation permet aux développeurs d’intégrer des systèmes de récupération d’informations, des contrôles de sécurité ou une logique métier à l’étape Thinker avant que le modèle ne prononce le moindre mot, un atout pour les processus soumis à réglementation.

Thinker et Talker

Thinker est un grand modèle de langage entraîné sur du texte, de la parole, des images et des vidéos, à partir d’environ 2 000 milliards de jetons. Il utilise un routage à mélange d’experts : seul un petit sous-ensemble de paramètres est activé pour chaque jeton. Cela réduit les coûts de calcul et augmente le débit. Talker est un générateur vocal léger qui utilise un schéma autorégressif à plusieurs codebooks pour préserver le timbre et la prosodie, ainsi qu’un réseau Code2Wav compact pour produire rapidement l’audio.

Diffusion en temps réel et mise en cache

La latence compte dans une conversation. Alibaba indique que la diffusion en continu permet d’obtenir le premier jeton audible en environ un quart de seconde pour l’audio et une demi-seconde pour les contextes vidéo. La chaîne de traitement audio comprend un nouvel encodeur Audio Transformer, entraîné sur 20 millions d’heures d’audio supervisé, principalement des données chinoises et anglaises de reconnaissance automatique de la parole, complétées par une couverture mondiale pour les autres langues. L’encodeur prend en charge la mise en cache en ligne pour les appels en direct et l’encodage hors ligne pour les traitements par lots.

Langues et contexte long

Les développeurs peuvent soumettre de longues instructions et transcriptions. Le mode Thinking prend en charge jusqu’à 65 536 jetons de contexte et des chaînes de raisonnement pouvant atteindre 32 768 jetons. Le mode Non Thinking prend en charge jusqu’à 49 152 jetons. Le modèle accepte jusqu’à 16 384 jetons en entrée et peut générer jusqu’à 16 384 jetons de texte en sortie. Le système vocal couvre actuellement 10 langues en sortie, une gamme pratique pour des projets pilotes internationaux dans le service client et l’assistance sur le terrain.

Modèles, modes et tarifs

Alibaba lance trois variantes de la famille 30B afin que les équipes puissent les adapter à différents besoins. Le modèle Instruct associe l’ensemble de la chaîne Thinker et Talker pour traiter des entrées audio, vidéo et textuelles, puis produire du texte et de la parole. Le modèle Thinking se concentre sur le raisonnement complexe et les longues chaînes de réflexion. Il utilise les mêmes entrées multimodales, mais ne produit que du texte, ce qui le destine à la recherche, à l’analyse et aux dossiers d’entreprise conformes aux exigences réglementaires. Le modèle Captioner est un spécialiste affiné pour la description audio. Il vise à décrire avec précision la musique, la parole et les sons mixtes, avec un faible taux d’hallucinations.

Qwen3-Omni est disponible au téléchargement sur des plateformes de modèles, sur GitHub pour le code et les poids, ainsi que sous forme d’API via Alibaba Cloud, avec une option Flash plus rapide pour les services interactifs. Les nouveaux utilisateurs bénéficient d’un quota gratuit d’un million de jetons, valable 90 jours après activation. L’utilisation payante est facturée par millier de jetons. Le texte en entrée coûte 0,00025 dollar, les images ou vidéos en entrée 0,00046 dollar et l’audio en entrée 0,00221 dollar. En sortie, le texte coûte 0,00096 dollar lorsque l’entrée ne contient que du texte, et 0,00178 dollar lorsqu’elle comprend des images ou de l’audio. Lorsque les développeurs demandent à la fois du texte et de l’audio en sortie, la partie audio coûte 0,00876 dollar par millier de jetons et la partie textuelle est gratuite.

La sortie audio n’est disponible via l’API qu’en mode Non Thinking. Ce choix simplifie la gestion de la parole en continu et évite les conflits avec les tâches de raisonnement structuré de longue durée. Les équipes qui ont besoin de chaînes de raisonnement détaillées peuvent toujours utiliser le modèle Thinking pour planifier ou récupérer des informations, puis transmettre la réponse finale à un moteur de rendu audio ou au modèle Instruct pour la génération vocale.

Évaluations et interprétation des résultats

Alibaba fait état de bons résultats sur 36 tests publics, avec des scores de pointe dans 22 d’entre eux et une position dominante parmi les modèles ouverts dans 32. Ces chiffres suggèrent un système équilibré, qui préserve la qualité textuelle et visuelle tout en progressant dans le domaine vocal. Parmi les résultats notables, Qwen3-Omni obtient 65,0 à AIME25 et 76,0 à ZebraLogic pour des tâches de raisonnement. Il atteint 82,6 à WritingBench. En transcription audio, le modèle affiche des taux d’erreur de mots de 4,69 et 5,89 sur Wenetspeech, ainsi que de 2,48 sur Librispeech other, un résultat très faible pour ce jeu de données. Les scores de classification et d’identification musicale, comme 93,0 à GTZAN et 52,0 à RUL-MuchoMusic, témoignent de bonnes capacités à reconnaître les genres et les caractéristiques audio.

Les évaluations en vision et en mathématiques sont également solides. Qwen3-Omni obtient 59,7 à HallusionBench, 57,0 à MMMU_pro et 56,3 à MathVision_full. Pour la compréhension vidéo, il atteint 75,2 à MLVU. D’après les chiffres publiés par Alibaba, ces résultats le placent devant de nombreux modèles propriétaires sur ces tests précis, notamment GPT 4o et Gemini 2.0 Flash.

Les évaluations ne couvrent pas toutes les situations auxquelles les utilisateurs sont confrontés. Les conversations réelles peuvent être plus bruyantes, les accents varient, l’éclairage change et les tâches professionnelles enchaînent souvent plusieurs outils. De premières évaluations indépendantes soulignent que les modèles plus petits rencontrent parfois des difficultés en dehors des tests soigneusement préparés, même s’ils brillent dans les classements. Les développeurs devraient mener des essais de validation avec leurs propres données, en particulier pour les cas limites comme le jargon métier, les schémas spécialisés ou les voix qui se chevauchent.

Comparaison avec GPT 4o, Gemini et Gemma

Qwen3-Omni évolue dans un environnement concurrentiel où figurent GPT 4o d’OpenAI et Gemini 2.5 de Google. Ces systèmes sont performants et déjà intégrés à de grandes plateformes, mais leur code source est fermé. Les utilisateurs paient chaque requête et ne peuvent pas légalement modifier les modèles de base ni les redistribuer. Qwen3-Omni est publié sous licence Apache 2.0, une licence permissive qui autorise l’usage commercial, la modification du code et des poids, ainsi que la redistribution. Elle comprend également une licence de brevet. Cette combinaison réduit les risques juridiques pour les entreprises qui ont besoin d’intégrer directement l’IA à leurs produits ou à leur infrastructure privée.

Sur le plan fonctionnel, Qwen3-Omni accepte du texte, des images, de l’audio et des vidéos, et peut répondre par du texte ou de la parole. GPT 4o accepte du texte, des images et de l’audio en entrée et répond par du texte et de la parole, mais ne traite pas les extraits vidéo en entrée dans sa configuration principale. Gemini 2.5 Pro peut analyser des vidéos en entrée et propose des réponses textuelles et vocales via les services de Google. Alibaba présente Qwen3-Omni comme un système multimodal natif, où la parole et la vision sont des capacités de premier ordre, plutôt que des modules ajoutés à un modèle textuel central.

Google propose également Gemma 3n en open source sous licence Apache 2.0. Gemma 3n accepte les vidéos, l’audio, les textes et les images, mais ne produit que du texte. Pour les équipes qui veulent une pile entièrement ouverte avec une sortie vocale en direct, Qwen3-Omni pourrait être la seule option actuelle à associer une licence permissive et la génération vocale intégrée.

Pourquoi la licence Apache 2.0 compte pour les utilisateurs

La licence détermine où un modèle peut fonctionner et comment il peut être commercialisé. Apache 2.0 autorise l’affinage et la redistribution sous une licence propriétaire, sans imposer la publication des modèles dérivés. Elle comprend une licence de brevet et une licence de contribution. Pour les secteurs réglementés qui examinent attentivement les droits de propriété intellectuelle, ces conditions réduisent les risques liés à l’intégration. Les entreprises peuvent déployer Qwen3-Omni sur leurs propres serveurs, dans le cloud de leur choix ou en périphérie de réseau, tout en gardant leurs modèles personnalisés confidentiels.

Usages en entreprise et pour les développeurs

Qwen3-Omni vise un large éventail d’applications. La chaîne multilingue de traitement du texte et de la parole peut servir à la transcription dans les centres d’appels et à la traduction en direct dans 19 langues en entrée et 10 en sortie. Le module de description audio peut décrire la musique, les sons d’ambiance et les extraits audio mixtes pour les éditeurs, les archivistes et les outils d’assistance. La chaîne de traitement visuel lit les captures d’écran et les photos pour la reconnaissance optique de caractères et l’analyse de mise en page, ce qui peut contribuer à automatiser les processus administratifs et l’accueil des clients.

La compréhension vidéo est une capacité phare. Un agent d’assistance peut analyser un court extrait filmé avec un téléphone pour repérer un voyant d’erreur ou un câble mal branché. Une application de maintenance peut surveiller un flux vidéo en direct pour confirmer l’ouverture d’une vanne. Comme Thinker et Talker fonctionnent en parallèle, le système peut commencer à parler tout en continuant à traiter les images reçues, et maintenir ainsi un rythme proche de celui d’une conversation humaine dans les situations où l’utilisateur a les mains occupées.

La séparation explicite entre raisonnement et parole donne aux développeurs davantage de contrôle. Les systèmes de récupération peuvent faire appel aux documents de l’entreprise. Des filtres de politique peuvent contrôler le contenu. Des vérifications de sécurité peuvent examiner les traces de raisonnement avant que Talker ne produise de l’audio. Cette architecture convient aux assistants grand public qui doivent respecter l’identité de marque, aux outils de synthèse en entreprise qui doivent éviter les fuites de données et aux outils de terrain qui nécessitent des instructions étape par étape.

Utilisation d’outils et agents

Qwen3-Omni peut être connecté à des outils et services externes pour accomplir des tâches complexes, comme lancer une recherche, interroger des bases de données ou déclencher des moteurs de flux de travail. Alibaba développe également des infrastructures d’agents sur sa plateforme cloud, afin que les équipes utilisant peu de code comme celles qui en écrivent beaucoup puissent composer des outils, planifier des tâches et les déployer en production. Avec des fenêtres de contexte supérieures à 49 000 jetons en mode Non Thinking, le modèle peut gérer de longues sessions comportant plusieurs étapes et suivre les actions précédentes.

Adoption, marchés et stratégie

L’intérêt des développeurs a été rapide. Des variantes de la famille Qwen3 occupent plusieurs des premières places des classements de tendance de la principale plateforme de modèles, Qwen3-Omni-30B-A3B se classant souvent en tête. Cette visibilité témoigne d’une vague plus large de modèles open source chinois qui retiennent l’attention du monde de la recherche et de l’industrie.

Les indicateurs de marché vont dans le même sens. Les actions Alibaba ont progressé, à la faveur d’une confiance accrue dans les ambitions de l’entreprise dans l’IA et le cloud, de nouvelles révisions à la hausse des recommandations d’analystes et d’un regain d’intérêt des fonds internationaux. L’entreprise étend son réseau de centres de données pour répondre aux besoins de clients hors de Chine, avec de nouvelles installations au Brésil, en France et aux Pays-Bas, et des capacités supplémentaires prévues dans d’autres régions. Alibaba investit également massivement dans les infrastructures d’IA, s’engageant à dépenser des dizaines de milliards de dollars au cours des trois prochaines années et indiquant que ses dépenses d’investissement totales dans l’IA augmenteront.

Les partenariats dans le domaine du matériel font partie du plan. Alibaba a annoncé une collaboration logicielle avec Nvidia afin d’intégrer des outils de développement de l’IA destinés à des domaines comme l’entraînement, la simulation et la validation. L’entreprise a également présenté en avant-première un modèle Qwen3 Max plus vaste, doté de plus de mille milliards de paramètres pour la génération avancée de code et le comportement des agents. Cela montre comment Qwen3-Omni s’inscrit dans une famille plus large, qui va des assistants interactifs aux modèles de recherche les plus puissants.

Les déclarations d’Alibaba

Le directeur général d’Alibaba Group, Eddie Wu, a donné le ton lors de la conférence annuelle de l’entreprise à Hangzhou, où il a présenté l’IA et le cloud comme les deux moteurs de la prochaine phase de croissance. Il a également exposé les projets d’expansion des centres de données à l’international et de renforcement des partenariats en matière d’entraînement et de déploiement.

Dans son intervention, Wu a expliqué pourquoi l’entreprise augmente ses investissements dans l’IA.

L’IA et le cloud sont les moteurs de croissance d’Alibaba, aux côtés du commerce en ligne. Nous augmenterons nos dépenses et nos capacités pour répondre à la demande mondiale.

Lin Junyang, chercheur au sein de l’équipe Qwen, a expliqué comment le projet s’est appuyé sur des travaux antérieurs en parole et en vision pour assembler le nouveau système.

Nous avons combiné des projets fondamentaux sur l’audio et l’image pour créer Qwen3 Omni.

Risques, limites et points à surveiller

Même des résultats d’évaluation solides laissent des questions en suspens, auxquelles seule une utilisation en production peut répondre. Dans le monde réel, l’audio peut être fortement perturbé par le bruit de fond, des voix qui se chevauchent ou des accents rares. Les vidéos présentent souvent des reflets, du flou de mouvement ou des éléments masqués. Si votre service exige un taux de détection très élevé sur des schémas spécialisés ou une transcription conforme aux exigences réglementaires dans un domaine précis, prévoyez du temps pour préparer les données et affiner le modèle sur votre domaine.

La version actuelle prend en charge 10 langues en sortie vocale, ce qui couvre déjà de nombreux marchés, mais les équipes ayant besoin de langues moins courantes devront utiliser une sortie textuelle ou des moteurs vocaux tiers. La séparation entre Thinker et Talker implique également des choix. Certaines organisations préféreront conserver les raisonnements longs au format texte, puis ne synthétiser la parole que pour les réponses finales. D’autres accepteront des réponses plus courtes en échange d’une prise de parole plus rapide. Ces compromis doivent être évalués au regard des objectifs d’expérience utilisateur.

La licence open source constitue un atout pour les concepteurs de produits, mais elle signifie aussi que n’importe qui peut adapter le modèle. Les entreprises devraient utiliser des filtres de contenu, des outils de détection des abus et des systèmes de suivi de l’utilisation pour prévenir les détournements. En contrepartie, la licence Apache 2.0 comprend une licence de brevet qui réduit les risques liés à la propriété intellectuelle pour les utilisateurs, un facteur important pour les équipes chargées de la conformité en entreprise.

L’enjeu est de disposer d’un assistant multimodal capable de raisonner à partir du texte, de l’image et du son avec un timing proche de celui d’un humain. Si Qwen3-Omni confirme ses capacités en dehors des évaluations soigneusement préparées, il pourrait devenir un choix de référence pour les équipes qui veulent garder le contrôle en local, maîtriser leurs coûts et s’appuyer sur une vaste communauté de développeurs.

À retenir

• Qwen3-Omni accepte du texte, des images, de l’audio et des vidéos en entrée, et produit du texte et de la parole.
• Le modèle est open source sous licence Apache 2.0, qui comprend une licence de brevet et autorise l’usage commercial.
• Thinker gère le raisonnement, Talker génère la parole et tous deux utilisent le mélange d’experts pour gagner en rapidité.
• La latence annoncée avant le premier paquet est de 234 millisecondes pour l’audio et de 547 millisecondes pour la vidéo.
• Le modèle prend en charge 119 langues pour le texte, 19 langues en entrée vocale et 10 langues en sortie vocale.
• Trois variantes sont disponibles : Instruct, Thinking et Captioner.
• Le tarif de l’API commence à 0,00025 dollar par millier de jetons textuels, avec un essai gratuit d’un million de jetons.
• Les résultats des évaluations montrent des performances de premier plan dans de nombreux tests de parole, de vidéo et de raisonnement.
• Les classements sur Hugging Face et l’intérêt des investisseurs témoignent d’une adoption rapide.
• Alibaba étend ses centres de données et renforce sa collaboration avec Nvidia, tout en développant la famille Qwen3.