Alibaba dévoile Qwen3 Omni, un modèle d’IA multimodale open source

Un nouveau modèle open source dans l’IA multimodale

Alibaba a présenté Qwen3 Omni, un vaste modèle multimodal capable de lire du texte, d’analyser des images, d’écouter de l’audio et de regarder des vidéos. Il répond par écrit et à l’oral, avec une voix naturelle. L’entreprise le présente comme un modèle omni natif de bout en bout. Autrement dit, il a été conçu dès le départ pour traiter conjointement tous ces types d’entrées, plutôt que d’ajouter la parole ou la vision comme des fonctionnalités annexes. Son lancement intervient alors que de nombreuses organisations évaluent les compromis entre coût et contrôle des modèles open source et des systèmes propriétaires tels que GPT 4o et Gemini 2.5 Pro. La principale différence tient à son accessibilité. Qwen3 Omni est publié sous licence Apache 2.0, un cadre permissif qui autorise gratuitement l’utilisation commerciale, la modification et la redistribution. Les équipes qui souhaitent héberger elles-mêmes le modèle ou lancer des produits sans frais par utilisateur ni dépendance à un fournisseur peuvent ainsi plus facilement se lancer.

Qwen3 Omni va également au-delà du trio habituel texte, image et audio. Il peut aussi analyser des vidéos, une capacité jusqu’ici surtout réservée aux plateformes fermées. Le modèle prend en charge 119 langues pour le texte, 19 pour les entrées vocales et 10 pour les sorties vocales. Il couvre les principales langues ainsi que certains dialectes, comme le cantonais. Les premiers documents mettent en avant une réactivité en continu, plus proche d’une conversation que d’un traitement par lots : le premier paquet audio arrive en environ un quart de seconde et le premier paquet vidéo en environ une demi-seconde. C’est un seuil important pour les assistants capables d’interrompre, de demander des précisions et de passer rapidement le relais dans des situations en temps réel, comme les appels d’assistance ou les guides mobiles.

La publication comprend trois variantes adaptées à différents usages. Instruct est le modèle conversationnel complet ; Thinking se concentre sur les raisonnements complexes et les longues chaînes de pensée, avec des réponses textuelles ; Captioner est spécialisé dans la description audio, un domaine où il est important de limiter les hallucinations. Les développeurs peuvent accéder aux poids sur les plateformes de modèles populaires, utiliser une API avec une option Flash plus rapide ou affiner le modèle pour mieux contrôler le domaine et le style. Selon les évaluations publiées par l’entreprise, le modèle obtient de bons résultats sur les tâches vocales, audio et vidéo, tout en restant compétitif en texte et en vision par rapport aux systèmes de pointe.

Ce qui distingue Qwen3 Omni

Plusieurs choix techniques distinguent Qwen3 Omni. Premièrement, son pipeline d’entraînement mélange dès le départ des données unimodales et intermodales, puis poursuit la montée en puissance pendant le préentraînement et le post-entraînement. Deuxièmement, le modèle repose sur une architecture de mélange d’experts (Mixture of Experts), qui n’active qu’un petit sous-ensemble de paramètres pour chaque jeton. Cela peut améliorer le débit et réduire les coûts d’inférence, ce qui est important pour les applications en temps réel et les déploiements soumis à des contraintes matérielles. Troisièmement, le système sépare le raisonnement et la parole en deux composants coordonnés, appelés Thinker et Talker. Thinker prend en charge l’essentiel de la compréhension multimodale et du raisonnement. Talker convertit les représentations de haut niveau en parole, tout en préservant le rythme et le timbre.

Trois variantes pour des besoins différents

Alibaba Cloud a publié trois options dans la famille Qwen3 Omni 30B A3B, afin que les équipes puissent choisir celle qui leur convient :

• Instruct, qui associe Thinker et Talker pour traiter du texte, des images, de l’audio et des vidéos, et produire du texte comme de la parole.
• Thinking, qui se concentre sur le raisonnement approfondi et les longues chaînes de pensée, accepte les mêmes entrées multimodales et produit uniquement du texte.
• Captioner, qui vise la description de contenus audio avec peu d’hallucinations, utile pour l’analyse des médias, l’accessibilité et la modération de contenus.

L’API propose également une variante Flash, conçue pour réduire la latence et augmenter le nombre de requêtes simultanées. Cela peut être utile pour créer un assistant de centre d’appels ou un guide d’achat capable d’absorber des pics de trafic sans retarder les réponses.

Au cœur de l’architecture Thinker et Talker

Qwen3 Omni répartit les responsabilités afin de préserver le naturel de la parole tout en gardant un raisonnement flexible. Thinker est le cœur multimodal du modèle. Il aligne et fusionne les caractéristiques du texte, des images, de l’audio et des vidéos, puis produit des représentations au niveau des jetons qui guident la réponse. Talker est un générateur de parole dédié. Au lieu de recevoir le texte produit par Thinker, il s’appuie directement sur les caractéristiques audio et visuelles. Cette conception aide Talker à adapter la prosodie et le timbre à ce qu’il voit et entend, ce qui améliore la traduction et les qualités d’interprétation vocale, comme le rythme, l’emphase et le ton émotionnel.

Pour réduire la latence vocale, Talker utilise un schéma autorégressif à plusieurs codebooks qui prédit des jetons acoustiques discrets ; un réseau convolutionnel léger, Code2Wav, les transforme ensuite en formes d’onde. Talker étant dissocié du texte de Thinker, des modules externes peuvent influencer ou filtrer les sorties de Thinker avant leur conversion en parole. Les procédures de sécurité deviennent ainsi plus faciles à mettre en œuvre, puisque les vérifications de conformité et les étapes de récupération d’informations peuvent intervenir entre le raisonnement et la prise de parole. Les performances en continu sont au cœur du système. Selon les chiffres de l’entreprise, le premier paquet audio arrive en environ 234 millisecondes et le premier paquet vidéo en environ 547 millisecondes. Le facteur temps réel reste inférieur à un, ce qui signifie que le système peut générer de l’audio plus vite que sa durée de lecture, même lorsqu’il traite plusieurs requêtes.

L’architecture repose sur un mélange d’experts pour Thinker comme pour Talker. Dans ce type d’architecture, le modèle se compose de nombreux petits réseaux experts et d’un réseau de routage qui dirige chaque jeton vers quelques-uns d’entre eux. Seule une petite partie des paramètres est mobilisée pour chaque jeton, ce qui favorise la prise en charge de nombreuses requêtes simultanées et contribue à la réactivité de l’inférence. Pour les développeurs, cela peut faire la différence entre un assistant qui interrompt et interagit, et un robot conversationnel qui attend son tour pour parler.

Conception et fonctionnalités prises en charge

Les performances audio commencent par l’encodeur. Qwen3 Omni introduit un Transformer audio, développé de zéro et entraîné sur environ 20 millions d’heures de données supervisées. Le corpus d’entraînement se compose principalement de données chinoises et anglaises de reconnaissance automatique de la parole, complétées par des données d’autres langues et tâches axées sur la compréhension audio. L’encodeur compte environ 600 millions de paramètres, prend en charge des caches en continu pour réduire la latence et peut fonctionner hors ligne pour des tâches d’analyse, comme le traitement de longs enregistrements. Cet encodeur alimente le cœur multimodal par l’intermédiaire d’étapes d’alignement, afin que le modèle puisse raisonner sur différents formats.

Le préentraînement s’est déroulé en trois étapes. Lors de l’alignement des encodeurs, les encodeurs de vision et d’audio ont été entraînés et alignés, tandis que le modèle de langage restait gelé. Pour l’entraînement général, l’équipe est passée à environ 2 000 milliards de jetons, comprenant du texte, de l’audio, des images et quelques vidéos ainsi que des paires audio-vidéo. Enfin, lors de l’entraînement sur de longs contextes, la longueur maximale est passée de 8 192 à 32 768 jetons, avec l’ajout de séquences audio et vidéo plus longues. Le post-entraînement comprenait un affinage supervisé, une distillation à partir de modèles enseignants plus performants et une optimisation de la politique à partir de règles et de jugements de modèles pour Thinker. Talker a suivi un processus en quatre étapes, s’appuyant sur des centaines de millions d’échantillons de parole multimodale combinés à un préentraînement continu, dans le but de réduire les hallucinations et d’améliorer la qualité vocale.

Pour une famille de modèles de 30 milliards de paramètres, ses capacités et ses limites sont étendues. Qwen3 Omni prend en charge 119 langues pour le texte, 19 pour les entrées vocales et 10 pour les sorties vocales. Le mode Thinking autorise une fenêtre de contexte de 65 536 jetons ; le mode Non Thinking prend en charge 49 152 jetons. Le modèle accepte jusqu’à 16 384 jetons en entrée et peut en produire jusqu’à 16 384. La chaîne de pensée la plus longue peut atteindre 32 768 jetons. Cette capacité est utile pour traiter des transcriptions complexes, de longues réunions ou des bases de code et des documents qui dépasseraient les limites d’autres modèles sans découpage en segments.

Évaluations, points forts et lecture des résultats

Sur un vaste ensemble de 36 évaluations, Alibaba affirme que Qwen3 Omni arrive en tête dans 22 d’entre elles et domine parmi les modèles open source dans 32. Pour le texte et le raisonnement, il obtient 65,0 à AIME25, bien au-dessus des 26,7 communiqués pour GPT 4o, et 76,0 à ZebraLogic, contre 57,9 publiés pour Gemini 2.5 Flash. À WritingBench, il obtient 82,6, contre 75,5 pour GPT 4o. Pour la parole et l’audio, ses taux d’erreur de mots sur Wenetspeech sont de 4,69 et 5,89 sur deux sous-ensembles de test courants, bien meilleurs que les 15,30 et 32,27 indiqués pour GPT 4o. Sur Librispeech other, le taux d’erreur de mots descend à 2,48, un score faible parmi les modèles comparables.

Pour les images et la vision, les résultats comprennent 59,7 à HallusionBench, 57,0 à MMMU pro et 56,3 à MathVision full, tous supérieurs à ceux de GPT 4o selon le rapport de l’entreprise. En compréhension vidéo, le modèle atteint 75,2 à MLVU, dépassant les résultats communiqués pour Gemini 2.0 Flash (71,0) et GPT 4o (64,6). Les tâches musicales progressent également, avec 93,0 à GTZAN et 52,0 à RUL MuchoMusic. Ces chiffres correspondent aux priorités de conception annoncées : Qwen3 Omni place la barre haut en matière de compréhension audio et audiovisuelle, tout en conservant de solides capacités en texte et en image.

Les évaluations sont utiles, mais restent des tests contrôlés. Les jeux de données et les méthodes de notation peuvent avantager certains corpus d’entraînement. En conditions réelles, de nouveaux problèmes apparaissent : microphones bruyants, accents, caméras de téléphone instables et changements rapides de contexte. Les modèles multimodaux sont aussi soumis à un compromis courant : entraîner un modèle à couvrir un grand nombre de modalités peut légèrement réduire ses performances en texte seul par rapport à des modèles plus grands, conçus d’abord pour le texte. Les équipes devraient mener des essais ciblés sur leurs propres données, puis opter si nécessaire pour une stratégie combinant plusieurs modèles. De nombreuses entreprises associent un modèle multimodal plus petit, capable d’écouter et d’observer, à un modèle textuel plus grand chargé de rédiger des rapports ou des courriels. La licence Apache ouverte facilite ce type d’orchestration, sans complications liées aux achats.

Comparaison avec GPT 4o, Gemini 2.5 Pro et Gemma 3n

OpenAI a placé la barre avec GPT 4o, qui unifie le texte, l’image et l’audio grâce à une intégration étroite et à une parole naturelle. Qwen3 Omni ajoute l’analyse vidéo aux entrées prises en charge. Google propose l’analyse vidéo avec Gemini 2.5 Pro, mais ce modèle reste propriétaire. Google propose aussi Gemma 3n, un modèle ouvert qui accepte du texte, des images, de l’audio et des vidéos, mais ne produit que du texte. Qwen3 Omni peut générer du texte et de la parole, ce qui élargit les possibilités d’interaction, par exemple pour la traduction en direct ou le transfert à un agent dans un centre d’appels.

La licence constitue un autre point de distinction. Qwen3 Omni est publié sous licence Apache 2.0, assortie d’une licence de brevet. Les entreprises peuvent ainsi l’utiliser, le modifier et commercialiser des produits sans devoir divulguer leur code source ni payer de frais d’exécution. Les modèles fermés nécessitent un accès payant et imposent l’utilisation de la plateforme du fournisseur. Une nuance est courante dans les publications open source récentes : les poids et le code d’utilisation sont ouverts, mais la recette complète permettant de reconstruire le modèle de zéro, y compris les données d’entraînement sélectionnées, n’est généralement pas publique. Pour de nombreux utilisateurs, l’essentiel est de pouvoir exécuter le modèle, l’affiner et l’intégrer en production, ce qui est possible ici.

La latence est compétitive. Alibaba indique un délai d’environ 234 millisecondes pour le premier paquet audio et d’environ 547 millisecondes pour le premier paquet vidéo. Ces performances se situent dans la même catégorie que celles des meilleurs systèmes conversationnels. Les entreprises doivent évaluer leurs objectifs de niveau de service au-delà des délais du premier paquet, notamment le temps nécessaire pour obtenir un contenu stable et la durée totale des réponses longues. Qwen3 Omni propose également une variante API Flash pour des réponses encore plus rapides, dans le même esprit que les offres privilégiant la vitesse dans d’autres écosystèmes.

Accès, tarifs et quota gratuit

Les développeurs peuvent essayer Qwen3 Omni de plusieurs façons. Les poids sont disponibles sur les principales plateformes de modèles. L’API propose un accès à la demande et un quota gratuit d’un million de jetons, toutes modalités confondues, pendant 90 jours après l’activation. Les tarifs sont calculés pour 1 000 jetons. Les entrées textuelles coûtent 0,00025 dollar. Les entrées audio coûtent 0,00221 dollar. Les entrées image et vidéo coûtent 0,00046 dollar. Les sorties textuelles coûtent 0,00096 dollar pour 1 000 jetons si les entrées sont uniquement textuelles, ou 0,00178 dollar si elles comprennent des images ou de l’audio. Pour une sortie associant texte et audio, la partie audio coûte 0,00876 dollar pour 1 000 jetons et la partie texte est gratuite.

Ces tarifs sont bas par rapport à ceux de nombreuses offres fermées, ce qui permet de mener des essais sans factures élevées. Selon l’entreprise, le tarif est identique en mode Thinking et en mode Non Thinking. La génération audio est limitée au mode Non Thinking. La plateforme affiche aussi les limites de contexte et les options de modèles dans Model Studio, où les entreprises peuvent choisir en fonction de la vitesse, de la qualité et du coût. Les informations officielles sont disponibles sur les pages Alibaba Cloud Model Studio, à ce lien.

Des centres d’assistance aux outils multimédias : les cas d’usage

Qwen3 Omni est destiné aux usages où voir, écouter et parler font la différence. Voici quelques exemples :

• Assistance technique en direct. Un assistant peut observer le flux d’une caméra de téléphone tout en écoutant un client, puis lui donner des instructions étape par étape d’une voix naturelle.
• Transcription et traduction multilingues. Le modèle transcrit des réunions, des appels ou des cours dans plusieurs langues, puis en produit un résumé en anglais ou formule ses réponses à l’oral dans une autre langue.
• Description audio et indexation musicale. La variante Captioner rédige des descriptions audio avec peu d’hallucinations, y compris des sons d’ambiance et des caractéristiques musicales, utiles pour la recherche et la gestion des droits.
• Compréhension vidéo. Le modèle peut répondre à des questions sur le déroulement d’un extrait, suivre les événements et résumer des scènes.
• Reconnaissance optique de caractères et traitement de documents. L’association de la vision et du langage aide à extraire des champs de formulaires ou de reçus, puis à les vérifier dans leur contexte.
• Assistants grand public. Des appareils portables ou des téléphones peuvent utiliser le modèle pour traduire des menus, identifier des monuments et proposer des fonctions d’accessibilité, comme la description de l’environnement.

Les développeurs peuvent affiner le style et la personnalité conversationnels à l’aide d’instructions système. Le modèle prend en charge l’utilisation d’outils et peut appeler des services externes pour récupérer des informations, effectuer des calculs ou interroger des bases de données. Cela permet de créer des agents capables de planifier, d’appeler des outils et de rendre compte de leurs résultats à l’oral.

Licence et enjeux pour les entreprises

La licence Apache 2.0 est un élément majeur de cette publication. Elle autorise l’utilisation commerciale, la modification et la redistribution, et comprend une licence de brevet qui réduit les risques juridiques liés à l’intégration du modèle dans des systèmes propriétaires. Les entreprises peuvent intégrer Qwen3 Omni à leurs produits ou à leurs processus internes sans frais de fournisseur et sans devoir publier leurs modifications en open source. C’est un atout pour les secteurs réglementés où la maîtrise du routage des données et de leur journalisation est nécessaire. Les poids ouverts permettent également un déploiement sur site ou un hébergement dans un cloud de confiance.

Une publication ouverte ne répond pas automatiquement à toutes les préoccupations. Les données d’entraînement et le code complet de l’entraînement ne sont généralement pas inclus, ce qui empêche la communauté de reproduire toute la construction du modèle. De nombreuses entreprises peuvent s’en accommoder, car elles cherchent surtout à exécuter le modèle, à le personnaliser et à respecter leurs objectifs de niveau de service. Cette publication renforce l’intérêt des architectures combinant plusieurs modèles. Les équipes peuvent associer un modèle multimodal ouvert et rapide à un modèle propriétaire plus puissant lorsque cela est pertinent, ou tout garder en open source pour éviter les contraintes liées à une plateforme. Dans les deux cas, l’accès à un modèle capable de comprendre la vidéo et de produire de la parole sous une licence permissive élargit les possibilités sans longues négociations.

Risques, mesures de protection et prochaines évaluations

Les modèles multimodaux soulèvent des questions de sécurité qui dépassent le seul texte. Les entrées audio et vidéo peuvent contenir des informations sensibles. Les sorties vocales peuvent induire en erreur si elles ne sont pas étayées ou filtrées. Alibaba décrit une étape de contrôle permettant à des modules externes d’intercepter les sorties de Thinker avant leur conversion en parole par Talker. Cette conception permet d’appliquer des contrôles de conformité, des étapes de récupération d’informations ou des filtres d’équipe rouge. Les entreprises doivent néanmoins valider la sécurité des contenus dans leur propre environnement et leur région, notamment en matière de défense contre les injections de requêtes, de protection de la vie privée et de consentement à l’enregistrement ou à l’analyse.

Les affirmations sur les performances doivent être vérifiées sur des données réelles. Les accents, le jargon métier et le bruit de fond peuvent dégrader la qualité de la reconnaissance automatique de la parole. Une faible luminosité ou un flou de mouvement peuvent nuire à la compréhension visuelle. L’utilisation d’outils et l’orchestration d’agents entraînent de nouveaux modes de défaillance, comme des appels d’outils incorrects ou des boucles. Des règles de gouvernance sont nécessaires pour la journalisation, la vérification humaine et le retour à une version antérieure. Enfin, l’infrastructure compte. Le traitement de la parole en temps réel à grande échelle exige une planification minutieuse du débit, de la mémoire GPU et de la réduction de charge. Le mélange d’experts contribue à l’efficacité, mais les équipes doivent dimensionner les grappes de calcul et les caches pour absorber les pics et gérer les longs contextes.

Points clés

• Alibaba a publié Qwen3 Omni, un modèle ouvert sous licence Apache 2.0, capable de traiter du texte, des images, de l’audio et des vidéos, et de produire du texte et de la parole.
• Le système associe Thinker et Talker et s’appuie sur un mélange d’experts pour gérer davantage de requêtes simultanées et produire de la parole en continu avec une faible latence.
• Les latences annoncées pour le premier paquet sont d’environ 234 millisecondes pour l’audio et 547 millisecondes pour la vidéo, avec un facteur temps réel inférieur à un.
• Trois variantes sont proposées : Instruct pour une interaction complète, Thinking pour le raisonnement approfondi avec des réponses textuelles, et Captioner pour la description audio.
• L’entraînement s’appuie sur un Transformer audio personnalisé, entraîné sur environ 20 millions d’heures de données, et sur un corpus multimodal d’environ 2 000 milliards de jetons.
• Selon les évaluations publiées par l’entreprise, Qwen3 Omni domine de nombreux tests audio, vidéo et de raisonnement, tout en restant compétitif en texte et en vision.
• Les tarifs par tranche de 1 000 jetons sont bas. L’API donne accès à un quota gratuit d’un million de jetons pendant 90 jours, et les poids sont disponibles pour un hébergement autonome.
• La licence Apache 2.0 autorise l’utilisation commerciale, la modification et la redistribution, et comprend une licence de brevet qui réduit la dépendance à un fournisseur.
• Les entreprises doivent évaluer la sécurité, la latence et la précision sur des données réelles, et prévoir la gouvernance et l’infrastructure nécessaires aux usages en temps réel.