Alibaba dévoile Qwen3-Omni, un modèle d’IA multimodal open source

Un modèle nativement multimodal disponible en open source

Alibaba Cloud a dévoilé Qwen3-Omni, un modèle d’IA multimodal qui unifie nativement le texte, les images, l’audio et la vidéo au sein d’un même système. Cette sortie fait entrer la course aux assistants en temps réel dans une nouvelle phase, en associant de larges capacités à une licence open source adaptée aux entreprises. Le modèle accepte des entrées dans ces quatre modalités, puis répond sous forme de texte ou de parole naturelle. Il peut être téléchargé, modifié et déployé à des fins commerciales gratuitement, sous licence Apache 2.0, une licence permissive qui comprend une concession de brevets. Cette initiative place Alibaba comme une alternative crédible aux offres propriétaires d’OpenAI et de Google, tout en laissant aux développeurs le contrôle total de l’exécution du modèle et de son environnement.

Qwen3-Omni s’inscrit dans la série plus vaste des modèles Qwen, dont le champ d’application n’a cessé de s’étendre. L’équipe indique que cette nouvelle version a été entraînée sur de vastes corpus de textes et d’importants volumes de données audio et visuelles, puis affinée pour réagir avec fluidité dans des conversations en direct. Elle est proposée en trois variantes principales correspondant à des besoins courants. Le modèle Instruct traite des entrées mixtes et peut formuler ses réponses à l’oral. Le modèle Thinking est conçu pour les raisonnements plus complexes et les contextes longs. Le modèle Captioner est spécialisé dans la description audio, avec un faible taux d’hallucinations. La distribution passe par le dépôt GitHub officiel, des plateformes de modèles comme Hugging Face et une API hébergée, avec une option Flash plus rapide. Le lancement, intervenu tard dans la nuit, s’est également accompagné d’un nouveau système Qwen3 TTS et d’un modèle de retouche d’images, signe de la volonté de proposer une pile complète dédiée aux interactions multimodales.

Pourquoi ce lancement compte

Les assistants multimodaux passent des démonstrations aux usages en production. Les entreprises veulent un modèle unique capable d’écouter, de regarder, de lire et de raisonner en temps réel, puis de répondre oralement avec un débit naturel. Qwen3-Omni vise précisément ce cas d’usage. L’association d’un accès ouvert et de résultats présentés comme à la pointe sur un large éventail de tests de parole, d’audio, d’image et de vidéo rend cette annonce importante pour les acheteurs en quête de flexibilité, de maîtrise des coûts et d’un déploiement sur site.

Ce qui distingue Qwen3-Omni de GPT-4o et Gemini

Les concurrents ont popularisé l’idée de modèles omni capables de voir, d’entendre et de parler. OpenAI a réuni texte, image et audio dans GPT-4o. Google a étendu l’analyse à la vidéo avec Gemini 2.5 dans certaines offres. Qwen3-Omni a été conçu dès le départ comme une pile intégrée de bout en bout prenant en charge les quatre types d’entrée. Le modèle comprend la vidéo, notamment la détection de scènes et le suivi d’événements, accepte des images fixes et des documents pour la reconnaissance optique de caractères (OCR) et l’ancrage, traite la voix et lit le texte. Les réponses sont fournies sous forme de texte ou de parole, ce qui simplifie les échanges en direct tout en évitant la complexité de la génération d’images ou de vidéos.

Sa disponibilité constitue une différence majeure. Qwen3-Omni est publié sous licence Apache 2.0, qui permet aux entreprises de télécharger les poids, de les exécuter sur leur propre infrastructure et d’affiner le comportement du modèle pour des secteurs particuliers sans négocier de licence. Les systèmes propriétaires limitent l’auto-hébergement ou facturent chaque interaction au token. Autre famille de modèles ouverts proposée par Google, Gemma reste limitée au texte et ne couvre donc pas le même périmètre multimodal. Pour les équipes qui souhaitent s’appuyer sur un modèle ouvert commun pour les tâches vocales, visuelles et textuelles, Qwen3-Omni comble un manque.

Une réponse rapide dans les conversations en direct

Alibaba publie des chiffres théoriques de latence jusqu’au premier paquet d’environ 234 millisecondes pour l’audio et 547 millisecondes pour la vidéo. Ces délais correspondent aux attentes humaines en matière de prise de parole et rendent plausibles des usages en temps réel dans différentes régions, à condition de les associer à un streaming efficace. Les chiffres annoncés sont mesurés sur des systèmes internes ; les résultats en production varieront donc selon le matériel, le nombre de requêtes simultanées et les conditions réseau. Malgré cela, une latence inférieure à un facteur temps réel sous charge laisse penser que la conception vise un déploiement pratique.

Au cœur de l’architecture

Le modèle repose sur une architecture en deux parties, baptisées Thinker et Talker par l’équipe. Thinker prend en charge la compréhension multimodale et le raisonnement. Il lit le texte, analyse les pixels et traite les caractéristiques audio, puis planifie et compose le contenu. Talker se concentre sur la parole et convertit des représentations de haut niveau en voix naturelle pour des réponses diffusées en streaming. La séparation de ces rôles permet à la pile vocale de suivre son propre rythme pendant que le modèle de langage anticipe.

Les deux composants utilisent le mélange d’experts (Mixture of Experts), une technique qui consiste à entraîner de nombreux sous-réseaux spécialisés, dont seuls quelques-uns sont activés pour chaque token. Cela augmente le débit lorsque de nombreuses requêtes sont traitées en parallèle, sans activer tous les paramètres à chaque étape. Le pipeline vocal utilise un schéma autorégressif à plusieurs codebooks qui compresse l’audio en codes discrets. Un réseau convolutionnel léger, Code2Wav, convertit ces codes en formes d’onde. Cette approche réduit le délai tout en préservant le timbre et la prosodie, pour une parole moins robotique malgré une faible latence.

Talker est découplé des représentations textuelles de Thinker et s’appuie directement sur des caractéristiques audio et visuelles. Ce choix permet à la voix de rester en phase avec ce qui se passe à l’écran lors d’interactions audiovisuelles. Du côté de la perception, un encodeur Audio Transformer a été entraîné sur environ 20 millions d’heures d’audio supervisé. Le préentraînement se déroule en plusieurs étapes. L’équipe aligne les encodeurs, entraîne le modèle sur environ deux billions de tokens couvrant le texte, l’audio, les images et la vidéo, puis étend le contexte pour les longues sessions. Le post-entraînement ajoute un affinage supervisé, de la distillation et des étapes d’optimisation pour Thinker comme pour Talker.

Versions, langues et limites de contexte

Qwen3-Omni est proposé sous le nom Qwen3-Omni-30B-A3B en trois variantes publiques. Le modèle Instruct accepte des entrées audio, vidéo et textuelles, puis génère du texte et de la parole. Le modèle Thinking vise les raisonnements complexes, les étapes de calcul et la planification, avec une sortie textuelle. Captioner est optimisé pour produire des descriptions audio détaillées. Une option Flash hébergée vise à accélérer les interactions via Alibaba Cloud.

La prise en charge du multilinguisme est une priorité. Le modèle de base prend en charge 119 langues pour le texte, 19 pour les entrées vocales et 10 pour les sorties vocales, notamment des langues largement utilisées comme le cantonais. Cet équilibre peut simplifier les déploiements à l’échelle mondiale, où les expériences vocales doivent s’adapter aux accents et aux systèmes d’écriture locaux.

Les sessions peuvent être longues. Le mode Thinking offre une fenêtre de contexte allant jusqu’à 65 536 tokens. Le mode sans réflexion peut atteindre 49 152 tokens. La longueur maximale des entrées et des sorties est fixée à 16 384 tokens. Pour les raisonnements complexes, la chaîne la plus longue peut atteindre 32 768 tokens. L’API facture les tokens par tranches de 1 000, avec des tarifs distincts pour les entrées textuelles, audio, image ou vidéo, ainsi que pour les sorties textuelles ou audio. Les nouveaux comptes bénéficient d’un quota gratuit d’un million de tokens, toutes modalités confondues, pendant les 90 jours suivant l’activation.

Les benchmarks et leur interprétation

Alibaba communique des résultats sur 36 benchmarks couvrant le texte et le raisonnement, la parole et l’audio, l’image et la vision, ainsi que les tâches vidéo audiovisuelles. Selon l’entreprise, Qwen3-Omni obtient des résultats de pointe sur 22 tests et arrive en tête des modèles open source sur 32. L’équipe affirme également qu’il surpasse GPT-4o et Gemini 2.5 Pro dans de nombreuses évaluations audio et audiovisuelles. Les catégories comprennent la reconnaissance vocale, la compréhension audio, les questions-réponses audiovisuelles, la description vidéo et la génération vocale. Pour les tâches principalement textuelles, le modèle égalerait les autres modèles de la famille Qwen spécialisés dans le texte.

Les benchmarks donnent des indications, pas des garanties. Les suites de tests diffèrent par leur périmètre, leurs formats d’instructions et leurs règles de notation. Les fournisseurs choisissent les indicateurs qu’ils publient, et différents essais peuvent avantager certaines architectures ou données d’entraînement. En conditions réelles, les déploiements doivent composer avec du bruit, des microphones variés, des changements de plan rapides et des accents différents. Les équipes devraient évaluer le modèle sur leurs propres échantillons, tester sa résistance aux hallucinations sous pression et mesurer les coûts au regard du débit. Cela étant, l’étendue des tâches couvertes par les résultats annoncés indique que le modèle a été entraîné en faisant de la multimodalité un objectif central, et non un ajout tardif au moyen d’adaptateurs.

Dans sa documentation officielle, l’équipe Qwen décrit Qwen3-Omni comme un modèle nativement multilingue qui traite le texte, les images, l’audio et la vidéo, et fournit des réponses en streaming sous forme de texte et de parole. Sa conception vise à préserver le naturel de la voix pendant que le modèle de langage planifie les étapes suivantes.

Ce que les développeurs peuvent créer dès aujourd’hui

Le dépôt et les démonstrations comprennent des guides pratiques pour des tâches courantes qui fonctionnent déjà bien sans personnalisation poussée. Les équipes peuvent commencer par des exemples simples, puis passer à des fonctionnalités de production à mesure qu’elles gagnent en confiance.

Cas d’usage courants

Voici des scénarios qui correspondent bien aux points forts du modèle en matière de perception, de raisonnement et de voix :

• Reconnaissance vocale multilingue pour les appels, les réunions et les contenus multimédias en direct.
• Traduction vocale entre les paires de langues les plus utilisées, avec réponses orales.
• Description audio des sons ambiants et étiquetage de la musique.
• Reconnaissance optique de caractères (OCR) pour les documents et les captures d’écran, avec des réponses ancrées dans le contenu et faisant référence à des zones précises.
• Questions-réponses sur des images, notamment des schémas complexes ou des tableaux de bord.
• Description de vidéos, sélection des moments clés et détection d’événements pour parcourir de longs extraits.
• Questions-réponses audiovisuelles pour la formation, l’assistance et les contenus pratiques.
• Assistance technique en temps réel qui écoute, observe et guide l’utilisateur dans les réparations.
• Flux de travail de type agent qui font appel à des outils externes et à des API pour accomplir des tâches.

Des instructions système permettent de définir la personnalité, le ton et le format des réponses. Le modèle prend en charge le streaming en temps réel et peut donc fournir des réponses partielles pendant que le raisonnement se poursuit. Cette approche paraît plus naturelle avec les assistants vocaux, où de courtes pauses et des demandes de précision rapides sont préférables à de longs silences. Pour les déploiements sensibles, il est utile de mettre en place une pile de sécurité comprenant le renforcement des instructions, des filtres de contenu pour le texte et l’audio, ainsi qu’un moteur de politiques qui consigne le contexte et les décisions.

Enjeux économiques et licence pour les entreprises

Le choix de la licence Apache 2.0 est important. Elle autorise l’utilisation commerciale, la distribution, la modification et la concession de sous-licences. Elle comprend également une licence de brevets, qui réduit les risques juridiques liés à l’intégration du modèle dans des produits. Les entreprises peuvent exécuter Qwen3-Omni sur des clusters privés ou des clouds de confiance, l’adapter à leurs données et commercialiser des logiciels sans payer de frais d’utilisation à un fournisseur. Cette combinaison évite la dépendance à un fournisseur et facilite l’expérimentation au sein des équipes.

Alibaba met en avant l’écosystème en pleine expansion autour de la famille Qwen. L’entreprise affirme avoir publié des centaines de modèles depuis la sortie des premiers checkpoints Qwen et indique que les téléchargements se comptent en centaines de millions. Les développeurs ont publié des dizaines de milliers de variantes sur des plateformes publiques, ce qui raccourcit le passage du prototype à la production. Dans les secteurs réglementés, une pile multimodale auto-hébergée peut contribuer au respect des exigences de localisation des données et d’audit, tout en assurant une meilleure prévisibilité des coûts d’inférence.

Coûts et exploitation

L’exécution d’un modèle multimodal nécessite une planification. La mémoire des GPU, la bande passante de stockage pour l’audio et la vidéo, ainsi que la rapidité du réseau pour le streaming influent sur la réactivité. Les API facturées au token simplifient les premiers essais pendant que les équipes d’infrastructure dimensionnent les clusters. Le quota gratuit de 90 jours, d’un million de tokens, suffit à valider la faisabilité, à affiner les instructions et à évaluer la qualité sur des données internes. Lorsque la charge augmente, les organisations combinent souvent plusieurs modèles. Un modèle ouvert peut prendre en charge la plupart des tâches courantes, tandis qu’une API propriétaire couvre les cas limites ou les fonctionnalités spécialisées. Cette approche réduit les dépenses tout en préservant la flexibilité.

Risques et déploiement responsable

Les puissantes capacités de compréhension audio et vidéo permettent de créer des produits convaincants. Elles comportent aussi des risques d’utilisation abusive. La synthèse vocale peut imiter un style, même si le modèle ne produit pas par défaut une voix cible particulière. Les agents en temps réel qui observent et écoutent les utilisateurs nécessitent des mécanismes de consentement clairs, un stockage sécurisé et des règles de suppression des données. Les équipes juridiques devraient examiner la circulation des données entre la capture sur l’appareil, les serveurs et les journaux, puis définir des durées de conservation conformes à la réglementation.

Les entreprises devraient soumettre le modèle à des tests de résistance portant sur les hallucinations, les biais et les contenus dangereux. La description audio peut mal interpréter des sons dans des environnements encombrés. La description vidéo peut manquer le contexte entre deux changements de plan. Les contextes longs peuvent entraîner une dérive par rapport aux instructions. Un plan d’évaluation bien conçu comprend des instructions adversariales, une couverture des accents et des dialectes, ainsi que des exercices d’équipe rouge sur les limites de sécurité. Des mécanismes de retour permettant aux utilisateurs finaux de signaler les problèmes contribuent à améliorer les modèles tout en responsabilisant les déploiements.

Bien démarrer

Les développeurs peuvent récupérer les poids et les exemples dans le dépôt GitHub officiel de Qwen3-Omni. Un guide de démarrage rapide explique comment exécuter le modèle avec des bibliothèques répandues comme Transformers et vLLM. Des images Docker et des démonstrations d’interfaces web sont également disponibles pour réaliser rapidement des essais. L’accès hébergé via l’API d’Alibaba convient aux équipes qui souhaitent prototyper des fonctions vocales en streaming avant d’investir dans leur propre infrastructure. Les plateformes de modèles proposent des checkpoints prêts à l’emploi et des guides de la communauté sur l’affinage et l’évaluation.

Lien : Qwen3-Omni sur GitHub

À retenir

• Alibaba a publié Qwen3-Omni en open source sous licence Apache 2.0, qui comprend une concession de brevets et autorise gratuitement l’utilisation commerciale et la redistribution.
• Le modèle accepte du texte, des images, de l’audio et de la vidéo, et répond par écrit ou à l’oral avec un streaming en temps réel.
• Trois variantes sont disponibles : Instruct pour les interactions multimodales, Thinking pour les raisonnements complexes et Captioner pour la description audio.
• La latence annoncée est d’environ 234 ms pour l’audio et de 547 ms pour la vidéo, afin de permettre une prise de parole naturelle.
• Le modèle prend en charge 119 langues pour le texte, 19 pour les entrées vocales et 10 pour les sorties vocales, dont le cantonais.
• Sur 36 tests, Alibaba revendique des résultats de pointe sur 22 et une position de leader parmi les modèles ouverts sur 32, avec de solides résultats en audio et en vidéo.
• La fenêtre de contexte atteint 65 536 tokens en mode Thinking, tandis que les entrées et sorties sont limitées à 16 384 tokens.
• L’API propose un quota gratuit d’un million de tokens pendant 90 jours et facture par tranche de 1 000 tokens, toutes modalités confondues.
• Les cas d’usage incluent la transcription, la traduction, l’OCR, l’étiquetage musical, la compréhension vidéo et les assistants en temps réel.
• Les entreprises peuvent héberger et affiner Qwen3-Omni, puis l’intégrer à leurs systèmes en appliquant des mesures de sécurité, de protection de la vie privée et de conformité.