Baidu dévoile une IA multimodale open source qui, selon l’entreprise, surpasse GPT-5 et Gemini aux tests de vision

Un nouveau concurrent open source dans l’IA multimodale

Baidu a publié en open source un nouveau modèle multimodal, ERNIE 4.5 VL 28B A3B Thinking, un système de 28 milliards de paramètres capable de traiter des images, des vidéos, des documents et du texte. L’entreprise affirme qu’il surpasse les principaux modèles propriétaires sur des tests exigeants en vision, tout en mobilisant moins de ressources. Il est distribué sous licence Apache 2.0, qui autorise un usage commercial sans restriction. Si elle se confirme lors de tests indépendants, cette affirmation pourrait faire de Baidu un fournisseur clé de modèles de raisonnement visuel destinés aux entreprises et capables de fonctionner sur du matériel accessible.

ERNIE 4.5 VL 28B A3B Thinking active environ 3 milliards de paramètres par jeton, soit une petite fraction du total, grâce à une architecture Mixture of Experts qui dirige chaque entrée vers les réseaux d’experts les plus pertinents. Cette activation sélective réduit les besoins en calcul et en mémoire tout en préservant la capacité d’un modèle bien plus vaste. Baidu indique que le modèle peut effectuer des inférences sur un seul GPU de 80 Go et obtenir de bons résultats en compréhension de documents, en interprétation de graphiques et en raisonnement visuel complexe.

La principale nouveauté est ce que Baidu appelle « Thinking with Images » (raisonnement avec des images). Le modèle peut zoomer et dézoomer sur une image pendant son raisonnement, examiner de petites zones à la recherche d’indices et combiner ses observations locales avec la scène dans son ensemble. Ce fonctionnement s’apparente à la manière dont les gens résolvent les problèmes visuels et améliore des tâches comme la lecture de schémas techniques denses, la détection de défauts sur une chaîne de production ou le repérage d’éléments précis, par exemple le connecteur bleu sous le deuxième boulon.

Baidu met également en avant un ancrage visuel plus précis, un meilleur suivi des consignes pour les tâches liées aux images, l’utilisation d’outils comme la recherche d’images et une compréhension vidéo robuste tenant compte de la temporalité. Le modèle est fourni avec des kits d’intégration compatibles avec Transformers, vLLM et FastDeploy, ainsi qu’avec ERNIEKit, une boîte à outils pour l’entraînement et le réglage fin. Dans un secteur concurrentiel où la plupart des meilleurs systèmes de vision et de langage restent propriétaires, cette publication offre aux développeurs et aux entreprises une nouvelle option ouverte assortie d’une licence adaptée aux usages commerciaux.

Ce que le modèle affirme savoir faire

Baidu regroupe les capacités du modèle en six domaines : raisonnement visuel, résolution de problèmes en sciences, technologie, ingénierie et mathématiques (STEM), ancrage visuel, intégration d’outils, compréhension vidéo et analyse dynamique d’images. Concrètement, le système peut lire et résumer des factures ou des états financiers, analyser des graphiques et des tableaux, raisonner à partir de schémas de circuits et de problèmes de géométrie, désigner des objets ou des zones précises d’une image, utiliser des outils externes pour retrouver des images de référence et suivre des événements au fil d’une vidéo.

Dans les classements présentés dans la documentation de Baidu, le modèle est décrit comme égalant ou dépassant certaines versions de GPT-5 High d’OpenAI et de Gemini 2.5 Pro de Google lors d’une série de tests axés sur la vision. Ceux-ci comprennent des questions-réponses sur des graphiques, la compréhension de documents et des tests de raisonnement visuel en plusieurs étapes. L’entreprise souligne aussi des gains de vitesse, affirmant que l’inférence est deux à trois fois plus rapide que celle de modèles comparables offrant une précision similaire.

Des laboratoires indépendants n’ont pas encore vérifié ces résultats. Les batteries de tests récompensent souvent la mémorisation de motifs, le formatage des invites ou des astuces ciblées plutôt que la fiabilité dans des déploiements réels difficiles. Les entreprises qui évaluent ERNIE 4.5 VL 28B A3B Thinking voudront mener des projets pilotes ciblés avec leurs propres documents, conditions d’éclairage, angles de caméra et politiques de sécurité avant de s’engager en production.

Malgré ces réserves, le modèle couvre un large éventail de tâches. La combinaison du raisonnement, de l’ancrage visuel et de l’utilisation d’outils en fait un candidat pour des processus de travail de type agent, par exemple la lecture des déclarations de sinistre reçues par un assureur, le signalement d’anomalies dans les entrepôts ou l’aide au dépannage d’équipements par des techniciens à partir de photos annotées et de courtes vidéos.

Comment un modèle de 28 milliards de paramètres fonctionne sur un seul GPU de 80 Go

La clé réside dans l’architecture Mixture of Experts, dans laquelle de nombreux sous-réseaux spécialisés sont placés derrière un routeur. Pour chaque jeton ou fragment d’image, celui-ci sélectionne un petit nombre d’experts à activer. Seuls ces experts effectuent des calculs : le système se comporte donc comme un petit modèle à chaque étape, tandis que l’ensemble des experts lui confère une plus grande capacité au fil des étapes et des tâches. Cette structure améliore le débit, car la plupart des paramètres restent inactifs lors d’une opération donnée.

L’activation sélective réduit les besoins en mémoire et les coûts de calcul. Un modèle dense de 28 milliards de paramètres nécessiterait bien plus de matériel pour fonctionner à une vitesse utile. En activant environ 3 milliards de paramètres par jeton, Baidu peut affirmer que son modèle de vision et de langage fonctionne en inférence sur un seul GPU, ce qui permet à de nombreux laboratoires de le tester. Cette approche a toutefois un coût en complexité supplémentaire. Les ingénieurs doivent concevoir un routeur rapide et équilibré, répartir soigneusement la charge et stabiliser l’entraînement pour éviter que quelques experts ne fassent tout le travail.

Raisonnement avec des images et ancrage précis

Les modèles traditionnels de vision et de langage prennent une image à résolution fixe et produisent une réponse textuelle. « Thinking with Images » ajoute une boucle de planification. Le modèle décompose une question en étapes, détermine où regarder ensuite, recadre une zone en haute résolution, lit du texte ou mesure la géométrie dans cette zone, puis met à jour son plan. Le processus se répète jusqu’à ce qu’il ait recueilli assez d’éléments pour répondre. Cette capacité fonctionne aussi dans le sens inverse lorsqu’il faut désigner un élément : le modèle associe les mots à des coordonnées en pixels et dessine un cadre ou un masque.

Un meilleur ancrage est important lorsque les images sont chargées ou techniques. Dans l’industrie, deux pièces peuvent sembler presque identiques tant qu’on ne zoome pas. Sur un dessin d’ingénierie, quelques pixels de notation peuvent changer le sens d’un symbole. En imagerie médicale, de minuscules artéfacts peuvent modifier un diagnostic. Un système capable d’alterner entre le contexte global de la scène et les détails fins, tout en expliquant les étapes suivies, fournit aux opérateurs une piste d’audit plus claire et leur permet de corriger les erreurs.

Tests de référence et usages réels

Les tableaux comparatifs des fournisseurs regroupent souvent les scores de nombreuses évaluations. Certains tests portent sur des images nettes parfaitement recadrées. D’autres posent des questions déjà couvertes par les données d’entraînement. Les déploiements réels introduisent des reflets, du flou de mouvement, des polices inhabituelles, des occultations et des légendes en plusieurs langues. Les performances peuvent varier lorsque les entrées diffèrent des données d’entraînement. C’est pourquoi l’affirmation selon laquelle le modèle surpasse GPT-5 ou Gemini lors de tests spécifiques doit être considérée comme un point de départ, et non comme une conclusion.

Une méthode plus fiable consiste à évaluer le modèle pour chaque tâche. Pour les documents, les équipes peuvent réunir quelques centaines de fichiers représentatifs et mesurer la précision exacte de l’extraction des champs en s’appuyant sur des réponses vérifiées par des humains. Pour les tâches de vision, elles peuvent simuler les conditions de production, puis mesurer la précision et le rappel des cadres ou des masques. Pour les graphiques, elles peuvent créer des tracés synthétiques intégrant des cas limites, comme des échelles logarithmiques ou des séries empilées. Cela permet de mieux cerner le comportement du modèle et ses modes d’échec.

Recette d’entraînement et outils pour les développeurs

Les modèles ERNIE 4.5 suivent une méthode d’entraînement qui associe l’apprentissage supervisé classique à l’apprentissage par renforcement sur des tâches multimodales. La documentation mentionne des techniques appelées GSPO et IcePop pour stabiliser le routeur et mieux façonner les récompenses lors de l’entraînement d’un modèle Mixture of Experts, associées à un échantillonnage dynamique de la difficulté afin de présenter des exemples plus difficiles à mesure que le modèle progresse. Le système peut ainsi planifier un raisonnement en plusieurs étapes sur des images, des graphiques et des vidéos, au lieu de répondre par une simple supposition en un seul passage.

La famille de modèles comprend des variantes textuelles et de vision-langage, des très petits modèles denses aux énormes systèmes Mixture of Experts totalisant des centaines de milliards de paramètres. Baidu indique que l’architecture permet de partager des paramètres entre les modalités : les composants textuels et visuels peuvent ainsi tirer profit les uns des autres sans dégrader la qualité linguistique. L’entraînement et l’inférence s’appuient sur PaddlePaddle, la plateforme de l’entreprise, dont l’équipe affirme qu’elle offre une forte utilisation du matériel à grande échelle.

Baidu fournit plusieurs outils aux développeurs. ERNIEKit prend en charge le réglage fin, l’optimisation des préférences et la quantification pour un déploiement économe en ressources. Le modèle de vision et de langage peut être servi avec des outils courants comme Transformers et vLLM, tandis que FastDeploy peut gérer l’inférence en production. La licence Apache 2.0 lève de nombreuses restrictions sur l’utilisation commerciale. La page officielle du modèle est disponible sur Hugging Face et le code ainsi que les recettes sont publiés dans le dépôt GitHub de Baidu.

Ce que cela signifie pour les entreprises

Une licence ouverte et la possibilité d’effectuer des inférences sur un seul GPU rendent le modèle intéressant pour les équipes qui souhaitent utiliser une IA visuelle privée, sur site, sans envoyer leurs données à un fournisseur de services cloud. Les secteurs qui traitent de nombreux documents peuvent tester le tri automatisé des contrats, factures et déclarations de sinistre. Les fabricants peuvent mettre en place des postes d’inspection qualité associant vision et consignes en langage naturel pour les opérateurs. Les équipes du commerce et de la logistique peuvent utiliser l’ancrage visuel pour localiser des articles et vérifier des étiquettes dans les entrepôts. Les services clients peuvent enrichir leurs réponses aux conversations en analysant des graphiques intégrés ou des captures d’écran.

Les coûts comptent. De nombreuses organisations ne peuvent pas réserver des grappes de GPU de classe H100 pour une seule application. Un système qui fonctionne sur une seule carte de 80 Go réduit les obstacles au lancement de projets pilotes et aux premiers déploiements. L’association de l’ancrage visuel, de l’utilisation d’outils et de la compréhension vidéo se prête également aux processus de travail de type agent, dans lesquels le modèle lit, recherche, clique et raisonne en plusieurs étapes pour accomplir une tâche. Cette approche correspond à l’essor des agents capables d’utiliser un ordinateur et d’interagir avec des interfaces standard plutôt qu’avec des API personnalisées.

La course s’intensifie entre modèles ouverts et services propriétaires

Cette publication intervient lors d’une année riche en modèles ouverts. DeepSeek a présenté un très grand modèle de langage Mixture of Experts totalisant des centaines de milliards de paramètres, dont seulement quelques dizaines de milliards sont actifs par jeton. L’entreprise a fait état de bons résultats sur des tests généraux, pour une fraction du coût d’entraînement observé avec les systèmes propriétaires. Alibaba Marco o1 a misé sur le raisonnement, avec des techniques comme le réglage fin par chaîne de raisonnement et la planification guidée par la recherche pour traiter des tâches ouvertes sans récompense numérique clairement définie.

Les laboratoires chinois, dont Baidu et Alibaba, publient de plus en plus de modèles performants sous des licences permissives. L’accès ouvert permet aux développeurs de la région de concevoir des solutions en dépendant moins des services propriétaires. Il incite également les fournisseurs mondiaux à justifier leurs tarifs premium en démontrant des avantages concrets en matière de fiabilité, d’outils ou d’intégrations. Dans de nombreux domaines, l’écart de performances entre les modèles ouverts et propriétaires s’est réduit, notamment pour des tâches spécialisées comme l’analyse de graphiques et l’extraction de données de documents.

Limites et questions en suspens

Il existe des compromis. Pour obtenir les meilleurs résultats, le modèle de vision et de langage nécessite toujours un GPU de 80 Go, ce qui le rend inaccessible à de nombreux appareils grand public. La fenêtre de contexte est de 128 000 jetons : une capacité utile pour les longs PDF, mais qui reste limitée lorsqu’on y ajoute de nombreuses images, du texte issu de la reconnaissance optique de caractères (OCR) et des consignes. Le routage Mixture of Experts peut compliquer les déploiements à grande échelle, car les ingénieurs doivent surveiller l’équilibre entre experts et prévenir les pics de latence dus aux points de congestion du routage.

La sécurité reste un sujet majeur. Les systèmes d’analyse d’images peuvent être trompés par des motifs adverses ou des corrélations fallacieuses. Un modèle qui recadre et zoome activement doit éviter le biais de confirmation, qui l’amènerait à continuer d’examiner la mauvaise zone. Les entreprises s’attendront à disposer de journaux d’audit clairs pour chaque étape de la chaîne de raisonnement lorsque le modèle fonctionne en mode réflexion, ou au minimum de traces structurées des appels aux outils et des cadres de délimitation. Baidu affirme que le modèle a fait l’objet d’un apprentissage par renforcement multimodal et d’un alignement de l’ancrage visuel, mais des évaluations approfondies par des tiers seront nécessaires pour établir la confiance.

Points clés

• Baidu a publié ERNIE 4.5 VL 28B A3B Thinking, un modèle multimodal open source sous licence Apache 2.0 autorisant l’usage commercial.
• Le modèle affirme surpasser GPT-5 High et Gemini 2.5 Pro lors de tests exigeants en vision, sous réserve d’une validation indépendante.
• Il utilise une architecture Mixture of Experts et active environ 3 milliards de ses 28 milliards de paramètres par jeton afin de réduire les besoins en calcul et en mémoire.
• L’inférence peut s’effectuer sur un seul GPU de 80 Go, ce qui facilite les projets pilotes et les tests sur site.
• Parmi les principales nouveautés figurent « Thinking with Images », qui permet de zoomer et d’inspecter des images, un meilleur ancrage visuel et la compréhension vidéo.
• Ses six capacités principales couvrent le raisonnement visuel, les tâches STEM, l’ancrage visuel, l’utilisation d’outils, l’analyse vidéo et la planification dynamique de l’analyse d’images.
• L’entraînement comprend l’apprentissage par renforcement multimodal, les méthodes GSPO et IcePop et l’échantillonnage dynamique de la difficulté pour stabiliser le modèle Mixture of Experts.
• Les outils pour développeurs comprennent ERNIEKit, la compatibilité avec Transformers, vLLM et FastDeploy, ainsi qu’une page publique consacrée au modèle et un dépôt de code.
• Les applications possibles couvrent le traitement de documents, le contrôle qualité en usine, les opérations d’entrepôt et le service client.
• Les limites comprennent la nécessité d’un GPU de 80 Go, une fenêtre de contexte de 128 000 jetons, la complexité du routage Mixture of Experts et des questions encore ouvertes sur la robustesse et la sécurité.