DeepSeek OCR compresse le texte en images pour réduire les coûts de l’IA et étendre son contexte

Une nouvelle façon de faire tenir de longs documents dans le contexte d’une IA

DeepSeek a publié DeepSeek-OCR, un système de vision-langage qui compresse de longs passages de texte en les convertissant en images, puis en restitue le contenu lorsque le modèle en a besoin. Selon les paramètres et le type de document, cette approche réduit d’un facteur de sept à vingt le nombre de jetons qu’un grand modèle de langage doit traiter, tout en conservant une grande précision à des niveaux de compression modérés. DeepSeek indique que le système atteint une précision de décodage d’environ 97 % avec un taux de compression proche de dix, et fournit encore des résultats utiles à des taux plus élevés. Le projet, qui comprend le code et les poids du modèle, est accessible aux développeurs et s’attaque à l’un des principaux postes de coût de l’IA moderne : le traitement de longs contextes à un coût raisonnable.

Le système fonctionne en deux étapes. Un encodeur visuel appelé DeepEncoder convertit les pages de texte, les tableaux, les graphiques et d’autres mises en page en un ensemble compact de jetons visuels. Un modèle de langage léger, DeepSeek3B MoE A570M, décode ensuite ces jetons pour retrouver un texte structuré. Cette configuration préserve les mises en page et le formatage lorsque c’est nécessaire, prend en charge de nombreuses langues et peut produire du texte brut ou des résultats structurés, comme des tableaux Markdown.

L’intérêt de cette approche tient aux jetons, les unités de base que les modèles de langage lisent et écrivent. Plus leur nombre augmente, plus la mémoire utilisée et la latence progressent, ce qui alourdit les coûts. Les modèles sont également soumis à des limites strictes quant à la quantité de contexte qu’ils peuvent traiter en une seule fois. En stockant le contexte sous forme d’images et en le réexaminant au moyen de jetons visuels, DeepSeek-OCR propose une mémoire moins coûteuse pour les longues sessions et les documents volumineux, avec la possibilité d’étendre considérablement la fenêtre de contexte effective au-delà de ce que permet le texte seul.

Le passage à l’échelle est au cœur des promesses du projet. L’entraînement a utilisé environ 30 millions de pages PDF dans près de 100 langues, ainsi que des données synthétiques supplémentaires portant sur les graphiques, les formules et les figures. Côté exploitation, l’équipe affirme qu’un seul GPU Nvidia A100 peut traiter plus de 200 000 pages par jour. Un cluster de 20 serveurs similaires peut atteindre environ 33 millions de pages par jour. Ces chiffres laissent entrevoir des chaînes de traitement rapides pour la numérisation de documents et la génération de données d’entraînement à grande échelle.

Comment la conversion du texte en images réduit le nombre de jetons

Les modèles de langage lisent les entrées sous forme de jetons, et non de mots ou de caractères. Un article ou un rapport classique peut ainsi être converti en milliers de jetons. Les mécanismes d’attention de la plupart des transformeurs comparent de nombreuses paires de jetons, et cette charge augmente rapidement avec la longueur des séquences. Les longs contextes font grimper les besoins en mémoire et en temps de traitement, ce qui finit par peser sur le budget à grande échelle.

Que sont les jetons et les fenêtres de contexte ?

Les jetons sont des fragments de langage que les modèles peuvent comprendre. Un mot court peut correspondre à un seul jeton, tandis qu’un mot plus long peut être découpé en plusieurs ; la ponctuation compte elle aussi. Le nombre maximal de jetons que le modèle peut prendre en compte à la fois constitue sa fenêtre de contexte. De nombreux fichiers réels dépassent cette limite : les utilisateurs doivent alors tronquer les documents ou payer cher pour accéder à des modèles spécialisés dans les longs contextes.

Pourquoi les pixels peuvent coûter moins cher à stocker que le texte

Les encodeurs visuels transforment une image en une grille plus petite de blocs, puis compressent cette grille en un ensemble de jetons visuels. L’encodeur de DeepSeek utilise un bloc de compression pour réduire leur nombre avant de transmettre les caractéristiques au décodeur. Les notes techniques donnent l’exemple d’une image de 1 024 sur 1 024 pixels, qui compterait au départ 4 096 jetons de blocs, puis serait ramenée à 256 jetons compressés avant d’être transmise à la chaîne de traitement vision-langage. Si ces 256 jetons restituent l’essentiel d’une page dense qui aurait autrement nécessité 1 500 jetons de texte ou plus, le gain est immédiat.

Le principe est simple : au lieu de stocker un long contexte sous forme de jetons textuels, le système en conserve des instantanés sous forme de jetons visuels compacts, puis en reconstitue le sens à la demande. Cela permet de maîtriser les besoins en mémoire, contribue à préserver la mise en page et les diagrammes, et évite certains défauts des tokeniseurs textuels. En contrepartie, il faut ajouter des étapes d’encodage et de décodage, et accepter une perte progressive de précision lorsque les taux de compression sont très élevés.

Au cœur du modèle : DeepEncoder et le décodeur

DeepEncoder associe deux approches bien connues : la perception locale et la compréhension globale. Il utilise une architecture de type Segment Anything Model pour repérer finement les régions et les contours, ainsi qu’un module de type CLIP pour appréhender la structure sémantique générale. Entre les deux, un compresseur convolutionnel réduit fortement le nombre de jetons visuels avant leur transmission au modèle de langage. L’encodeur prend en charge plusieurs modes de résolution, afin que les utilisateurs puissent définir un budget de jetons adapté à la complexité de chaque page. Des diapositives simples peuvent se contenter de quelques jetons. Les pages de journaux très chargées ou les figures scientifiques denses peuvent en demander davantage.

Le décodeur est un modèle de langage à mélange d’experts, conçu autour de trois milliards de paramètres, dont environ 570 millions sont actifs pour chaque jeton. L’aiguillage entre les experts permet au modèle de se concentrer sur différents types de contenu sans mobiliser les trois milliards de paramètres pour chaque jeton. Le calcul nécessaire est ainsi réduit sans sacrifier la qualité. Le système peut produire du texte brut, en préserver la structure au format Markdown et même extraire des données de tableaux et de graphiques dans des formats adaptés au traitement informatique. Il prend en charge la reconnaissance optique de caractères multilingue et peut interpréter des diagrammes, des structures chimiques et des figures géométriques.

Les configurations prédéfinies comprennent les modes Tiny, Small, Base et Large, ainsi qu’un mode dynamique pour les pages très complexes. Ces modes équilibrent la taille de l’image et le nombre de jetons. DeepSeek recommande de commencer par Small pour les pages courantes, puis de passer à un mode supérieur uniquement lorsque le contenu est dense ou la mise en page difficile.

Ce que montrent les tests et les chiffres de précision

La compression n’est utile que si le décodeur peut restituer le texte avec une grande fidélité. Pour des taux de compression inférieurs à dix, DeepSeek fait état d’une précision d’environ 97 % lors des tests de décodage. Elle tombe à environ 60 % autour d’un taux de vingt. L’équipe présente aussi des exemples où 100 jetons visuels représentent des documents qui auraient nécessité 700 à 800 jetons de texte, avec une précision toujours proche de 97 % sur un test ciblé. Ces chiffres confortent l’idée qu’une compression modérée offre le meilleur compromis entre économies et précision.

Sur OmniDocBench, un test courant de compréhension des documents, le modèle surpasse des systèmes de reconnaissance optique de caractères bien connus tout en utilisant moins de jetons. Les besoins varient selon la catégorie de document. Les diapositives et les brochures simples peuvent nécessiter environ 64 jetons visuels par page. Les magazines ou les journaux comportant de nombreuses colonnes et images peuvent en demander plusieurs centaines. Selon les paramètres choisis, le système peut préserver le formatage ou le supprimer.

Les indicateurs opérationnels annoncés sont ambitieux. L’équipe évoque plus de 200 000 pages traitées par jour sur une seule carte Nvidia A100, et environ 33 millions de pages par jour sur un cluster de 20 serveurs. Le code d’entraînement et d’inférence, ainsi que les poids du modèle, sont disponibles sous une licence permissive. Cette combinaison favorise l’expérimentation rapide dans les environnements de recherche comme en production.

Ce que cela pourrait changer pour les coûts, la mémoire et la conception des produits d’IA

De nombreux produits d’IA atteignent leurs limites lorsque les conversations ou les chaînes de documents s’allongent. Stocker les éléments antérieurs du contexte sous forme de jetons visuels fournit aux modèles une mémoire moins coûteuse. Un système peut résumer ou compresser les échanges précédents en images, puis n’en décoder les détails qu’en cas de besoin. Le contexte textuel actif reste ainsi léger, tout en préservant la possibilité de retrouver des faits, des citations et des mises en page des étapes précédentes. Cette méthode aide aussi les modèles à traiter des pages contenant des tableaux complexes ou des formules mathématiques que les tokeniseurs traditionnels gèrent mal.

Pour les utilisateurs, cela ouvre la voie à des usages concrets. Un assistant peut ingérer des PDF complets, des contrats et des feuilles de calcul, en conserver une représentation compacte, puis restituer à la demande des sections précises avec leur structure. Copier des lignes d’un tableau ou extraire la légende d’une figure devient plus simple, car le décodeur reconstitue la structure et pas seulement les caractères bruts. Cela laisse également entrevoir des outils de recherche en entreprise plus efficaces, capables d’indexer des instantanés de pages compressés puis d’en décoder des extraits à la demande.

Pour les développeurs et les chercheurs, le débit de traitement compte. Le système peut générer de vastes corpus d’entraînement pour les modèles de langage et de vision, à raison de plusieurs centaines de milliers de pages par GPU et par jour. Cette rapidité aide à produire des données d’apprentissage supervisé à moindre coût. Les secteurs qui s’appuient sur des graphiques et des formulaires, comme la finance, la santé et la recherche scientifique, pourraient bénéficier de chaînes de numérisation plus rapides et préservant mieux la structure des documents. Il faut toutefois rester vigilant lorsque des résultats compressés servent à de futurs entraînements : à grande échelle, de petites erreurs de décodage peuvent produire des étiquettes bruitées.

Limites, risques et questions en suspens

Une compression plus forte réduit le budget de jetons, mais diminue la fidélité. Autour d’un taux de compression de vingt, la précision annoncée tombe à environ 60 %. De nombreuses tâches tolèrent de petites erreurs. D’autres, notamment celles qui portent sur des noms, des chiffres ou des clauses juridiques, exigent une restitution presque parfaite. Les utilisateurs devront définir des règles pour traiter les pages critiques avec des modes de compression moins poussés et réserver la compression agressive aux contenus qui ne nécessitent pas une reproduction exacte.

La question du raisonnement se pose aussi. Les modèles raisonnent efficacement à partir de jetons textuels, car ils ont été entraînés de cette manière. Les jetons visuels reposent sur des biais inductifs différents. Le décodeur doit d’abord reconstituer le texte, puis raisonner. Cette étape supplémentaire pourrait affecter les tâches qui s’appuient sur de longues chaînes de raisonnement. Les équipes devront tester le raisonnement en plusieurs étapes lorsque des éléments importants du contexte se trouvent derrière la couche d’images, et envisager des solutions de repli pour les tâches exigeant une grande précision.

La latence et la planification de l’infrastructure restent à prendre en compte. Les étapes d’encodage et de décodage supplémentaires ajoutent du travail. Les économies se font sentir lorsque les documents ou les conversations deviennent volumineux. Les déploiements devraient évaluer le temps d’exécution réel, l’usage de la mémoire et les coûts sur plusieurs types de documents, afin de déterminer quand compresser et quand transmettre le texte brut. Les formats de stockage changent eux aussi : les images ou les tenseurs de type image remplacent les fichiers texte bruts, ce qui peut avoir des conséquences sur les systèmes de recherche et les procédures de conformité.

La confidentialité et la sécurité méritent une attention particulière. Convertir des fichiers sensibles en images ou en jetons visuels ne supprime pas les risques. Les contrôles d’accès, le chiffrement et les pistes d’audit doivent également s’appliquer aux données compressées. Certains documents, comme les scans en basse résolution ou les textes manuscrits difficiles à lire, continueront de mettre le modèle à l’épreuve. Pour les processus critiques, il reste prudent de sélectionner dynamiquement le mode de traitement et de prévoir une vérification humaine.

Comment essayer DeepSeek OCR dès aujourd’hui

La page du projet sur Hugging Face propose les fiches des modèles, des instructions de démarrage rapide et des téléchargements. Le code et les poids sont également disponibles sur GitHub sous une licence permissive couvrant les usages universitaires et commerciaux. Les développeurs peuvent commencer ici : page du modèle sur Hugging Face et ici : dépôt GitHub.

La configuration de référence indique Python 3.12.9 et CUDA 11.8, avec des dépendances comprenant PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict et Flash Attention. Un GPU Nvidia est recommandé pour accélérer le traitement. Les modes prédéfinis permettent d’arbitrer entre niveau de détail et coût. Pour les documents professionnels courants, le mode Small constitue un bon point de départ. Les pages scientifiques ou juridiques denses peuvent bénéficier d’une résolution plus élevée ou du mode dynamique.

Dans un processus classique, un PDF est converti en images page par page, puis chaque page est transmise à DeepEncoder avec la résolution choisie. Le modèle de langage décode ensuite les jetons visuels obtenus. Les résultats peuvent être produits en texte brut pour la recherche ou au format Markdown pour préserver les tableaux et les titres de section. Le dépôt GitHub comprend des scripts de traitement par lots et des conseils pour améliorer le débit. Les équipes devraient surveiller la précision lorsqu’elles augmentent le taux de compression et conserver des paramètres prudents pour les pages critiques.

Points clés

• DeepSeek-OCR compresse les longs textes en les stockant sous forme d’images, puis en restitue le contenu à la demande grâce à un décodeur.
• Selon les paramètres et la complexité des documents, le nombre de jetons est réduit d’un facteur d’environ sept à vingt.
• La précision de décodage annoncée est d’environ 97 % avec un taux de compression proche de dix, et d’environ 60 % autour d’un taux de vingt.
• L’architecture associe DeepEncoder à un décodeur à mélange d’experts qui active environ 570 millions de paramètres par jeton.
• Les modes vont de Tiny à Large, avec une option dynamique pour les pages très complexes, afin de permettre aux utilisateurs de définir un budget de jetons précis.
• Les tests montrent de solides résultats sur OmniDocBench, avec moins de jetons que les systèmes de reconnaissance optique de caractères de référence les plus répandus.
• Le débit annoncé dépasse 200 000 pages par jour sur un seul GPU Nvidia A100 et atteint environ 33 millions de pages par jour sur un cluster de 20 serveurs.
• Les résultats structurés comprennent des tableaux Markdown et des données de graphiques ; le système prend également en charge les diagrammes, les formules et de nombreuses langues.
• Le code source ouvert et les poids sont disponibles sur Hugging Face et GitHub sous une licence permissive.
• Les principaux cas d’usage comprennent la gestion moins coûteuse des longs contextes, la numérisation de documents à grande échelle et la génération de données d’entraînement ; les tâches exigeant une grande précision nécessitent des paramètres prudents.