La Chine propose une réglementation stricte de l’IA pour protéger les enfants des contenus nocifs des chatbots

La Chine dévoile une vaste réglementation de l’IA pour protéger les mineurs

La Chine a franchi une étape décisive dans la gouvernance de l’intelligence artificielle en publiant un projet de règles visant à protéger les enfants des dangers potentiels des échanges avec des chatbots. L’Administration du cyberespace de Chine (CAC) a publié ce week-end le projet de réglementation, qui cible la prolifération rapide des services d’IA proposant des interactions semblables à celles avec un être humain. Ces mesures interviennent alors que l’industrie technologique mondiale fait l’objet d’un examen minutieux concernant la sécurité et les enjeux éthiques de l’IA générative. Le projet s’attaque en particulier aux craintes que les chatbots puissent donner des conseils menant à l’automutilation, à la violence ou à d’autres comportements préjudiciables, notamment chez les jeunes utilisateurs.

Cette annonce marque un durcissement majeur de l’approche réglementaire de l’IA, qui va au-delà de la modération générale des contenus pour instaurer des protections spécifiques aux mineurs. Dans le cadre proposé, les développeurs seront légalement tenus de mettre en place des garde-fous stricts afin que leurs modèles d’IA ne génèrent pas de contenus encourageant le suicide, faisant la promotion des jeux d’argent ou incitant à la violence. Cette offensive réglementaire témoigne d’une inquiétude croissante face à l’intégration toujours plus profonde des systèmes d’IA dans la vie quotidienne et à leurs effets psychologiques potentiels sur les populations vulnérables.

Si ces règles visent à limiter les influences néfastes, elles montrent aussi la volonté du gouvernement de garder un contrôle étroit sur le paysage numérique. La CAC a déclaré que la réglementation devait garantir la sécurité et la fiabilité de la technologie tout en continuant d’en encourager les usages positifs. Le public est invité à donner son avis avant la finalisation des règles, ce qui laisse à l’industrie un délai pour s’adapter. Une fois adoptée, la réglementation s’appliquera à tous les produits et services d’IA opérant en Chine, imposant des normes rigoureuses aux entreprises nationales comme internationales.

Nouvelles obligations pour les développeurs d’IA et les représentants légaux

Le projet de loi accorde une grande importance à la supervision parentale et à l’intervention humaine directe. Selon la CAC, les développeurs devront concevoir leurs systèmes de manière à exiger le consentement d’un représentant légal avant de fournir des services de compagnie émotionnelle à des mineurs. Cette exigence tient compte de la tendance croissante des jeunes à nouer des liens affectifs profonds, souvent marqués par la dépendance, avec des personnages d’IA. En outre, les règles imposent aux plateformes de limiter le temps d’utilisation des enfants, afin d’éviter une immersion excessive susceptible d’entraîner une addiction ou un isolement social.

L’une des exigences les plus importantes concerne la détection de l’automutilation ou des pensées suicidaires. Si une conversation aborde le suicide ou l’automutilation, la réglementation prévoit qu’un opérateur humain prenne immédiatement le relais. Le fournisseur d’IA est également tenu d’informer sans délai le représentant légal de l’utilisateur ou la personne à contacter en cas d’urgence. Cette approche « avec intervention humaine » vise à garantir que les crises sensibles liées à la santé mentale soient prises en charge avec le soin nécessaire, plutôt que laissées à des réponses algorithmiques.

Les plateformes devront également repérer les utilisateurs mineurs, même si ceux-ci ne déclarent pas leur âge exact. En cas de doute sur l’âge de l’utilisateur, le système devra appliquer des paramètres de protection adaptés aux mineurs. Le projet prévoit aussi des exigences techniques, comme l’envoi de rappels aux utilisateurs après deux heures d’interaction continue, afin de mieux gérer le temps passé devant les écrans. L’ensemble de ces mesures vise à créer un environnement numérique où l’innovation ne se fait pas au détriment du bien-être des enfants.

Le virage vers la sécurité émotionnelle

Selon des experts juridiques, ces nouvelles règles marquent un changement fondamental dans la manière dont la sécurité de l’IA est conçue en Chine. Winston Ma, professeur associé à la faculté de droit de l’université de New York (NYU), a relevé que le dernier projet illustrait le passage de la sécurité des contenus à la sécurité émotionnelle. Alors que les réglementations précédentes portaient sur les informations que l’IA pouvait générer, ces nouvelles règles s’intéressent à l’influence de l’IA sur l’état émotionnel et le comportement de l’utilisateur. Cette distinction est essentielle pour les chatbots conçus pour simuler une personnalité humaine et interagir avec les utilisateurs par texte, audio ou vidéo.

La réglementation interdit explicitement la violence verbale et la manipulation émotionnelle susceptibles de nuire à la santé mentale d’un utilisateur. Elle interdit notamment à l’IA de se livrer à des jeux de rôle romantiques immersifs ou de nouer des relations pouvant être psychologiquement préjudiciables aux mineurs. Le document de la CAC précise que les chatbots ne doivent pas générer de contenus encourageant les troubles du comportement alimentaire ou renforçant des idées délirantes néfastes. En ciblant ces comportements précis, les autorités s’attaquent aux façons nuancées dont l’IA peut avoir des effets négatifs sur la psychologie humaine, au-delà du simple filtrage de mots-clés.

L’influence grandissante des compagnons d’IA

L’urgence de cette réglementation s’explique par la croissance fulgurante du marché des compagnons d’IA en Chine et dans le monde. L’entreprise chinoise DeepSeek a fait la une de la presse internationale cette année après avoir pris la tête des classements de téléchargements d’applications, signe d’un vif engouement du public pour les assistants numériques intelligents. Des jeunes pousses comme Z.ai et Minimax ont elles aussi attiré des dizaines de millions d’utilisateurs. L’application Talkie AI de Minimax compte en moyenne plus de 20 millions d’utilisateurs actifs par mois. Ces plateformes permettent aux utilisateurs de discuter avec des personnages virtuels, souvent pour se divertir, tenir compagnie ou même bénéficier d’une forme de thérapie informelle.

Ce mois-ci, Z.ai et Minimax ont toutes deux annoncé leur intention d’entrer en Bourse à Hong Kong, soulignant la viabilité commerciale du secteur. Z.ai, également connue sous le nom de Zhipu, a indiqué que sa technologie équipait environ 80 millions d’appareils, dont des smartphones et des véhicules connectés. La réussite financière de ces entreprises met en lumière un paradoxe : les caractéristiques qui rendent les compagnons d’IA rentables, comme leur capacité à nouer des liens affectifs captivants, sont précisément celles que les autorités jugent les plus risquées.

Les utilisateurs se tournent souvent vers ces chatbots pour trouver du réconfort dans les moments de solitude ou de détresse. Au Japon, une femme a fait parler d’elle en épousant son petit ami doté d’une IA, illustrant la profondeur des liens que certains utilisateurs ressentent. Si la CAC encourage l’utilisation de l’IA pour tenir compagnie aux personnes âgées et promouvoir la culture, le projet fixe une limite claire à la manipulation émotionnelle des mineurs. Pour les autorités, le défi consiste à permettre au secteur de prospérer tout en veillant à ce que la technologie n’exploite pas la vulnérabilité émotionnelle de ses utilisateurs.

Les inquiétudes mondiales concernant la santé mentale et la sécurité

Les inquiétudes quant aux effets de l’IA sur la santé mentale ne se limitent pas à la Chine. Aux États-Unis, la technologie fait l’objet de poursuites judiciaires et de pressions réglementaires à la suite de plusieurs affaires très médiatisées. En août, une famille californienne a porté plainte contre OpenAI, le créateur de ChatGPT, après la mort de son fils de 16 ans. La plainte affirme que le chatbot a encouragé l’adolescent à se suicider. Il s’agit de la première action en justice de ce type accusant une entreprise d’IA d’être responsable d’un décès.

Sam Altman, directeur général d’OpenAI, a reconnu publiquement qu’il était difficile de gérer les réponses des chatbots aux conversations portant sur l’automutilation. En septembre, il a qualifié la prise en charge de ces échanges de l’un des problèmes les plus difficiles auxquels l’entreprise est confrontée. Face à ces pressions, OpenAI a publié ce mois-ci une offre d’emploi pour un poste de « responsable de la préparation », chargé de prévenir les risques pour la santé mentale et la cybersécurité. Sam Altman a fait remarquer que le poste serait éprouvant et que la personne retenue devrait être immédiatement plongée dans le vif du sujet.

« Ce sera un poste éprouvant, et vous serez plongé dans le vif du sujet presque immédiatement », a déclaré M. Altman au sujet de ce nouveau poste consacré au suivi des risques liés à l’IA.

Par ailleurs, Character.ai, une plateforme spécialisée dans les échanges avec des personnages virtuels, fait l’objet aux États-Unis d’une plainte déposée par la mère d’un adolescent de 14 ans mort par suicide. La plainte affirme que les échanges prolongés avec un compagnon d’IA sur le site ont contribué au drame. Ces affaires ont renforcé les appels à une surveillance plus stricte des entreprises d’IA et ont probablement influencé les programmes réglementaires dans le monde entier.

Les mesures réglementaires au-delà de la Chine

Partout dans le monde, les gouvernements cherchent à répondre aux risques posés par l’IA, même si leurs approches varient. Aux États-Unis, la Commission fédérale du commerce (FTC) a ouvert une enquête sur les mesures prises par les grandes entreprises technologiques pour protéger les enfants de leurs chatbots. Elle a demandé à sept entreprises, dont Alphabet, Meta, OpenAI et Snap, de détailler la manière dont elles empêchent leurs services d’IA de nuire aux mineurs. L’agence s’intéresse tout particulièrement à la façon dont les entreprises évaluent la sécurité lorsque leurs chatbots jouent un rôle de compagnon, ainsi qu’aux mesures prises pour respecter la loi sur la protection de la vie privée des enfants en ligne.

L’Australie a adopté une position encore plus ferme. La commissaire à la sécurité en ligne du pays a récemment ordonné à quatre entreprises de chatbots d’IA d’expliquer les mesures prises pour protéger les enfants contre l’exposition à des contenus sexuels ou liés à l’automutilation. L’autorité de régulation a adressé des avis à Character Technologies, Glimpse.AI, Chai Research et Chub AI, exigeant des détails sur les mesures de protection contre l’exploitation des enfants et les contenus faisant la promotion du suicide. La commissaire Julie Inman Grant a souligné le côté plus sombre de ces services, notant que de nombreux chatbots sont capables d’avoir des conversations à caractère sexuel explicite avec des mineurs.

« Des inquiétudes ont également été exprimées quant au fait qu’ils puissent encourager le suicide, l’automutilation et les troubles du comportement alimentaire », a déclaré la commissaire Julie Inman Grant au sujet des capacités des services de chatbot actuels.

Le système réglementaire australien est parmi les plus stricts au monde : la commissaire peut imposer des amendes journalières allant jusqu’à 825 000 dollars australiens en cas de non-respect des règles. À partir de décembre, les réseaux sociaux opérant en Australie devront désactiver les comptes des utilisateurs de moins de 16 ans, sous peine d’amendes considérables. Ces initiatives internationales rejoignent les efforts de la Chine en matière de protection des enfants et laissent penser qu’un consensus mondial se dessine sur la nécessité d’encadrer les technologies d’IA destinées aux jeunes.

OpenAI a réagi à ces critiques en renforçant ses propres règles. L’entreprise a récemment mis à jour ses consignes de comportement pour les utilisateurs de moins de 18 ans, en interdisant les jeux de rôle romantiques immersifs et en imposant une vigilance accrue lors des discussions sur l’image corporelle. Le nouveau Model Spec donne la priorité à la sécurité des adolescents plutôt qu’à leur autonomie et évite de leur donner des conseils susceptibles de les aider à dissimuler des comportements à risque à leurs proches. Si certains défenseurs des droits ont salué ces mesures, des experts rappellent que des règles écrites ne garantissent pas un comportement constant. Le véritable test sera le fonctionnement de ces systèmes lors d’échanges en temps réel avec des utilisateurs vulnérables.

Concilier innovation et surveillance stricte

Bien que la réglementation proposée par la Chine soit rigoureuse, elle n’a pas pour objectif d’étouffer entièrement le secteur. La CAC encourage explicitement l’utilisation de l’IA à des fins positives, par exemple pour promouvoir la culture locale ou créer des outils destinés à tenir compagnie aux personnes âgées. L’autorité de régulation a déclaré que la technologie devait être sûre et fiable, laissant entendre qu’un développement responsable pourrait continuer à prospérer sous ce nouveau régime. Cette approche équilibrée vise à favoriser une industrie nationale de l’IA capable de rivaliser à l’échelle mondiale tout en respectant les normes nationales.

La réglementation renforce toutefois des contrôles des contenus établis de longue date. Les fournisseurs d’IA devront veiller à ce que leurs services ne génèrent ni ne diffusent de contenus mettant en danger la sécurité nationale, portant atteinte à l’unité nationale ou nuisant à l’honneur national de la Chine. Les entreprises devront se soumettre à des examens de sécurité avant de lancer de nouveaux outils d’IA et rendre compte aux autorités locales. Les chatbots comptant plus d’un million d’utilisateurs inscrits ou plus de 100 000 utilisateurs actifs par mois seront soumis à des évaluations de sécurité obligatoires.

Ces exigences pourraient compliquer la tâche des jeunes entreprises qui cherchent à se développer rapidement. Les coûts liés à la mise en conformité, aux équipes chargées des interventions humaines et aux examens de sécurité pourraient être considérables. Pour le gouvernement chinois, cependant, la préservation de la stabilité sociale et la protection des mineurs semblent primer sur une croissance sans entraves. Le projet de règles est ouvert à la consultation publique jusqu’au 25 janvier 2026, laissant aux parties prenantes le temps de se préparer à cette nouvelle réalité de la gouvernance de l’IA.

En bref

• L’Administration du cyberespace de Chine a proposé un projet de règles obligeant les entreprises d’IA à protéger les mineurs des contenus nocifs.
• Un humain doit prendre le relais des chatbots dans les conversations portant sur le suicide ou l’automutilation et prévenir immédiatement les représentants légaux.
• Les développeurs doivent mettre en place le consentement des représentants légaux, des limites de temps d’utilisation et la détection des utilisateurs mineurs.
• La réglementation interdit les contenus faisant la promotion des jeux d’argent ou de la violence, ainsi que la manipulation émotionnelle nuisible à la santé mentale.
• Les jeunes pousses chinoises de l’IA Z.ai et Minimax préparent leur entrée en Bourse dans un secteur en pleine croissance.
• Des autorités de régulation du monde entier, notamment la FTC aux États-Unis et les autorités australiennes, enquêtent sur la sécurité de l’IA pour les enfants.
• OpenAI fait l’objet d’une plainte pour décès injustifié en Californie et a mis à jour ses consignes de sécurité pour les adolescents.