Six robots humanoïdes d’AgiBot accomplissent 1 730 tâches lors d’un essai de 24 heures dans un magasin de Shanghai

Une journée complète au comptoir, avec quatre robots reçus

Six robots humanoïdes AgiBot G2 ont accompli 1 730 tâches lors d’un essai de 24 heures dans une supérette en activité du district de Xuhui, à Shanghai. Ils ont servi les clients pendant le déjeuner, la soirée, la nuit et le petit-déjeuner. Quatre des six robots ont réussi l’évaluation de fin de période probatoire, qui portait sur l’accomplissement des tâches, la rapidité de réponse, la gestion des situations imprévues et les retours des clients.

Le défi s’est déroulé du 2 novembre à 10 h au 3 novembre à 10 h. Chaque robot avait une mission fixe, allant de l’accueil des clients et de la récupération des produits à la préparation du café et au nettoyage des tables. AgiBot indique que la diffusion en direct a attiré plus de 2 millions de spectateurs en ligne.

Selon le décompte final de l’entreprise, la mission la plus sollicitée était l’accueil des clients, avec 683 interactions. Les robots ont également effectué 369 récupérations et livraisons d’articles, préparé 147 cafés et 126 petits-déjeuners, réapprovisionné les rayons et vérifié les étagères à 277 reprises, et nettoyé 128 tables.

L’essai a réuni plusieurs problèmes complexes dans un même lieu : comprendre ce que souhaite un client, trouver le bon produit, manipuler les objets avec précaution et se déplacer parmi les personnes. Des testeurs invités ont volontairement déplacé des produits et bloqué des passages, tandis que le magasin continuait à accueillir sa clientèle.

AgiBot a décrit l’essai comme une opération sans intervention humaine, c’est-à-dire sans démonstration humaine ni réglage manuel dans le magasin. Les résultats publiés ne donnent toutefois pas encore une image complète des performances : l’entreprise a communiqué les nombres de tâches effectuées et les taux de réussite lors du déploiement précédant la diffusion en direct, mais n’a publié ni taux de réussite pour l’essai de 24 heures ni chiffres sur les interventions humaines.

Comment les six robots se sont réparti le travail

Un robot accueillait les clients à l’entrée. Deux autres s’occupaient de préparer les commandes, de réapprovisionner les rayons et de vérifier les étagères. Un quatrième préparait le café, un cinquième travaillait à la caisse et s’occupait des plats chauds, et le sixième nettoyait les tables.

Les missions fixes correspondaient à des charges de travail différentes. Accueillir un client ne demande pas la même succession d’actions que préparer une boisson ou emballer un aliment. Même dans le cadre d’une mission donnée, un robot pouvait être confronté à des demandes changeantes, à des produits mal rangés ou à une allée occupée par un client.

L’accueil des clients et la récupération des articles représentaient ensemble 1 052 des 1 730 tâches accomplies, soit environ 61 %. Ce chiffre donne une idée des domaines où s’est concentrée une grande partie de l’activité, même si les décomptes accordent le même poids à des tâches pouvant demander des durées et des efforts très différents.

Le décompte complet était le suivant :

• Accueil des clients : 683.
• Récupérations et livraisons d’articles : 369.
• Préparation de cafés : 147.
• Service des petits-déjeuners : 126.
• Réapprovisionnement et vérification des étagères : 277.
• Nettoyage des tables : 128.

Pour les six robots, le total équivaut à environ 72 tâches accomplies par heure pour l’ensemble de l’équipe. La demande réelle a varié au fil des périodes de forte affluence et des heures plus calmes de la nuit.

Les clients et les testeurs ont fait varier les conditions

Des testeurs invités ont mis les robots à l’épreuve avec des situations qui exigeaient davantage que de se souvenir de l’emplacement habituel des produits. Ils ont mélangé des canettes de cola classique et sans sucre, puis demandé précisément la version sans sucre. Ils ont également bouleversé un rayon entier de chewing-gums.

Selon les informations communiquées, les robots ont combiné la demande orale concernant la boisson à des vérifications visuelles pour identifier le bon cola. Pour les chewing-gums, ils ont compté les produits visuellement en remettant le rayon en ordre, au lieu de se fier aux emplacements indiqués par les étiquettes de prix.

Ces deux tests portaient sur un problème courant dans le commerce : la disposition réelle des produits peut différer de celle à laquelle un employé s’attend. Un client peut remettre un article au mauvais endroit, et des emballages similaires peuvent rendre deux produits presque impossibles à distinguer.

Les testeurs se sont également placés dans les allées et ont déposé des cartons sur la trajectoire des robots. Selon les informations communiquées, les machines se sont arrêtées et ont choisi de nouveaux itinéraires pour contourner les obstacles. Dans un magasin en activité, déplacement et service sont liés : accéder à un rayon sans danger fait partie de l’exécution de la demande du client.

Pourquoi un petit pain ou une porte de congélateur pose problème

Ren Guanghui, vice-président du centre de recherche en robotique incarnée d’AgiBot, a expliqué que les supérettes sont des environnements exigeants, car elles contiennent de nombreux types de produits et d’outils à utiliser, et que les demandes des clients sont variées. Une tâche en usine peut se dérouler dans un environnement plus stable, avec une gamme plus restreinte d’objets et de mouvements.

Emballer un petit pain illustre cette difficulté. Le robot doit utiliser une pince, saisir l’aliment et ouvrir un sac en papier. Chaque étape modifie la position des objets et l’espace disponible pour le mouvement suivant. Réussir à saisir l’aliment n’est qu’une partie de l’exécution de la commande.

L’ouverture d’un congélateur a posé une autre série de problèmes pendant le développement. Le robot devait comprendre dans quel sens s’ouvrait la porte et quelle force exercer. Il devait ensuite coordonner ses deux bras, en tenant la porte d’une main tout en récupérant un produit de l’autre.

Ren a expliqué que les capteurs placés sur la tête et les poignets, ainsi que les capteurs de force sur les bras, aident le robot à évaluer ses mouvements. La détection de la force permet à la machine de mesurer l’intensité de sa poussée ou de sa traction, et ainsi d’éviter un choc trop violent ou d’endommager la porte.

Certaines des tâches les plus difficiles concernaient des produits qui se plient, bougent ou se cassent facilement. Suspendre des sachets de bonbons à des crochets et ramasser un gâteau moelleux sans l’écraser restaient difficiles, et les robots ont parfois échoué. Ces exemples montrent pourquoi un essai en magasin doit évaluer la qualité de la manipulation autant que le nombre de tâches effectuées.

Le logiciel qui relie décisions et mouvements

Les six robots étaient coordonnés par Genie Master, le cadre d’agents incarnés d’AgiBot. L’entreprise affirme que son protocole d’exécution incarnée relie les décisions liées aux tâches, les mouvements physiques et les retours sur le résultat obtenu.

En termes simples, l’intelligence incarnée est une intelligence artificielle qui agit au moyen d’une machine physique. Un robot en magasin doit traduire une demande en mouvements, puis utiliser ses capteurs pour vérifier le résultat. Demander une boisson fixe un objectif ; trouver le bon récipient, le saisir et le livrer nécessite une succession d’actions physiques.

AgiBot affirme que son système analyse chaque jour les essais réussis et échoués, enregistre les expériences utiles dans une mémoire à long terme et transforme les tentatives corrigées en données d’entraînement. Ces données consistent en exemples que le système peut utiliser pour améliorer son comportement par la suite.

Ren a indiqué que le système de commande avait d’abord rencontré des commandes qui échouaient, des mises à jour de statut non enregistrées et des conflits concernant la position des robots. Les problèmes de coordination du flux de travail ont été examinés le jour même, et des changements ont été appliqués dès le lendemain sans modifier le modèle lui-même.

Les robots s’entraînaient aussi pendant les heures creuses. Ren a expliqué qu’ils se rendaient aux rayons la nuit, durant les périodes d’inactivité, pour s’exercer à des tâches plus difficiles. Le magasin servait ainsi à la fois de lieu de travail et de cadre pour poursuivre l’entraînement, les tâches continuant en dehors des périodes de plus forte affluence.

La description de l’entreprise relie plusieurs aspects du développement robotique souvent présentés séparément : choisir une action, l’exécuter et tirer des enseignements du résultat. La supérette les a réunis au sein d’un seul déploiement, où une erreur à une étape pouvait affecter le reste d’une commande.

Ce qu’évaluait le bilan et ce qui manque encore

Quatre robots ont réussi l’évaluation de fin de période probatoire, qui portait sur l’accomplissement des tâches, la rapidité de réponse, la gestion des imprévus et les retours des clients. Deux ont échoué. Les résultats individuels de ces deux robots et les raisons de leur échec ne sont pas précisés dans les informations publiées. Il manque également les taux de réussite de l’essai de 24 heures et les chiffres sur les interventions humaines.

Lors du déploiement en supérette précédant la diffusion en direct, les robots G2 équipés de GO-3 Preview ont fait progresser leur taux de réussite sur l’ensemble du flux de travail, de 28,6 % le premier jour à un niveau stable de 85,7 % au cinquième jour. Leur taux de réussite pour les tâches individuelles dépassait de 17,7 points de pourcentage celui obtenu avec un réglage fin supervisé classique, ou SFT. Ces chiffres concernent le déploiement précédant la diffusion en direct, et non l’essai de 24 heures lui-même.

Ren a indiqué que l’entreprise suivrait un ensemble plus large d’indicateurs : taux de réussite des tâches, réussite dès la première tentative, temps de réponse, durée totale entre la demande et son exécution, nombre de livraisons satisfaisantes par unité de temps, fréquence des interventions humaines, temps de reprise et disponibilité du système.

Ces indicateurs répondent à différentes questions pratiques. La réussite dès la première tentative indique si le robot accomplit correctement une tâche immédiatement. Le temps de reprise mesure le temps nécessaire pour reprendre une activité utile après un problème. La disponibilité du système indique quelle part de la période de fonctionnement prévue l’équipement est prêt à être utilisé.

Ces précisions sont nécessaires à un exploitant de magasin, car une livraison accomplie peut résulter d’une action rapide et fluide ou de plusieurs tentatives. De même, un robot qui répond promptement mais met longtemps à terminer une commande ne propose pas la même expérience client qu’un robot qui exécute rapidement toute la séquence.

Le décompte final d’AgiBot indique le volume d’activité accompli. Des indicateurs de performance plus complets permettraient à un magasin d’évaluer la régularité avec laquelle les machines peuvent servir les clients, l’assistance dont elles ont besoin et leur capacité à se rétablir lorsqu’un problème survient.

Des lancements de produits à un service de nuit

Le défi en supérette a conclu la série de présentations AI WAVE d’AgiBot, lancée le 22 octobre. Cette série a réuni les jeux de données, la plateforme de simulation, les modèles et le matériel robotique de l’entreprise dans le cadre d’un déploiement en conditions réelles.

Les principales étapes étaient les suivantes :

• 22 octobre : AgiBot lance sa série de présentations AI WAVE.
• 2 novembre, 10 h : les six robots commencent le défi dans une supérette du district de Xuhui, à Shanghai.
• Du 2 au 3 novembre : l’équipe travaille pendant les pics du déjeuner et de la soirée, assure le service de nuit puis celui du matin.
• 3 novembre, 10 h : l’essai prend fin. AgiBot annonce 1 730 tâches accomplies et quatre robots reçus à l’évaluation.

Ren a indiqué que le travail de nuit constituait un domaine pratique exploré par l’entreprise. Les magasins ouverts 24 heures sur 24 ont besoin de personnel à des horaires qui perturbent le sommeil habituel, alors que certaines tâches répétitives exigent une attention soutenue pendant de longues périodes.

AgiBot étudie également le remplacement autonome des batteries pour permettre un fonctionnement prolongé. Un robot pourrait ainsi échanger une batterie déchargée contre une batterie pleine et reprendre le travail. Cette approche s’inscrit dans les projets annoncés par l’entreprise pour assurer de longues périodes de service.

Ce que l’essai implique pour le travail en magasin

Le déploiement de Shanghai a confié aux robots plusieurs missions de service liées entre elles, tandis que les clients continuaient à faire leurs achats. Le principal enseignement pratique tient à l’étendue des tâches tentées : échanger avec les clients, distinguer les produits, manipuler des aliments, utiliser des équipements, circuler dans les allées et nettoyer les surfaces communes.

Les difficultés rencontrées sont tout aussi concrètes. Un gâteau moelleux doit être saisi délicatement. Une porte de congélateur exige une force maîtrisée et une bonne coordination des bras. Un produit mal rangé nécessite une nouvelle vérification visuelle. Chacune de ces actions est simple pour un employé expérimenté, mais exige la coopération de plusieurs capacités robotiques.

Pour un distributeur qui envisage d’utiliser des équipements similaires, les questions essentielles sont la fiabilité pendant toute la durée d’un service, la qualité du service aux heures de pointe et le niveau d’assistance humaine nécessaire. AgiBot a publié un décompte substantiel de l’activité et un bilan mitigé de l’évaluation probatoire. Les indicateurs de performance envisagés par l’entreprise apporteraient les précisions nécessaires pour évaluer l’utilisation courante de ces robots en magasin.

À retenir

• Six robots humanoïdes AgiBot G2 ont travaillé du 2 au 3 novembre dans une supérette en activité du district de Xuhui, à Shanghai.
• AgiBot a annoncé 1 730 tâches accomplies, dont 683 accueils de clients, 369 récupérations et livraisons d’articles et 147 cafés préparés.
• Quatre robots ont réussi l’évaluation probatoire de l’événement ; deux ont échoué.
• Les testeurs ont déplacé des produits et bloqué des allées pour évaluer la reconnaissance des produits, le travail en rayon et la navigation.
• La manipulation délicate, notamment le fait de soulever un gâteau moelleux et de suspendre des sachets de bonbons, reste difficile.
• AgiBot a décrit l’essai comme n’ayant comporté ni démonstrations humaines ni réglages manuels dans le magasin. Avant la diffusion en direct, le taux de réussite sur l’ensemble du flux de travail est passé de 28,6 % le premier jour à 85,7 % au cinquième jour, et le taux de réussite des tâches individuelles dépassait de 17,7 points de pourcentage celui obtenu avec un réglage fin supervisé classique. Les taux de réussite de l’essai de 24 heures et les chiffres sur les interventions humaines n’ont pas été publiés.
• L’entreprise étudie le travail de nuit et le remplacement autonome des batteries pour prolonger les périodes de fonctionnement.