Cybathlon 2024 : la recherche au service des prothèses et des solutions d'assistance
Le Cybathlon 2024 s’est achevé sur un succès de Nathanaël Jarrassé, chercheur à l’ISIR, et ses équipes Smart ArM et Smart Arm ROB, qui ont réalisé de belles performances et remporté une médaille d'argent. Cette compétition internationale, qui met en lumière des solutions technologiques de pointe pour les personnes en situation de handicap, a ainsi permis de tester, en conditions réelles, les innovations développées dans le domaine des prothèses et des dispositifs d’assistance robotique. Un aboutissement pour ces projets de longue haleine, qui repoussent les limites de l’interaction entre technologie et corps humain.
Félicitations aux deux équipes et à leurs pilotes, Christophe Huchet et Etienne Moullet.
Smart ArM : Piloter les prothèses grâce aux mouvements du corps
Le projet Smart Arm, dirigé par Nathanaël Jarrassé, a vu le jour en 2019 après plusieurs années de recherches sur les prothèses de membres supérieurs. Ces recherches se sont concentrées sur la manière dont les utilisateurs de prothèses pouvaient contrôler les membres artificiels en exploitant les signaux résiduels de leur corps, comme les contractions musculaires et les mouvements compensatoires. « Nous avons mis en place des systèmes qui permettent à une prothèse de répondre plus finement aux commandes musculaires, notamment en analysant plus précisement les signaux myoélectriques et entraînant les utilisateurs », précise Nathanaël Jarrassé.
En 2019, l'équipe Smart Arm rencontre Christophe Huchet, un ancien parathlète né sans avant-bras droit, et commence à travailler avec lui. « Contrairement à un amputé traumatique, Christophe n’a jamais eu d’avant-bras, ce qui change tout en termes de perception corporelle et de rapport à la prothèse », souligne le chercheur. L’équipe développe alors un coude exosquelettique couplé à une emboîture équipée de plusieurs électrodes capturant les mouvements musculaires résiduels avec une précision bien plus fine qu’une prothèse commerciale classique.
Depuis l’équipe n’a eu de cesse d’améliorer la technologie. Des collaborations avec l'entreprise néo-zélandaise Taska ont permis d’intégrer des mains prothétiques digitales très avancées, ainsi qu’un contrôle des mouvements encore plus précis. Grâce aux 8 électrodes de sa prothèse, le pilote, Christophe Huchet, peut désormais ajuster la vitesse de ses gestes, en fermant doucement la main sur un petit objet, ou plus rapidement sur des objets plus gros ; et grâce aux mouvements de son corps mesurés par des centrales inertielles, il peut simultanément contrôler le coude et le poignet de la prothèse.
Les équipes Smart Arm et Smart Arm Rob en images
Smart Arm ROB : Un bras robotique pour les paralysies lourdes
Au-delà des améliorations matérielles, les recherches de l’équipe sur les algorithmes de contrôle du mouvement ont également connu des avancées. Ces algorithmes, qui exploitent les mouvements résiduels du corps, se sont révélés applicables à des personnes présentant des handicaps plus graves, comme les paralysies complètes ou partielles des membres inférieurs et supérieurs. « Nous avons constaté que nos approches pouvaient être adaptées pour offrir un contrôle d’un bras robotique d’assistance à des personnes ayant un fort niveau de paralysie », ajoute Nathanaël Jarrassé.
C’est dans ce contexte qu’est né le projet Smart Arm ROB. « Nous avons travaillé sur des approches de contrôle basées sur le mouvement pour des bras robotiques montés sur fauteuils », explique Nathanaël Jarrassé. Ces dispositifs, disponibles depuis quelques années, sont destinés aux personnes atteintes de handicaps importants comme les tétraplégies ou les locked-in syndromes. Ils permettent de réaliser des tâches du quotidien comme attraper des objets. Cependant, le contrôle de ces bras reste contraignant et difficile.
« Pour surmonter ces limitations, nous avons développé un bras robotique, couplé à un ordinateur embarqué et à des caméras qui captent les mouvements résiduels du corps de la personne, comme ceux du cou, des épaules ou du tronc, et les projettent ensuite sur le robot. Cela permet d’offrir une solution non-invasive, adaptée aux capacités des utilisateurs », précise le chercheur. L’équipe a également utilisé un casque de réalité augmentée pour permettre un contrôle basé sur la tête. « La clé de nos innovations est d’avoir différentes briques de commandes basées sur les mouvements fantômes, sur l'IA pour décoder les contractions musculaires, sur les coordinations du corps, sur les mouvements compensatoires, etc., afin de proposer une solution adaptée à la personne, en fonction de ses capacités et préférences. »
Pour tester leur dispositif, l’équipe collabore depuis quelques mois avec Étienne Moullet. Cet ancien doctorant de l’ISIR en neurosciences et robotique est tétraplégique et pilote de l’équipe Smart Arm ROB pour le Cybathlon 2024. « Étienne est un expert des problématiques de contrôle robotique », souligne Nathanaël Jarrassé. Aujourd’hui chercheur post-doctorant à l’INRIA, il travaille à l’exploitation de reconnaissance d’objets pour optimiser le pilotage de la stimulation électrique fonctionnelle des muscles de la main d’une personne tétraplégique en faisant en sorte qu’elle adopte la posture de saisie la plus adaptée. « Dans le futur, nous espérons également pouvoir intégrer une main robotique plus sophistiquée qui, grâce aux travaux de recherches d’Étienne, serait capable de saisir des objets de différentes tailles et formes, en choisissant automatiquement la meilleure configuration », précise le chercheur.
En attendant ces derniers développements, les pilotes Etienne Moullet et Christophe Huchet s’entraînent chaque semaine avec les équipes scientifiques de l’ISIR pour la compétition du Cybathlon fin octobre. Un véritable « test en conditions réelles » pour ces technologies prometteuses.
Entraînement de l'équipe Smart Arm Rob ©Sorbonne Université
Le Cybathlon : un terrain d’innovation unique
Bien plus qu’une simple compétition, le Cybathlon est une vitrine technologique où les dispositifs développés pour les personnes handicapées sont mis à l’épreuve dans des tâches du quotidien. Depuis la première édition en 2016, Nathanaël Jarrassé est un fervent défenseur de l’événement. « Au début, nous avions des doutes sur le message véhiculé par ces compétitions. Mais en assistant à l'événement à Zurich, on a réalisé à quel point elles mettaient en avant l’humain et stimulaient la recherche », raconte le scientifique.
Le Cybathlon est une compétition particulière en ce qu’elle met l’accent sur les défis du quotidien des personnes handicapées, un aspect essentiel selon Nathanaël Jarrassé : « Le Cybathlon met en avant le fait que le quotidien, pour les personnes en situation de handicap est un sport de haut niveau. » Cet évènement pousse les équipes à adapter leurs technologies aux besoins des utilisateurs et offre un cadre unique pour tester les dispositifs dans des environnements proches de la vie quotidienne, bien au-delà des conditions de laboratoire.
Pour Nathanaël Jarrassé et son équipe, l’objectif du Cybathlon n’est d’ailleurs pas de remporter des médailles, mais d'attirer l’attention sur des recherches qui ciblent des niveaux de handicap souvent négligés. « Nous ne sommes pas là pour gagner, mais pour mettre en avant nos recherches, notamment sur les amputations hautes de membre supérieur ». Contrairement à l’intérêt pour les prothèses de main, peu de recherches se concentrent sur les amputations au niveau du coude ou de l’épaule, un domaine pourtant crucial. « Ces amputations touchent souvent des jeunes actifs, des ouvriers ou des agriculteurs, pour lesquels il est essentiel d’avoir des solutions adaptées », explique le chercheur.
Transférer les innovations vers l’industrie
Mais l'ambition de Nathanaël Jarrassé ne s'arrête pas au Cybathlon. « Il y a le labo, le Cybathlon, mais aussi le monde extérieur », note le chercheur. Cette démarche anticipe l’avenir des recherches, qui visent à rendre les technologies utiles au quotidien. Cet été, le pilote Christophe Huchet a d’ailleurs utilisé la prothèse de bras chez lui pour la première fois, réalisant des tâches domestiques comme vider le lave-vaisselle ou cuisiner, hors du cadre compétitif du Cybathlon. « Cela témoigne que nous avons franchi un cap en termes de maturité et de réalisme de nos innovations », se félicite le chercheur dont l’équipe a remporté en 2022 un challenge Cybathlon.
Car à terme, l’un des enjeux de l’équipe est de transférer ses innovations vers l'industrie pour qu'elles bénéficient au plus grand nombre. « Notre objectif est que les fabricants puissent implémenter nos algorithmes de contrôle sur du matériel commercial existant pour étendre les capacités des utilisateurs », précise-t-il. Le projet Extender porté par Guillaume Morel, professeur de robotique à Sorbonne Université, développé en partenariat avec l’entreprise française Orthopus, a cette ambition. Soutenu par des financements publics, il a pour but de produire un bras robotique d’assistance à six degrés de liberté comparable à celui utilisé lors du Cybathlon.
Les recherches de l’équipe s'inscrivent également dans un projet d'envergure baptisé Réinvent. Soutenu par le PEPR O2R, ce projet a démarré il y a quelques mois et s'étalera sur huit ans, avec un budget de plus de 3,5 millions d’euros. « Il rassemble des partenaires allant des laboratoires de sciences humaines et sociales aux laboratoires cliniques, en passant par les meilleures équipes de robotique et de neurosciences en France », explique Nathanaël Jarrassé. L’objectif est ambitieux : « explorer des façons de réinventer la prothèse », affirme le chercheur. Le projet vise à concilier les besoins individuels des utilisateurs avec une perception renouvelée de l'objet prothétique, dans une démarche pluridisciplinaire, mêlant anthropologie, ethnologie des techniques et retour d’expérience des utilisateurs.
Loin du mythe de l’homme augmenté et des cyborgs, l’équipe de Nathanaël Jarrassé continue à œuvrer, dans une démarche humaniste et éthique, pour faciliter la vie des personnes appareillées et sensibiliser le grand public aux défis qu’elles relèvent au quotidien.
Toutes les épreuves seront retransmises en direct du 25 au 27 octobre sur le site du Cybathlon.
En savoir plus sur le programme complet de la compétition.
À lire aussi
Le 27 octobre 2024, lors de la finale du Cybathlon, l’équipe A-eye, portée par la pilote Salomé Nashed et les enseignants-chercheurs Ludovic Saint-Bauzel et Fabien Vérité de l’Institut des systèmes intelligents et de robotique (ISIR), a remporté une médaille d’argent pour son dispositif de guidage destiné aux personnes aveugles et malvoyantes. Cette compétition internationale met en lumière des innovations technologiques conçues pour les personnes en situation de handicap, offrant un test grandeur nature pour ce projet ambitieux.
Félicitations à eux.
RechercheEntretienCe projet, conçu en collaboration avec des étudiants de Sorbonne Université, vise à rendre la navigation des personnes déficientes visuelles plus intuitive grâce à une approche sensorielle innovante. Ensemble, Ludovic Saint-Bauzel et Fabien Vérité, nous expliquent les défis, les avancées et les ambitions de ce dispositif.
Qu’est-ce qui vous a amené à concevoir un dispositif de retour kinesthésique pour personnes malvoyantes ?
Ludovic Saint-Bauzel : Enseignant-chercheur à l’ISIR, mes premières recherches portaient sur l’assistance à la marche et au lever. Cela m’a amené à m'interroger sur la communication kinesthésique, c’est-à-dire la façon dont les utilisateurs perçoivent physiquement un dispositif et interagissent avec la machine. Au fil de mes recherches, j’ai réalisé que ce concept pouvait être appliqué à la navigation des personnes malvoyantes et en 2020, j’ai développé un prototype. Le projet a pris un nouvel élan lorsque j’ai découvert l’existence du Cybathlon en 2022.
Fabien Vérité : Maître de conférences à l’ISIR depuis 2019, j’étudie l’haptique, c’est-à-dire la manière dont l'être humain perçoit son environnement par le toucher. Pendant ma thèse, j'ai travaillé sur le retour tactile pour améliorer l’équilibre des personnes. Actuellement, je continue de développer des systèmes de retour d’information tactile, notamment pour des instruments chirurgicaux.
Pourquoi avez-vous choisi de participer au Cybathlon 2024 ?
L. S.-B. : Le Cybathlon est une compétition qui réunit des personnes en situation de handicap utilisant des dispositifs technologiques pour accomplir des tâches du quotidien. Pour nous, cet évènement offre une occasion unique de tester notre technologie en conditions réelles. C’est aussi une opportunité de visibilité de nos avancées technologiques qui ont nécessité une forte collaboration interdisciplinaire au sein de l'université, en mobilisant plusieurs spécialités comme la robotique et l'informatique. Le Cybathlon nous permet également de mettre en avant le travail de nos étudiants, qui ont largement contribué au développement du dispositif.
F. V. : Pour moi, participer au Cybathlon est aussi une aventure personnelle. En 2016, j’ai assisté à la première édition à Zurich alors que j’étais enseignant dans le secondaire. Voir l’ambiance incroyable de la compétition et les solutions d’assistance proposées pour les personnes en situation de handicap m’a rappelé à quel point la recherche dans ce domaine pouvait avoir un impact direct sur la vie des gens. Cette expérience m'a donné envie de revenir à la recherche.
Pouvez-vous expliquer comment fonctionne la technologie que vous avez développée pour les personnes déficientes visuelles ?
F. V. : Notre dispositif repose sur la communication kinesthésique. Il s'agit de transmettre des informations par le mouvement et l'effort physique, comme lorsque l’on guide une personne en lui transmettant des informations par le mouvement et les gestes. La personne malvoyante est équipée d'un harnais sur lequel une caméra cartographie l’environnement en 3D en temps réel. Le système identifie les obstacles et calcule la meilleure trajectoire. Ensuite, grâce à un moteur qui exerce une légère pression sur la main de l’utilisateur, il est guidé dans la bonne direction. Par exemple, si la main est tirée vers la gauche, l’utilisateur sait qu'il doit tourner dans cette direction. Une fois que l’orientation est correcte, la pression cesse, permettant de continuer à avancer.
L. S.-B. : Contrairement aux cannes blanches ou intelligentes, qui signalent aux personnes ce qu'il faut éviter, notre dispositif indique directement où aller, rendant la navigation plus intuitive et moins fatigante. Notre approche permet une utilisation plus naturelle, similaire à celle du guidage par un chien-guide ou par une personne.
Quels sont les avantages du retour kinesthésique par rapport à d'autres technologies d’assistance visuelle, comme l’audio ou les vibrations ?
L. S.-B. : Notre méthode est proche du geste réel de guidage d'une personne aveugle. Le retour kinesthésique a l’avantage d’être beaucoup plus naturel. Il repose sur des sensations physiques que nous utilisons au quotidien, comme lorsqu’on guide quelqu’un en lui prenant le bras.
F. V. : C’est aussi une approche plus légère sur le plan cognitif. Nous avons constaté que cela rend la navigation plus fluide et moins fatigante. Le cerveau intègre mieux ce type de retour d’information car il correspond à une sensation naturelle d’effort.
Salomé Nashed, pilote de l'équipe A-eye, en entraînement ©Sorbonne Université
Quels défis techniques avez-vous rencontrés lors du développement du dispositif ?
L. S.-B. : L’un des plus grands défis a été de gérer la puissance de calcul. Au départ, nous utilisions un ordinateur très puissant, qui devait être alimenté par des batteries lourdes et encombrantes, ce qui rendait le dispositif difficile à porter. En optimisant les algorithmes et en utilisant des calculateurs de pointe très efficaces, nous avons réussi à alléger le dispositif, qui pesait initialement 10 kg et qui n’en pèse aujourd’hui plus que 2,5.
F. V. : Nous avons aussi dû résoudre des problèmes de détection visuelle. Par exemple, lors des épreuves impliquant un écran tactile, la caméra était perturbée par la lumière de l’écran, ce qui rendait difficile la détection des objets à sélectionner. Nos ingénieurs, Axel Lansiaux et Éloïse Szmatula, ont trouvé des solutions techniques pour que Salomé, notre pilote, puisse réaliser l’épreuve en un temps record, proche de celui d’une personne voyante.
Comment avez-vous collaboré avec les pilotes déficients visuels pour ajuster et affiner le dispositif en fonction de ses besoins spécifiques ?
L. S.-B. : Travailler avec Sébastien Hinderer, notre premier pilote, puis avec Salomé Nashed, a complètement changé notre vision du projet et nous a permis de revoir la perception du quotidien des personnes déficientes visuelles. En discutant avec eux, on a découvert des opportunités de développement auxquelles on n'aurait pas pensé seuls. Avec Salomé, qui est très volontaire et pleine d'énergie, nous testons régulièrement des astuces pour améliorer le dispositif. Elle propose des idées et son investissement important et son engagement à toute épreuve est un atout précieux.
F. V. : On croit beaucoup à la co-conception dans laquelle les utilisateurs sont impliqués dès le début dans le processus de développement. Sébastien, puis aujourd’hui Salomé nous ont fait des retours pour ajuster le harnais, le retour tactile, choisir la forme de la poignée, affiner les retours audio, etc. Salomé et notre doctorante ingénieure Éloïse Szmatula ont travaillé ensemble pendant des heures. À chaque étape, elles testaient ce qui fonctionnait, modifiaient les algorithmes ou changeaient l’entraînement. Ce travail d’ajustement continu a permis d’adapter la technologie à l'utilisateur pour que le dispositif soit à la fois performant et intuitif. Nous continuons à peaufiner ces aspects en vue de la compétition.
Comment les étudiants de Sorbonne Université ont-ils contribué à ce projet ?
L. S.-B. : Dès le début du projet, nous avons impliqué une centaine d'étudiants de divers masters principalement en robotique, en IA et en traitement d’image. Leur contribution a été essentielle, car environ 80 % du développement technique a été réalisé par eux. Axel Lansiaux, l'un de nos anciens étudiants, est maintenant ingénieur à plein temps sur le projet. Il a joué un rôle essentiel en supervisant plusieurs groupes de stagiaires et en assurant la coordination technique.
F. V. : Les étudiants ont travaillé de manière très professionnelle, avec une relation client-ingénieur, en respectant un cahier des charges précis. Nous sommes fiers de présenter lors de la compétition le résultat concret de leurs travaux, que ce soit en matière de reconnaissance visuelle, de développement technique ou d'intégration des solutions.
Comment envisagez-vous l'évolution future de cette technologie ?
L. S.-B. : Après la compétition, notre objectif est de rendre notre technologie d’assistance à la navigation open source. L’idée est qu’elle devienne accessible à tous, notamment aux fablabs, afin qu’elle puisse être reproduite et améliorée par d’autres.
F. V. : Nous avons également un projet de thèse avec Eloise Szmatula. Elle travaille sur la modélisation de l’interaction kinesthésique en étudiant comment notre système reproduit le guidage qu’une personne peut ressentir en étant guidée par une autre. Dans ce cadre, nous allons développer un partenariat avec l’Institut National des Jeunes Aveugles (INJA) pour tester notre dispositif auprès des jeunes et de leurs formateurs en mobilité, qui joueront les guides. Ces travaux permettront d’affiner notre dispositif pour qu’il soit encore plus performant et adapté à un usage quotidien pour les personnes déficientes visuelles.
Propos recueillis par Justine Mathieu
Revivez la finale du Cybathlon 2024 de l'équipe A-eye en replay
La finale du Cybathlon 2024 en images
Salomé Nashed lors de la finale du Cybathlon 2024. Photo par ETH Zurich / Cybathlon / Nicola Pitaro
Découvrez l'équipe A-eye