La lecture cérébrale embarquée révolutionne l'interaction homme-robot.Comment les pensées de l'humain peuvent-elles être utilisées pour interagir avec les robots ? Ensemble, les scientifiques développent des technologies clés et une intelligence artificielle, qui permettent une lecture cérébrale intégrée en temps réel et adaptative.
Les exosquelettes peuvent apprendre à anticiper les mouvements
Comment se déroule le processus ? Comment se fait-il que les intéractions entre nos pensées et une machine soit optimisés? Les scientifiques du Centre d'innovation en robotique du Centre allemand de recherche sur l'intelligence artificielle (DFKI) et du Groupe de robotique de l'Université de Brême travaillent sur cette question. Ensemble, ils développent des technologies clés qui permettent une lecture cérébrale intégrée en temps réel et adaptative. Ainsi, les robots peuvent être contrôlés intuitivement et efficacement sur la base de l'activité du cerveau humain. Les systèmes peuvent également interpréter les pensées humaines et en tirer des enseignements. Les chercheurs ont publié leurs travaux révolutionnaires, qui sont utilisés en robotique de réadaptation, entre autres, dans les revues de renommée internationale Frontiers in Neuroscience, Scientific Reports - Nature and Sensors.
Les robots peuvent être commandés par l'activité du cerveau humain via des interfaces cerveau-ordinateur (BCI). On utilise ici l'électroencéphalographie, dans laquelle des électrodes fixées à la tête mesurent les changements de potentiel dans le cerveau. Contrairement aux BCI classiques, l'approche holistique "embedded Brain Reading" (eBR) développée par les scientifiques va plus loin : l'activité cérébrale peut non seulement être mesurée, mais aussi interprétée. On peut ainsi identifier les intentions d'agir et la charge de travail cognitive des personnes. Ce faisant, l'eBR repose exclusivement sur l'observation passive de l'activité cérébrale naturelle et évite ainsi un stress supplémentaire à la personne en utilisant une ICB. En outre, l'approche innovante, qui outre l'EEG s'appuie également sur l'électromyographie pour mesurer l'activité musculaire, le suivi des yeux et l'analyse des mouvements, permet l'intégration complète et tolérante aux erreurs de l'activité cérébrale dans le contrôle des systèmes techniques. Les chercheurs en font usage, par exemple dans la téléopération des robots spatiaux, mais aussi dans la commande d'exosquelettes robotiques basée sur l'EEG.
Les potentiels liés aux événements fournissent des informations sur le traitement de l'information chez l'homme
Dans la lecture cérébrale intégrée, les potentiels liés aux événements (ERP) dans l'EEG servent de sources d'entrée qui apparaissent en réponse à un changement d'état interne ou à un stimulus externe. Au DFKI, ces potentiels sont utilisés pour améliorer l'interaction entre les humains et les robots. Dans leur article "Multi-tasking and Choice of Training Data Influencing Parietal ERP Expression and Single-trial Detection - Relevance for Neuroscience and Clinical Applications", publié dans la revue scientifique Frontiers in Neuroscience le 27 mars 2018, les scientifiques Dr. Elsa Andrea Kirchner et Dr. Su Kyoung Kim étudient comment les ERP peuvent être reconnues par la détection d'un seul essai dans l'EEG et quelle est l'influence des différentes modalités de formation. Il a été démontré que les ERP peuvent être détectés avec succès par une détection unique, même dans des conditions de "double tâche", c'est-à-dire lorsque la personne n'est pas seulement engagée dans une mais plusieurs activités.
Plus la performance de détection est élevée, moins le stimulus provoqué par la tâche est fréquent et important. La détection ERP à un seul essai est particulièrement adaptée à l'analyse EEG en ligne et en temps réel, par exemple pour contrôler un exosquelette. Dans le cadre d'une thérapie de réadaptation, la reconnaissance ERP peut non seulement fournir des informations sur les mouvements planifiés, mais aussi, par exemple, sur l'état d'attention d'un patient.
Grâce au feedback négatif humain, les robots apprennent de leur propre mauvais comportement
Parmi les potentiels liés à l'événement, on trouve le potentiel dit d'erreur. La manière dont ce potentiel peut être utilisé de manière rentable pour l'interaction homme-robot est le sujet de l'article "Intrinsic interactive reinforcement learning - Using error-related potentials for real world human-robot interaction", publié le 14 décembre 2017 dans la revue Scientific Reports - Nature. Les scientifiques du Centre d'innovation en robotique et de l'Université de Brême y décrivent le Dr Su Kyoung Kim, le Dr Elsa Andrea Kirchner, Arne Stefes et le Prof. Frank Kirchner décrit une méthode d'apprentissage machine développée au DFKI, dans laquelle un robot peut apprendre de son propre comportement dans une interaction contrôlée par des gestes avec les humains.
En même temps, le robot est capable d'apprendre à distinguer les gestes humains et à les attribuer aux actions qu'il peut effectuer. Le fait que cette affectation ait été bonne ou mauvaise est déterminé par la mesure de l'EEG humain, qui fournit un retour d'information négatif, le potentiel de corrélation des erreurs, en cas d'action défectueuse. Cela soulage l'humain dans l'interaction, car il n'a pas besoin de donner le feedback consciemment au robot, mais grâce à eBR, le feedback est déjà exploité au niveau du subconscient. Les chercheurs de Brême ont pu appliquer pour la première fois la méthode, qui est basée sur un retour d'information intrinsèque, en interaction avec un véritable système robotique, et montrer qu'elle conduit à une amélioration de l'interaction entre les humains et les robots. Dans la réadaptation avec des exosquelettes, par exemple, le potentiel d'erreur pourrait être utilisé pour mieux comprendre l'acceptation par les utilisateurs.
Les FPGA permettent le traitement mobile de données physiologiques en temps réel
Cependant, l'utilisation de données physiologiques pour améliorer la fonctionnalité et la convivialité des systèmes techniques de réadaptation est liée à la possibilité de leur traitement. Cela doit être fait en temps réel afin de réaliser le soutien le plus naturel des mouvements. En outre, il faut des systèmes de traitement mobiles et miniaturisés qui peuvent être intégrés dans l'établissement de réadaptation. Dans l'article "A Hybrid FPGA-Based System for EEG- and EMG-Based Online Movement Prediction", qui a été publié dans la revue Sensors le 3 juillet 2017, des scientifiques du DFKI et de l'université de Brême - Dr. Hendrik Wöhrle, Marc Tabie, Dr. Su Kyoung Kim, Prof. Frank Kirchner et Dr. Elsa Andrea Kirchner - un système compact de lecture cérébrale pour la prédiction de mouvement en temps réel. Ils s'appuient sur des "Field Programmable Gate Arrays" (FPGA), des circuits reprogrammables qui permettent des opérations de traitement en parallèle et peuvent donc traiter de grandes quantités de données en très peu de temps. Pour les rendre utilisables en robotique, les chercheurs ont également développé le cadre logiciel reSPACE.
Celui-ci définit les différentes opérations de calcul spécifiques à l'application, qui sont combinées en un accélérateur de flux de données selon le principe modulaire et mises à disposition sur le FPGA. Grâce à l'évaluation en temps réel des données EEG, le système développé peut, par exemple, soutenir la régulation d'un exosquelette. Les FPGA traitent l'énorme quantité de données générées par ce processus en quelques nanosecondes - ce n'est que de cette manière que l'exosquelette peut soutenir le mouvement du bras au moment exact.