Démos

Démonstrations-vidéos-musée

Contenu:

Introduction (2021)
Vidéos
1 – Robots avec IA – La Cognitique en Pratique (2007-2013)
2 – Robotique et émotions naturelles (2017)
3 – Robotique industrielle et IA classique (2018)
4 – Robotique et coopération avec les humains (2015)
5 – Robotique avec vision pour les applications industrielles, y compris la prise en vrac (1981)
6 – Robotique avec vision pour application industrielle, y compris la manipulation de pièces superposées (1979)

Introduction (2021)

Cette rubrique donne accès à une petite dizaine de vidéos et vise ainsi à renforcer la crédibilité des éléments de théorie présentés sur le présent site.

La démarche comporte deux composantes.

La première présente des démonstrations, implémentées concrètement, dans le réel, avec la perspective de valider les concepts proposés.

La seconde situe les développements faits dans le temps, répartis sur une longue période, de plus de 40 ans, et remontant dans le passé jusqu’aux années ’70 du siècle dernier.

La cognition automatisée, la cognitique, se déploie ici en milieu robotisé ; les vidéos permettent d’observer certains effets représentatifs dans le cas des machines, sans plus nécessiter la disponibilité des matériels et des logiciels associés.

Le caractère très novateur des éléments produits, à leur sortie, et leur pertinence, dans le domaine scientifique et technique, doit ainsi renforcer le crédit à accorder également aux autres éléments du site, plus généraux, débordant vers les concepts de valeur et de collectif, vers l’humain et la vie.

Concernant les retombées possibles de notre théorie de la cognition pour les cas vastes également, de l’humain et de la vie en général, le lecteur pourra s’en remettre à sa propre expérience, à ses propres observations.

Vidéos

Les vidéos de démonstrations sont proposées ci-dessous dans un ordre privilégiant une combinaison d’importance et de caractère récent (les dernières des vidéos présentées ci-dessous sont ainsi plutôt anciennes, ajoutant à leur pertinence scientifique une certaine valeur historique et muséale !).

Le format propose un titre, un bref descriptif, un lien vers la vidéo, et enfin au moins une référence principale y relative dans la littérature scientifique.

Cette rubrique est en chantier, et il est prévu que le nombre de vidéos traitées augmente progressivement.

1 – Robots avec IA  – La Cognitique en Pratique (2007-2013)

Extraits de Compétitions ”Robocup at Home” et Autres Démonstrations – Vidéo(s)

La vidéo présente plusieurs de nos robots avec haut degré de capacités cognitives et d’efficacité dans le monde réel, le plus souvent en coopération avec des humains.

Notre groupe de robots comprend des prototypes entièrement conçus dans notre université (environnement Piaget pour la programmation, le développement et la supervision opérationnelle, robots RH-Y et OP-Y) ainsi que l’humanoïde NAO, reconfiguré et intégré dans notre environnement Piaget, comme médiateur entre les humains et les autres machines (Nono-Y).

Cette video est un “clip” d’environ quatre minutes, regroupant des extraits de vidéos plus longues, portant chacune sur des tâches particulièrement représentatives de ce qui est attendu d’un robot d’assistance domestique, notamment telles que pratiquées dans le cadre de la compétition internationale « Robocup at Home» [1.1]. Les compétences démontrées y sont nombreuses, et comprennent notamment les éléments suivants :

• Communication verbale (compréhension et expression)
• Commande gestuelle (compréhension et expression)
• Commandes compliante et adaptative (guidage par force et par présence)
• Mobilité et localisation
• Préhension d’objet
• Transport d’objet
• Enseignement et apprentissage par l’exemple (« programmation »)
• Capacités de perception, de reconnaissance de formes et de décision
• Capacités d’action autonome
• Capacité d’opération semi-autonome (modes coopératif ou adaptatif)
• Capacité d’apprentissage guidé (mode « client/serveur »)
• Navigation/déplacement autonome sans collision
• Partage culturel (association de noms avec lieux et objets)
• Capacité d’estimation de valeurs et de changements stratégiques et tactiques (« émotions »)

La vidéo s’intitule “Groupe de Robots Coopératifs pour Assistance à Domicile (RG-Y, RH-Y, OP-Y, et Nono-Y), avec Capacités Cognitives Assurées par notre Environnement Piaget”. Huit séquences y sont visibles ; les six premières d’entre elles ont été captées durant les compétitions officielles de niveau mondial « Robocup-at-Home », dans 5 pays différents [1.2] ; les deux dernières séquences se sont prises principalement dans notre laboratoire de recherches, à la HESSO.HEIG-VD, et démontrent des fonctionnalités supplémentaires intéressantes :

• L’Imitateur ( » Copycat « ), tâche-test de la compétition Robocup@Home (Atlanta, USA). Cette séquence démontre la possibilité d’enseigner à un robot de nouveaux mouvements et de nouvelles tâches, simplement en les montrant, en ayant un humain qui exécutent ces tâches de manière naturelle devant la machine. Le robot reproduit par lui-même ce qu’il peut observer dans la scène.
• “Fast Follow »), tâche-test de la compétition Robocup@Home (Suzhou, Chine). Cette séquence démontre la possibilité de guider un robot à la maison, juste en marchant naturellement devant lui ou en le pilotant sans contact par des gestes de la main. Cette tâche a pour objectif un mouvement rapide, « coulé », et le « tandem » guide-robot doit en croiser un autre sans se laisser trop perturber (notamment, sans échange malencontreux de robot) ; une prime est accordée au tandem le plus rapide ; ici, pour garantir la sécurité, le guide se retourne et surveille les mouvements de son robot.
• Marche et Parle (« Walk and Talk »), tâche-test de la compétition Robocup@Home (Graz, Autriche). La séquence démontre la possibilité d’enseigner de nouvelles topologies et de nouveaux cheminements à domicile en guidant le robot et en associant vocalement un nom spécifique aux endroits clés.
• Défi libre ( » Open Challenge « ), tâche-test à la compétition Robocup@Home: Commande gestuelle et démarche en crabe (Graz, Autriche). La séquence démontre la possibilité de commander un robot à distance, par des gestes, ainsi que la possibilité de déplacement latéral pour un robot mobile. Ironiquement, c’est ici un autre robot (RH-Y) qui opère les gestes de commande, à environ 1 mètre de distance. Notre robot OP-Y perçoit les gestes par Lidar, et, pour ses mouvements propres, latéralement, il exploite notre plateforme omnidirectionnelle à 4 roues et suspensions indépendantes ainsi que la structure géométrie particulière des roues Mecanum.
• Concept de locomotion robuste sur des sols irréguliers et dans des escaliers (Simulation et contrôle interactif avec Webots). La séquence démontre, dans un monde simulé graphiquement et physiquement, et pouvant être piloté en temps réel, un concept de locomotion robuste, sur des sols irréguliers et dans des escaliers. Il s’agissait de porter au-delà des sols plats les capacités de locomotion robuste du robot OP -Y, à l’aide d’une cinématique novatrice et du logiciel Webots.
• Défi libre ( » Open Challenge « ), tâche-test à la compétition Robocup@Home: Assistance domestique en coopération humaine et multi-robots (Singapour). Le clip présente une expérience dans laquelle un groupe de robots apporte une bière et des snacks à Daniel, démontrant la communication naturelle Humain-Robot, la coopération multi-robots et la médiation entre humain et machines, avec l’humanoïde NAO, le tout intégré dans notre environnement Piaget pour le développement de systèmes, la programmation et la commande intelligente dans le monde réel.
• Commande compliante de mouvement pour un robot domestique mobile et coopératif (Yverdon-les-Bains, Suisse). La séquence démontre le mouvement souple d’un robot domestique mobile et coopératif. En plus de nos modes de guidage programmés ou sans contact, notre robot RH-Y peut être piloté en mode compliant pour un positionnement précis et naturel.
• Commande multimodale (Genève et Yverdon-les-Bains, Suisse). La commande de nos robots et de notre humanoïde RH-Y, OP-Y et NAO peut être commutée en temps réel sur l’un des trois modes différents, autonome, coopératif ou serveur, avec différents niveaux instantanés de performance cognitive. Dans notre démonstration TeleGrab, le robot RH-Y est supervisé à distance par un humain, éventuellement à mobilité réduite, avec de multiples possibilités basées sur notre environnement Piaget, pour saisir efficacement un objet et le transporter à un endroit librement choisi.
• Note finale. Nos systèmes intègrent de nombreuses contributions de la science, de la technologie et des systèmes commerciaux, qui ne peuvent être toutes citées ici mais qui sont néanmoins reconnues avec gratitude.

Notons que des critères quantitatifs sont nécessaires pour juger de la présence ou non d’une compétence, et plus encore pour en caractériser l’intensité. Lorsque ces critères quantitatifs sont de nature physique, et relèvent ainsi principalement du réel, leur utilisation est assez banale. Mais dans le domaine de l’imaginaire et du cognitif, la situation est plus un défi. Dans ce but, deux types d’indicateurs ont leurs mérites : le premier type regroupe les indicateurs ad hoc définis par le règlement de la compétition Robocup [1.2]; le deuxième type d’indicateurs correspond à la métrique proposée dans notre théorie de la cognition MCS [1.3], ce qui apporte alors une alternative plus générale. Rappelons à ce propos qu’il existe des points de passage permettant, à partir du monde réel, d’entrer dans un monde imaginaire et cognitif qui lui corresponde ; on peut y constater l’évidence des concepts fondamentaux, notamment, de permanence et de changement, de probabilité, de but, de modélisation et d’interaction; ceci conduit de façon assez directe aux notions très importantes dans le domaine cognitif que sont le temps, l’information, les valeurs, les définitions et le collectif.

Fig. 1 Robots avec IA  – La Cognitique en Pratique. Extraits de vidéos plus longues, portant chacune sur des tâches particulièrement représentatives de ce qui est attendu d’un robot d’assistance domestique, notamment telles que pratiquées dans le cadre de la compétition internationale « Robocup at Home»[1.1]

Références pour la vidéo 1

[1.1] Jean-Daniel Dessimoz and Pierre-François Gauthey, « Group of Cooperating Robots and a Humanoid for Assistance at Home, with cognitive and real-world capabilities ensured by our Piaget environment (2007-2013, with RG-Y, RH-Y, OP-Y and Nono-Y robots, at HESSO.HEIG-VD) », video competition, IJCAI-13, Twenty-third International Joint Conference on Artificial Intelligence, Tsinghua University, Beijing, China, August 3-9, 2013. The 4 min. clip made in 2013 shows an overview of our developments for cooperating robots, with cognitic capabilities and sequences taken while participating in world-level competitions ». Click to play the video (v013.05.24) on YouTube

[1.2] Daniele Nardi, Jean-Daniel Dessimoz, et al. (16 authors), « RoboCup@Home; Rules & Regulations », Robocup-at-Home League, Rulebook (Revision: 164M)/ Final version for RoboCup 2011, Istanbul, Turkey, 60pp., 29 June 2011; click here for the paper (.pdf, ca 2.6 Mb).

[1.3] Jean-Daniel Dessimoz, « Cognition et Cognitique – Définitions et métrique pour les sciences cognitives, chez l’humain et pour les machines pensantes, 2ième édition de La Cognitique, augmentée, avec considérations sur la vie, à travers le prisme réel – imaginaire – valeurs – collectif, et quelques bulles de sagesse pour notre temps », Roboptics Editions Sàrl, Cheseaux-Noreaz, Switzerland, 373 pp, March 2020. Version électronique : ISBN 978-2-9700629-6-7, Version imprimée: ISBN 978-2-9700629-2-9 . https://www.roboptics.ch/editions-francais/

2 – Robotique et émotions naturelles (2017)

Un robot autonome navigue dans des mondes réels et imaginaires

La vidéo présente un robot qui démontre sa capacité d’une part à naviguer sous une combinaison de contraintes liées à la fois au monde réel et à un monde imaginaire, et d’autre part selon un schéma typique des émotions [2.1].

Le robot en action est RH-Y, l’un de nos robots dotés d’un haut degré de capacités cognitives et d’efficacité dans le monde réel.  (En outre, RH-Y peut également fonctionner en coopération avec des humains pour de nombreuses applications ; pour être clair, cette dernière faculté n’est cependant pas utilisée dans la présente vidéo, l’autonomie étant totale dans cette démonstration).

Ici, le robot effectue un parcours aléatoire, en évitant à la fois les collisions avec les objets physiques (par exemple les murs), et l’accès aux zones « interdites » (définies dans une carte numérique, et représentées en rouge sur la figure).

Le contexte de cette démo correspond à notre théorie de la cognition MCS [2.2], et en particulier aux notions de valeur, d’estimation de valeur, et d’émotion. Ici, les murs (objets réels) et la zone interdite (définie comme un objet imaginaire) ont une valeur négative, et sont interprétés comme des menaces, tandis que les zones libres apparaissent comme des opportunités.

Les émotions naturelles, et de même, leur équivalent dans le comportement des robots, correspondent à des changements stratégiques, éventuels et soudains, résultant typiquement de changements en termes de menaces et d’opportunités environnantes, ce qui implique une évaluation continue des circonstances, et une certaine capacité de réaction adaptée [2.3]. Dans la vidéo, le robot illustre ces principes ; d’une part le robot pivote pour éviter les obstacles, et d’autre part il avance lorsqu’il en a l’opportunité.

Fig. 2 Robotique et Émotions Naturelles. Notre robot RH-Y avance lorsqu’il en a l’opportunité, et il pivote pour éviter les menaces qu’il rencontre : obstacles physiques ou virtuels (mini-parois blanches réelles, ou zones interdites imaginaires, illustrées en rouge sur cette image)[2.1]

[2.1] Rishabh Madan, Pierre-François Gauthey, and Jean-Daniel Dessimoz, « Free navigation using LIDAR, virtual barriers and forbidden regions », 48s video, HESSO.HEIG-VD, Yverdon-les-Bains, Switzerland, ca. 30 Mb, made on 2017.07.19, and in particular shown at the 1st International Workshop on Cognition and Artificial Intelligence for Human-Centred Design 2017, co-located with 26th International Joint Conferences on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19, 2017. To download the video (mp4, ca. 30Mb), click here; to download the associated presentation (ppt, ca. 40Mb), click here; to download the presentation in pdf format (pdf, ca. 4Mb), click here. The paper can be freely downloaded from CEUR worksite (paper #8 of Proceedings: click here) .

[2.2]  Cette référence est identique à la référence [1.3] (Théorie de la Cognition MSC).

[2.3] J.-D. Dessimoz, ”Natural Emotions as Evidence of Continuous Assessment of Values, Threats and Opportunities in Humans, and Implementation of These Processes in Robots and Other Machines”, Proceedings of the 1st International Workshop on Cognition and Artificial Intelligence for Human-Centred Design 2017, co-located with 26th International Joint Conferences on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19, 2017. Edited by Mehul Bhatt and Antonio Lieto, pp. 47-55. To download the presentation (ppt, ca. 40Mb), click here; to download the presentation in pdf format (pdf, ca. 4Mb), click here. The paper can be freely downloaded from CEUR worksite (paper #8 of Proceedings: click here)

3 – Robotique industrielle et IA classique (2018)

Plus fondamentalement, cette application impliquant des processus cognitifs automatisés, de la cognitique donc (y compris de l’intelligence), a le double mérite, d’une part d’échapper à la dérive vers une mystérieuse « IA générale » postulée par certains, et d’autre part de dépasser le stade de l’algorithme et du confinement dans la cognition, pour s’intégrer dans le monde réel, avec une considération pour les valeurs et le collectif. En plus, cette intégration se fait selon les standards industriels, en utilisant des outils tant matériels que logiciels correspondant aux meilleures pratiques.

La vidéo démontre que le robot industriel ABB Yumi, configuré et programmé d’une façon qui nous est propre, observe, pense, place ses pions et pour terminer, range le jeu en fin de partie.

Le Laboratoire de Robotique et Automatisation (LaRA) a fait l’acquisition et installé diverses ressources, ainsi que développé un niveau de supervision pour coordonner l’ensemble, y c. commande de mouvements de robots, et analyse visuelle de scènes, dans le cadre d’applications typiques du contexte industriel. Dans le cas particulier, il s’agit d’un robot collaboratif humanoïde.  

Cette application apporte un complément concret, en termes d’expérimentation et de validation, à notre théorie de la cognition MSC, notamment exposée dans un livre [3.2]. Une brève description de la vidéo est aussi disponible sous forme de poster téléchargeable [3.3].

Fig. 3 Robotique industrielle et IA classique; extraits de la vidéo proposée « Yumi joue à Puissance 4 en Monde Réel », machine contre humain. (Par ailleurs, 8 de nos robots mobiles autonomes se laissent deviner, à l’arrière-plan, au-dessus des armoires ; ils sont tous vétérans de compétitions internationales robotiques dans le cadre « Eurobot » !) [3.1]

Références pour la vidéo 3

4 – Robotique et coopération avec les humains (2015)

Signes – Commande gestuelle pour guider le robot d’assistance RH-Y

La vidéo proposée retient la séquence traitant de notre robot d’assistance RH-Y, ici commandé par des gestes [4.1], diffusée en conclusion d’une émission de la série « Signes » de la Télévision Suisse Romande (RTS).

Dans la séquence qui nous concerne, il s’agit d’un exemple d’application en monde réel d’une machine « intelligente », ou en termes plus généraux, dotée de capacités cognitives évoluées, quantifiables en termes cognitiques [4.2].

Au cœur de l’émission, le réalisateur propose une série d’expérimentations : « On n’est pas que des cobayes (sourds), Les sourds voient-ils mieux que les entendants ? Pour répondre à cette question, nos confrères de L’œil et la Main ont choisi d’investir un vaste hangar transformé en laboratoire scientifique et d’y mener une série d’expérimentations. »

Pour évaluer les avantages et les limites des gestes pour communiquer, également dans le cas des robots, le contexte impliquant des malentendants est intéressant.

La communication naturelle entre humains comprend de façon très importante le langage. Un mode de communication basée sur le langage comporte ses avantages et ses limites, que l’on discute tour à tour, notamment par rapport au mode gestuel.

• Communication verbale. Le grand avantage du langage, c’est la modélisation très abstraite du monde qu’il implique, et son caractère conventionnel qui permet une certaine communication entre membres d’une même culture, d’un même groupe. Typiquement, la simplicité est alors très grande, compatible notamment avec un codage oral (il est par exemple bien établi que le débit d’information dans une conversation orale ordinaire est d’environ 30 bit/s). De plus la parole est largement omnidirectionnelle, et les obstacles éventuels sont souvent, en grande partie, transparents aux ondes sonores.
• Communication gestuelle. La communication gestuelle apporte le grand avantage d’un débit d’information très grand comparativement à la communication verbale. Pour les humains, la perception se fait alors par le canal visuel, et pour les machines, en particulier pour notre robot RH-Y sur cette vidéo, via un Lidar (mesure rapide et précise, dans un plan lumineux ; les canaux phoniques, optoélectroniques, ou bidimensionnels à temps de vol sont également parfois utilisés sur RH-Y, mais en général pour ce type d’application, ils sont moins fiables ou économiquement moins préférables, au stade actuel). Une telle capacité de communication est notamment nécessaire pour un guidage efficace lorsqu’il est question de mobilité (faire des signes, ou, par exemple, prendre par la main).

Le cas des personnes sourdes est intéressant : évidemment que sans canal phonique, la conversation verbale via le son n’est en principe pas possible. Mais dans la mesure où ces personnes peuvent compenser par le sens visuel, ce qui est très souvent le cas, cela devient presque un avantage car la capacité du canal visuel est bien plus grande que celle du canal audio. Et même si l’on souhaite retrouver le niveau d’abstraction et donc la simplicité du langage, cette fois via canal visuel, un codage ad hoc peut aussi se définir en termes visuels pour un groupe donné (langage des signes). Dans ce dernier cas, ce sont alors les entendants qui se révèlent en quelque sorte « sourds », aussi longtemps qu’ils n’apprennent pas eux aussi ce langage des gestes, cette culture, aussi longtemps qu’ils ne se joignent pas au groupe.

Dans le cadre de cette démonstration, l’expérience acquise avec les techniciens de l’équipe de télévision a confirmé une fois de plus la facilité de commande gestuelle d’un robot. Quelques minutes suffisent pour que, sans autre préparation, des personnes puissent apprendre à guider, sans contact, le robot RH-Y (l’allumer ou l’éteindre, le faire avancer ou reculer, ainsi que de le faire tourner sur place ; sur cette base, il peut notamment suffire à l’utilisateur de marcher devant le robot pour que celui-ci le suive).

Fig. 4 Robotique et coopération avec les humains. Notre robot RH-Y peut notamment se commander ou se guider par de simples gestes, comme illustré dans cette séquence diffusée sur la RTS, dans le cadre de l’émission « Signes » qui a pour thème la malentendance [4.1]. 

Références pour la vidéo 4

 [4.1] Monique Aubonney, « Commande gestuelle pour guider le robot d’assistance RH-Y », interview de J.-D. Dessimoz et démonstration au Laboratoire de Robotique et Automatisation (iAi-LaRA), HESSO.HEIG-VD, Yverdon-les-Bains, 4 déc. 2015, vidéo mp4, 5 min., 334 Mb, publiée dans «Signes», Stéphane Brasey, Réalisateur – producteur, Émission de la Radio Télévision Suisse, Genève, Suisse, diffusée le 19.12.2015 (dès min. 25). Cliquer ici pour accéder directement à l’émission. Cliquer ici pour télécharger l’émission complète (mp4, 30 min. env. 300 Mo) ; accédé le 19 nov. 2021. Cliquer ici pour télécharger l’extrait correspondant à la démonstration (mp4, 5 min., env. 350 Mo) ; accédé le 20 nov. 2021.

[4.2]  Cette référence, relative à la Théorie de la Cognition MSC, est identique à la référence [1.3].

5 – Robotique avec vision pour les applications industrielles, y compris la prise en vrac (1981)

Robot avec vision artificielle pour application industrielle dans une usine de forgeage

La vidéo proposée reprend un film 16 mm produit par l’entreprise américaine General Electric (GE) et documentant une étude mandatée à l’Université de Rhode Island (URI) [5.1].

Le Groupe de Recherches en Robotique (RRG) de URI a été le premier institut financé par le Fonds pour la Recherche Scientifique (NSF) des USA dans le domaine de la robotique. Et les avances dans ce domaine ont permis d’envisager des retombées concrètes et positives pour la société.

Ainsi, dans la perspective de remplacement des travailleurs humains par des machines, GE a déterminé que la tâche industrielle la plus représentative des défis techniques prioritaires du moment dans leurs ateliers, c’était la production d’ailettes pour les turbines de moteurs d’avion à réaction :  partant d’un cylindre métallique, le procédé comprend des opérations de chauffe, de presse, et de découpe, avec la manutention nécessaire entre machines-outils spécialisées y relatives.

La vidéo démontre la faisabilité de réalisation de cette tâche par notre robot notamment doté de vision et d’outils de préhension évolués (des sortes de « mains »).

En termes scientifiques et techniques, dans le cas de cette application, un défi particulier est posé par les stocks tampons entre machines, simplement en vrac (dans des caisses), ce qui nécessite ensuite une prise de pièces en position largement aléatoire, qui plus est, avec des formes variables (dans notre cas, en sortie de certaines presses). Des éléments pertinents pour relever ce type de défi ont fait l’objet de multiples publications scientifiques (notamment [5.2 et 5.3]).

Pour une compréhension plus globale des applications de ce type et bien plus, il est utile de se référer à notre théorie de la cognition MSC [5.4].

Fig. 5 Robotique avec vision pour les applications industrielles, y compris la prise en vrac. Dans un film de General Electric, notre robot Mark-1 développé au Robot Research Group de l’Université de Rhode Island (USA) démontre la faisabilité d’automatiser des processus de fabrication exigeants, y compris la manutention de pièces empilées sans ordre dans des caisses [5.1] . 

Références pour la vidéo 5

[5.1]  “FORGING INTO THE FUTURE, An Assessment of Robots with Vision” , video of General Electric, for a Study done at the University of Rhode Island, by the Robot Research Group (J. Birk, R. Kelley, J.-D. Dessimoz, H. Martins, R. Tella, et al. ) , Spring 1981, USA, 7.5 min. ; initially 16mm film, then digitized; click here to download the video (mp4, 723 Mb); last accessed 21 Nov. 2021.

[5.2]  R. Kelley, J. Birk, J.-D. Dessimoz, H. Martins and R. Tella, « Forging: Feasable Robotics Techniques », 12th Int. Symp. on Ind. Robots, Paris, June 9-11, 1982, pp59-66.

[5.3]  J.-D. Dessimoz, J. Birk, R. Kelley, H. Martins and Chih-Lin I, « Matched Filters for Bin Picking », IEEE Trans. on Pattern Analysis and Machine Intelligence, vol PAMI-6, No 6, New-York, Nov 1984, pp.686-697

[5.4]  Cette référence, relative à la Théorie de la Cognition MSC, est identique à la référence [1.3].

6 – Robotique avec vision pour application industrielle, y compris la manipulation de pièces superposées (1979)

Robot avec vision artificielle pour la manipulation de pièces industrielles

Les deux vidéos proposées reprennent un film 16 mm documentant une étude soutenue par un fonds de recherche fédéral (Commission pour l’Encouragement de la Recherche Scientifique – CERS, au Laboratoire de Traitement de Signaux (LTS), appartenant à l’Ecole Polytechnique Fédérale de Lausanne (EPFL), en Suisse [6.1-3].

Les recherches dans le domaine du signal visuel visaient d’abord une bonne compréhension des problématiques cognitives liées à la vision par ordinateur (vision artificielle) et, à terme, des retombées concrètes et positives pour la société, notamment pour la commande de robot, en vue de l’automatisation des processus de production industrielle.

Les démonstrations filmées valident l’approche consistant à détecter les contours dans les images, de les traiter de façon à les caractériser en termes de courbure paramétrée, pour ensuite les comparer par des méthodes corrélatives à des références apprises au préalable, ce qui permet de reconnaître et de localiser les objets perçus, même lorsque ceux-ci ne sont visibles que de façon partielle.  La première vidéo documente les cas plus favorables, où les pièces ne se superposent pas, et où donc un très bon contraste est possible entre pièces et substrat [6.2], alors que la seconde documente le cas des pièces superposées, où les contrastes sont forcément plus faibles, et les pièces ne sont très souvent visibles que partiellement [6.3].

Ces résultats de recherches, y compris le film, ont été publiés dans la communauté scientifique [yc. 6.4 et 6.5].

Fig. 6 Robotique avec vision pour application industrielle, y compris la manipulation de pièces superposées. Les vidéos [6.1]  documentent une approche en vision artificielle permettant de reconnaître et localiser des pièces industrielles, avec présentation théorique et tests de validation, comprenant un ordinateur, un numériseur d’images avec extraction de contours en temps réel [6.6], ainsi qu’une caméra et un robot. 

Références pour la vidéo 6

[6.1]  Jean-Daniel Dessimoz and Eric Gruaz, “Robot with Vision for the Recognition and Localization of Industrial Mechanical Parts”, videos, 1979, Signal Processing Lab (LTS), Swiss Federal Institute of Technology (EPFL), Lausanne, Switzerland; initially 16mm film (as presented at 9th ISIR, Washington), then 8mm, and finally digitized in 3 videos: part 1 [6.2], part 2 [6.3], and integrated version consisting in parts 1 and 2, along with [6.4].

[6.2]  Part 1 of [6.1]  : Case of non-overlapping workpieces, 6.5 min.: “Recognition and Localization of Multiple Non-overlapping Industrial Mechanical Parts” , video, Jean-Daniel Dessimoz and Eric Gruaz, 1979, Signal Processing Lab (LTS), Swiss Federal Institute of Technology (EPFL), Lausanne, Switzerland; 6.5 min. ; initially 16mm film, then 8mm, and finally digitized; https://roboptics.ch/f/p/LaRA/Publications/1979 ISIR – USA/1979 Robot with Vision – picking non-overlapping workpieces.mp4 last accessed Oct. 20, 2021

[6.3]  Part 2 of [6.1]: Case of overlapping workpieces, 6 min.: “Recognition and Localization of Overlapping Industrial Mechanical Parts” , video, Jean-Daniel Dessimoz, 1979, Signal Processing Lab (LTS), Swiss Federal Institute of Technology (EPFL), Lausanne, Switzerland; 6 min. ; initially 16mm film, then 8mm, and finally digitized; 542.2 Mb; https://www.roboptics.ch/f/p/LaRA/Publications/1979%20ISIR%20-%20USA/1979%20Robot%20with%20Vision%20-%20picking%20overlapping%20workpieces.mp4 last accessed Oct. 20, 2021.

[6.4]  J.-D. Dessimoz, M. Kunt, G.H. Granlund and J.-M. Zurcher, « Recognition and Handling of Overlapping Parts », Proc. 9th Intern. Symp. on Industrial Robots, Washington DC, USA, March 1979, pp. 357-366; incl. following video (part 3 of [6.1]  :   https://roboptics.ch/f/p/LaRA/Publications/1979 ISIR – USA/1979.03.jj Recognition and Handling of Overlapping Parts.pdf   last accessed Oct. 20, 2021.

[6.5] J.-D. Dessimoz, « Traitement de Contours en Reconnaissance de Formes Visuelles: Application à la Robotique », Thèse de Doctorat, Ecole Polytechnique Fédérale de Lausanne, Sept. l980, pp150. Thèse (pdf, 3.9 Mb) et Infos at EPFL

[6.6] P. Kammenos et J.-M. Zurcher,  » Polar encoding based workpiece localisation and recognition and robot handling », Proc. 8th Intern. Symp. on Industrial Robots, Stuttgart, Germany, May 30-June 2 1978.