Les robots humanoïdes deviennent de plus en plus pratiques. Lors de la conférence des développeurs de la GTC, Nvidia est entré dans la danse avec le projet GR00T (prononcé Ground Robot).
Entraînant son incarnation humanoïde à l’aide de simulations accélérées par le GPU de NVIDIA, il utilise l’apprentissage par imitation à partir d’une poignée de démonstrations pour acquérir des compétences par imitation. Isaac Lab assure l’apprentissage par renforcement, tandis qu’OSMO sert de service d’orchestration informatique pour générer les mouvements du robot à partir de données vidéo.
Qu’est-ce que le projet GR00T ?
Jensen Huang, PDG de Nvidia, a présenté la technologie Generalist Robot 00 (GR00T), le dernier effort de la société en matière de robotique et d' »intelligence artificielle incarnée », lors de son discours d’ouverture de la 2024 GPU Technology Conference (GTC). Selon Nvidia, le GR00T permet aux robots de comprendre le langage naturel tout en imitant des mouvements en regardant d’autres personnes effectuer des actions spécifiques. Cela devrait leur permettre d’acquérir de la coordination, de la dextérité et d’autres compétences nécessaires pour s’adapter et interagir avec des situations réelles, selon Nvidia.
Lors de sa présentation, Nvidia a présenté plusieurs robots humanoïdes équipés de sa puce GR00T, provenant d’entreprises telles que Agility Robotics, Apptronik, Fourier Intelligence et Unitree Robotics, effectuant diverses tâches et visant à démontrer à la fois sa puissance en tant que dispositif d’apprentissage et une interaction homme-robot plus sûre.
La plateforme informatique Jetson Thor de Nvidia a fourni la puissance nécessaire à ces démonstrations, conçue spécifiquement pour répondre aux tâches complexes requises par les robots humanoïdes. Basé sur l’architecture Blackwell de Nvidia, ce système sur puce peut fournir jusqu’à 800 téraflops de performances d’IA pour les robots humanoïdes, en leur fournissant suffisamment de puissance de traitement pour exécuter des modèles génératifs multimodaux et d’autres systèmes d’IA.
Nvidia a dévoilé non seulement son dernier ordinateur, mais aussi une suite de logiciels et de matériel pour les robots humanoïdes : Isaac Manipulator et Isaac Perceptor, ainsi que des modèles pré-entraînés, des bibliothèques et du matériel de référence qui permettront aux développeurs de créer des robots plus puissants, plus rapides et plus sûrs.
Nvidia a récemment dévoilé une mise à jour de sa plateforme robotique Isaac qui permettra aux robots humanoïdes construits sur GR00T d’utiliser l’IA générative pour l’apprentissage et l’adaptation. Ce système comprend Isaac Lab pour l’apprentissage par renforcement, le service d’orchestration informatique OSMO et des outils pour la création de modèles de base pour les robots humanoïdes ; en outre, Isaac Arms améliore les performances du bras du robot, tandis qu’Isaac Perceptor gère la vision informatique 3D multi-caméras.
Découvrez les meilleurs cours d’intelligence artificielle, cliquez ici !
Quel est l’objectif de GR00T ?
Nvidia espère renforcer les capacités des robots humanoïdes grâce au projet GR00T, son modèle de base pour la technologie Generalist Robot 00 (sans rapport avec l’arbre spatial maléfique parlant de Marvel). Ce modèle innovant permet aux robots de comprendre le langage naturel, d’imiter les mouvements en observant les actions et d’apprendre rapidement la coordination, la dextérité et d’autres compétences essentielles pour la navigation, l’adaptation et l’interaction dans des situations réelles. Le PDG Jensen Huang a démontré ces avantages lors d’une présentation à la conférence des développeurs de la GTC et a montré des robots GR00T accomplissant des tâches qui seraient normalement difficiles pour d’autres robots. Lors de sa présentation à la GTC, le PDG Jensen Huang a montré ces robots en train d’effectuer des tâches que d’autres technologies robotiques auraient du mal à accomplir.
La plateforme robotique Nvidia Isaac offre aux développeurs une boîte à outils complète pour concevoir, simuler et déployer des robots alimentés par l’IA. Il s’agit notamment de l’apprentissage par renforcement accéléré par le GPU dans Isaac Lab, du service d’orchestration informatique OSMO qui gère les flux de travail de développement de robots réels et synthétiques, ainsi que des modèles pré-entraînés appelés Isaac Manipulator et Isaac Perceptor qui offrent respectivement des performances plus rapides pour le bras du robot et une vision informatique 3D multicaméra améliorée.
Nvidia fournit sa propre puissance de calcul pour donner vie à GR00T, en utilisant Jetson Thor comme ordinateur humanoïde de choix. Équipée de l’architecture graphique Blackwell et d’un moteur de transformation capable de fournir 800 téraflops de performances AI 8 bits, la Jetson Thor permet aux flux de travail de simulation et aux modèles d’IA génératifs tels que GR00T de fonctionner de manière transparente, selon Nvidia lors d’une séance d’information en personne.
Nvidia positionne sa plateforme comme l’environnement informatique idéal pour les robots humanoïdes, en partenariat avec Figure AI, 1X Technologies et Agility Robotics pour proposer des solutions basées sur cette plateforme. En plus de soutenir le GR00T à partir de Apollo d’Apptronik robot utilisant la technologie Nvidia, Apollo apprendra de nouvelles tâches en observant rapidement des démonstrations humaines plutôt qu’en se contentant d’une programmation complexe. Cette approche s’inscrit dans la stratégie d' »IA incarnée » de Nvidia, qui consiste à créer des ordinateurs puissants dotés d’une intelligence artificielle capable de percevoir, de comprendre et d’interagir avec la réalité dans des environnements concrets.
Découvrez les meilleurs cours d’intelligence artificielle, cliquez ici !
Quelle est la technologie du GR00T ?
Le projet GR00T, ou Generalist Robot 00 Technology comme il est communément appelé, permettra aux robots d’apprendre de l’homme en imitant ses mouvements en le regardant bouger. De cette manière, les robots acquièrent rapidement la coordination, la dextérité, l’adaptabilité et d’autres compétences essentielles nécessaires à la navigation dans des situations réelles, sans avoir à subir des années d’entraînement rigoureux ou à risquer un soulèvement de la part de leurs congénères.
Jensen Huang, PDG de Nvidia, a montré comment le GR00T pourrait aider les robots humanoïdes à être plus intelligents et plus fonctionnels lors de sa présentation à la GTC 2024, en montrant un exemple dans lequel un robot équipé de cette technologie a appris à bouger la tête et les bras en regardant les humains effectuer ces mouvements avant de les reproduire de manière autonome. Selon Nvidia, ce type d’apprentissage permettra de créer des systèmes robotiques plus fonctionnels et moins coûteux.
Nvidia a récemment dévoilé Jetson Thor, un système sur puce optimisé pour répondre aux exigences de performance, de puissance et de taille du développement de robots humanoïdes basés sur le GR00T. Cet ordinateur est équipé du GPU Blackwell de NVIDIA ainsi que d’un moteur de transformation de l’IA délivrant 800 téraflops de performances pour faciliter les processus de conception robotique pour les développeurs de robots.
NVIDIA Isaac, plate-forme robotique conçue pour fournir un écosystème de développement et de simulation de bout en bout pour l’incarnation des robots, comprend NVIDIA Isaac Lab pour l’apprentissage par renforcement ainsi que le service d’orchestration informatique OSMO qui offre des services de simulation d’entraînement et de validation du matériel dans la boucle. En outre, la plateforme Isaac a également été enrichie de nouveaux modules tels que Isaac Manipulator, qui offre des performances rapides pour les bras robotiques, et Isaac Perceptor, qui offre des capacités de vision 3D multi-caméras.
Nvidia affirme que ses plateformes GR00T et Isaac inaugureront une ère d’IA incarnée où les robots intelligents et adaptatifs deviendront omniprésents. Nvidia espère que les développeurs utiliseront ses logiciels, ses outils et son matériel pour créer différents types de robots adaptés à diverses utilisations – en utilisant des algorithmes open source ainsi que des API qui simplifient le développement de logiciels pour des robots ou des tâches spécifiques.
Découvrez les meilleurs cours d’intelligence artificielle, cliquez ici !
Quel est l’impact du GR00T ?
Le projet GR00T de Nvidia se distingue dans le domaine de la robotique et de l’IA incarnée (IA qui peut s’intégrer physiquement dans des environnements physiques), en tant que modèle génératif multimodal, servira de cerveau à des robots capables de comprendre le langage humain et d’imiter les mouvements en regardant les gens – apprenant rapidement la coordination, la dextérité et d’autres compétences nécessaires pour s’adapter et interagir avec les environnements de la vie réelle. Lors de sa présentation à la GTC, le PDG Jensen Huang a montré des robots humanoïdes alimentés par le GR00T effectuant diverses tâches avec succès lors de sa présentation à la GTC.
Nvidia a conçu Jetson Thor, un système sur puce spécialement conçu pour aider à construire des robots humanoïdes utilisant le GR00T, en tant qu’ordinateur spécifiquement destiné à être utilisé pendant le développement de ces robots humanoïdes. Conçue pour gérer la complexité tout en assurant une interaction sûre et intuitive entre l’homme et le robot, son architecture modulaire optimise les performances, la puissance et la taille tout en offrant 800 téraflops de performances d’IA 8 bits – une puissance suffisante pour faire fonctionner des modèles génératifs multimodaux tels que GR00T.
Nvidia a également annoncé des mises à jour de sa plateforme Isaac qui faciliteront la conception et le déploiement de robots dotés d’IA, notamment de nouveaux modules tels que Manipulator et Perceptor qui offrent une dextérité de pointe et une IA modulaire pour les bras robotiques et les robots mobiles, ainsi que Isaac Lab qui permet une simulation parallèle rapide dans des environnements virtuels accélérés par le GPU.
Figure AI, Agility Robotics, Boston Dynamics, Apptronik et Sanctuary AI se sont déjà associés à Nvidia pour intégrer sa technologie dans leurs produits. Nvidia présentera deux partenariats de ce type lors de ce salon ; ces avancées devraient accélérer le déploiement de l’IA dans les environnements de travail réels et permettre à un plus grand nombre de personnes d’y avoir accès.
Êtes-vous prêt à avoir votre flotte de robots humanoïdes ? Contactez-nous aujourd’hui!
