Mistral AI se lance dans la robotique avec Robostral Navigate

Après les modèles de langage, la robotique. Mistral AI a présenté le 8 juillet Robostral Navigate, son premier modèle conçu pour la navigation des robots. Il relève de l’IA physique : ces intelligences artificielles qui ne se contentent plus de produire du texte, mais pilotent des machines dans le monde réel.

Une seule caméra pour se repérer

Robostral Navigate compte 8 milliards de paramètres. Il reçoit des images et une consigne en langage courant, par exemple quitter le hall, suivre le couloir et s’arrêter face à une étagère, puis il guide le robot jusqu’au but. Sa particularité : il se contente d’une seule caméra couleur (RGB), sans lidar ni capteur de profondeur. D’après le rapport technique publié ensuite par l’entreprise, les meilleurs systèmes actuels dépendent au contraire de capteurs de profondeur, de plusieurs caméras ou de cartes construites à l’avance.

Pour avancer, le modèle « pointe » dans l’image l’endroit où le robot doit se rendre, avec l’orientation voulue à l’arrivée. Selon Mistral, cette méthode le rend utilisable sur des robots à roues, des robots à pattes et des drones, de tailles différentes.

Sur le banc d’essai de référence R2R-CE, qui consiste à suivre des instructions de navigation dans des environnements absents de l’entraînement, l’entreprise annonce un taux de réussite de 76,6 % dans des environnements jamais vus et de 79,4 % dans des environnements connus. Elle affirme devancer de 9,7 points la meilleure méthode à caméra unique et de 4,5 points le meilleur système utilisant la profondeur ou plusieurs caméras. Le rapport technique, mis en ligne sur arXiv le 22 juillet, avance pour sa part 77,4 % sur R2R-CE. Ces chiffres sont communiqués par Mistral et devront être confirmés par des évaluations indépendantes.

Entraîné uniquement en simulation

Le modèle a été conçu entièrement en interne et entraîné exclusivement en simulation, sur environ 2,4 millions de trajectoires réparties dans 350 000 scènes virtuelles. Cette approche permet de produire de grandes quantités de données d’apprentissage sans mobiliser de robots physiques, l’un des grands défis de la robotique actuelle. Une phase d’apprentissage par renforcement a ensuite amélioré le taux de réussite de 3,2 points, et Mistral dit ne pas observer de plafond.

Aucune date de disponibilité n’a été annoncée. Mistral indique renforcer son équipe robotique et recruter des chercheurs et des ingénieurs.

En mai, l’entreprise avait par ailleurs annoncé l’acquisition d’Emmi AI, start-up autrichienne de Linz spécialisée dans la simulation physique par IA pour l’industrie, dans le cadre de sa stratégie tournée vers les industriels.

Pourquoi c’est important

• Mistral AI entre dans la course aux modèles d’IA pour robots, avec un modèle de taille modeste développé en Europe.
• Se passer de capteurs comme le lidar et de cartes préalables pourrait réduire le coût et élargir le choix du matériel : c’est l’argument avancé dans le rapport technique. Mistral cite des usages dans l’industrie, la livraison, la logistique et l’hôtellerie.
• Pour les ingénieurs, c’est un signal : les compétences en vision et IA robotique sont au cœur de ce type de projet, et Mistral recrute pour son équipe robotique.