Lo sviluppo dei robot umanoidi si è mosso a un ritmo lento per quasi due decenni, ma recentemente abbiamo assistito a sempre più progressi in questo campo. Come abbiamo scritto di recente, al MWC 2024 è stato presentato un robot AI America, e un altro sviluppo, Unitree H1, ha battuto il record di velocità tra i robot umanoidi. E ora su Internet è apparso uno spettacolare risultato della collaborazione tra le società Figure AI e OpenAI: uno straordinario video di un robot umanoide che ora può conversare con le persone.
Startup Figure AI ha rilasciato un video che mostra il robot Figure 01 che lavora con il nuovo Visual Language Model (VLM). In esso, la Figura 01 è in piedi davanti a un tavolo su cui ci sono un piatto, una mela e una tazza. C'è un'asciugatrice sulla sinistra. E alla domanda di una persona su cosa vede il robot davanti a lui, risponde descrivendo in dettaglio tutto ciò che giace sul tavolo.
E poi l'uomo chiede se può mangiare qualcosa, e il robot risponde: "Certo", e poi con un movimento abile e fluido prende la mela e la porge all'uomo. Successivamente arriva un'altra straordinaria dimostrazione: un uomo versa la spazzatura accartocciata da un cestino davanti alla Figura 01 e chiede al robot di spiegare perché lo ha fatto, e allo stesso tempo raccoglie la spazzatura nel cestino. E spiega il suo "pensiero" rimettendo il foglio nella spazzatura. "Così ti ho dato una mela perché è l'unico oggetto commestibile che potrei darti dal tavolo," disse il robot.
I rappresentanti dell'azienda hanno spiegato che la Figura 01 utilizza un modello multimodale pre-addestrato OpenAI, VLM, per comprendere immagini e testi e si basa su istruzioni vocali per generare le sue risposte. Questo è diverso, ad esempio, dal GPT-4 di OpenAI, che si concentra su istruzioni scritte.
Utilizza anche ciò che l'azienda chiama "manipolazioni bimanuali apprese di basso livello". Il sistema coordina una calibrazione precisa dell'immagine (fino al livello dei pixel) con la sua rete neurale per il controllo del movimento. "Queste reti ricevono immagini a 10 Hz e generano azioni 24-DOF (pose del polso e angoli delle articolazioni delle dita) a 200 Hz", ha affermato Figure AI in una nota.
L'azienda afferma che ogni comportamento nel video si basa sull'apprendimento del sistema, quindi nessuno dietro le quinte tira le fila della Figura 01. Naturalmente, c'è una sfumatura: non si sa quante volte il robot abbia eseguito questa procedura. Forse era la centesima volta, il che spiega i suoi movimenti precisi. Ma in ogni caso, questo risultato sembra spettacolare e un po' fantastico.
La Figura 01 sta ora completando le attività del mondo reale
Tutto è autonomo:
-Navigazione autonoma e manipolazione basata sulla forza
- Modello di visione appreso per il rilevamento e la definizione delle priorità dei contenitori
-Manipolazione reattiva del contenitore (robusta per variare la posa)
-Generalizzabile ad altre attività di pick/place pic.twitter.com/0wFmYnq0GC— Figura (@Figure_robot) 26 Febbraio 2024
Leggi anche: