Un team dell’Università di Tokyo ha presentato Alter3, un robot umanoide in grado di eseguire movimenti utilizzando il GPT-4 Large Language Model (LLM). Alter3 utilizza lo strumento più recente Apri AI per assumere dinamicamente diverse pose, da una posa selfie al ghosting, il tutto senza la necessità di voci di database preprogrammate.
"La risposta di Alter3 al contenuto conversazionale utilizzando espressioni facciali e gesti rappresenta un progresso significativo nella robotica umanoide che è facilmente adattabile ad altri androidi con modifiche minime", hanno affermato i ricercatori.
Nel campo dell'integrazione LLM con i robot, l'attenzione è rivolta al miglioramento della comunicazione di base e alla modellazione di risposte realistiche. I ricercatori stanno inoltre analizzando le capacità di LLM per consentire ai robot di comprendere ed eseguire istruzioni complesse, aumentando così la loro funzionalità.
Tradizionalmente, gestione di basso livello robot è legato all'hardware e non rientra nell'ambito di competenza delle società LLM. Ciò crea difficoltà per la gestione diretta delle opere basate sul LLM. Risolvendo questo problema, il team giapponese ha sviluppato un metodo per convertire le espressioni dei movimenti umani in codice comprensibile per Android. Ciò significa che il robot può generare in modo indipendente sequenze di azioni nel tempo senza la necessità che gli sviluppatori programmino individualmente ciascuna parte del corpo.
Durante l'interazione, una persona può impartire comandi ad Alter3 come “Scatta un selfie con il tuo iPhone”. Successivamente, il robot avvia una serie di richieste a GPT-4 per ottenere indicazioni sui passaggi necessari. GPT-4 tradurrà tutto questo in codice Python che permette all'opera di “capire” ed eseguire i movimenti necessari. Questa innovazione consente ad Alter3 di muovere la parte superiore del corpo mentre la parte inferiore rimane ferma, attaccata al supporto.
Alter3 è la terza iterazione della serie di robot umanoidi Alter dal 2016, che vanta 43 attuatori responsabili delle espressioni facciali e dei movimenti degli arti alimentati da aria compressa. Questa configurazione fornisce un'ampia gamma di gesti espressivi. Il robot non può camminare, ma può imitare i movimenti tipici della camminata e della corsa.
Alter3 ha anche dimostrato la capacità di copiare pose umane utilizzando la fotocamera e il framework OpenPose. Il robot adatta le sue articolazioni alle posture osservate e salva le imitazioni riuscite per un uso successivo. L’interazione con un essere umano ha portato a posture più varie, supportando l’idea che movimenti diversi derivino dall’imitazione dell’essere umano, in modo simile a come i neonati imparano attraverso l’imitazione.
Prima del LLM, i ricercatori dovevano controllare attentamente tutti i 43 attuatori per ricreare la posa di una persona o simulare un comportamento, come servire il tè o giocare a scacchi. Ciò ha richiesto numerose regolazioni manuali, ma AI ha contribuito a liberare la squadra da questa routine. “Ci aspettiamo che Alter3 si impegni efficacemente nel dialogo mostrando espressioni facciali e gesti rilevanti per il contesto. Ha dimostrato la capacità di rispecchiare le emozioni, ad esempio, di mostrare tristezza o felicità in risposta, condividendo così le emozioni con noi", affermano i ricercatori.
Leggi anche: