Introductie
De visie van multitaskende robots, zoals de iconische Rosie uit "The Jetsons", is al lang een wens in de robotica. Het trainen van robots voor algemeen gebruik blijft echter een grote uitdaging. Traditioneel verzamelen ingenieurs data die specifiek is voor een robot en een specifieke taak in gecontroleerde omgevingen, een proces dat niet alleen duur en tijdrovend is, maar ook het vermogen van de robot beperkt om zich tijdens de training aan te passen aan nieuwe taken of onvoorziene omgevingen.
Inspiratie halen uit grootschalige taalmodellen
Onderzoekers van MIT hebben een nieuwe aanpak voorgesteld om deze uitdagingen het hoofd te bieden, geïnspireerd door grootschalige taalmodellen zoals GPT-4. Deze modellen worden vooraf getraind met enorme hoeveelheden diverse data en vervolgens verfijnd met een kleine hoeveelheid taakspecifieke data. Deze strategie stelt het model in staat zich aan te passen en goed te presteren op diverse taken, dankzij de uitgebreide kennis die tijdens de voortraining is opgedaan.
In de robotica zijn data zeer heterogeen, variërend van camerabeelden tot proprioceptieve signalen die de positie en snelheid van een robotarm monitoren. Bovendien heeft elke robot unieke mechanische eigenschappen, zoals een verschillend aantal armen, grijpers en sensoren. De omgevingen waarin data wordt verzameld, variëren ook sterk. Om deze heterogeniteit aan te pakken, is een architectuur nodig die deze diverse datatypen kan verenigen in een formaat dat begrijpelijk is voor de robot.
De heterogene voorgeprogrammeerde transformatoren (HPT)-architectuur
Het MIT-team ontwikkelde een nieuwe architectuur genaamd Heterogeneous Pretrained Transformers (HPT) die data uit meerdere modaliteiten en domeinen verenigt. De kern van deze architectuur wordt gevormd door een machine learning-model, een zogenaamde transformer, hetzelfde type dat de basis vormt voor grote taalmodellen.
De onderzoekers brachten gegevens over het gezichtsvermogen en de proprioceptie op één lijn (cbewustzijn van houding, beweging, verschillende lichaamsdelen en veranderingen in evenwicht, evenals sensaties van beweging en positie van gewrichten) in een gemeenschappelijk invoertype, een zogenaamde "token", dat de transformer kan verwerken. Elke invoer wordt weergegeven met hetzelfde vaste aantal tokens, waardoor het model informatie uit verschillende bronnen uniform kan verwerken. De transformer brengt vervolgens alle invoer in kaart in een gedeelde ruimte en groeit zo uit tot een enorm, vooraf getraind model naarmate het meer data verwerkt en ervan leert. Hoe groter de transformer wordt, hoe beter de prestaties.
Voordelen en prestaties van HPT
Een van de belangrijkste voordelen van deze aanpak is dat een gebruiker slechts een kleine hoeveelheid gegevens hoeft te verstrekken over het ontwerp, de configuratie en de beoogde taak van de robot. HPT draagt de kennis die tijdens de voortraining is opgedaan over op het leren van de nieuwe taak. Dit maakt het trainingsproces sneller en goedkoper, omdat er veel minder taakspecifieke gegevens nodig zijn.
Tijdens tests verbeterde HPT de robotprestaties met meer dan 20% in zowel gesimuleerde als echte taken, vergeleken met een training vanaf nul. Zelfs wanneer de taak sterk afweek van de gegevens vóór de training, liet HPT nog steeds significante verbeteringen zien. Dit wijst op een opmerkelijk generalisatievermogen, cruciaal voor robots die in onvoorspelbare omgevingen moeten werken of voorheen niet-geprogrammeerde taken moeten uitvoeren.
Uitdagingen waar we voor staan
Een van de grootste uitdagingen bij het ontwikkelen van de HPT was het opbouwen van de enorme dataset die nodig was om de transformator voor te trainen. Deze dataset omvatte 52 datasets met meer dan 200.000 robottrajecten in vier categorieën, waaronder video's van menselijke demonstraties en simulaties. Daarnaast moesten de onderzoekers een efficiënte manier ontwikkelen om ruwe proprioceptieve signalen van diverse sensoren om te zetten in data die de transformator kon verwerken.
"Proprioceptie is cruciaal voor het mogelijk maken van veel rechtshandige bewegingen", legt Lirui Wang, hoofdauteur van de studie, uit. "Omdat het aantal tokens in onze architectuur altijd hetzelfde is, hechten we evenveel belang aan proprioceptie als aan zicht."
De toekomst van robotica met HPT
In de toekomst willen de onderzoekers onderzoeken hoe datadiversiteit de prestaties van HPT verder kan verbeteren. Ze hopen HPT ook te verbeteren, zodat het ongelabelde data kan verwerken, in navolging van grootschalige taalmodellen zoals GPT-4. Dit zou kunnen leiden tot een systeem waarbij de robot continu leert van nieuwe ervaringen, zonder dat er voortdurend menselijke tussenkomst nodig is om data te labelen.
"Onze droom is een universeel robotbrein dat je zonder enige training kunt downloaden en op je robot kunt gebruiken", zegt Wang. "Hoewel we nog in de beginfase zitten, blijven we doorzetten en hopen we dat schaalbaarheid tot doorbraken in het roboticabeleid zal leiden, net zoals dat met grote taalmodellen is gebeurd."
Conclusie
Het MIT-onderzoek betekent een belangrijke stap voorwaarts in de zoektocht naar efficiënte en aanpasbare robots voor algemeen gebruik. Door grote hoeveelheden heterogene data te combineren tot een uniforme architectuur, hebben de onderzoekers de weg vrijgemaakt voor robots die een breed scala aan taken kunnen leren zonder dat ze voor elke nieuwe situatie uitgebreid hoeven te worden getraind. Deze aanpak heeft de potentie om de robotica te revolutioneren en de ontwikkeling mogelijk te maken van veelzijdigere robots die zich kunnen aanpassen aan onbekende omgevingen en taken. Dit brengt ons steeds dichter bij de visie van robots zoals Rosie van The Jetsons.
Referências
Dit werk werd mede gefinancierd door het Amazon Greater Boston Tech Initiative en het Toyota Research Institute. Het onderzoek werd gepresenteerd op de conferentie over neurale informatieverwerkingssystemen en is volledig te lezen in het artikel "Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers".
