Apples nya forskning, som beskrivs i "Humanoid Policy ∼ Human Policy", introducerar ett banbrytande sätt att träna humanoida robotar. Det här innovativa tillvägagångssättet, ett samarbete med toppuniversitet, använder förstapersonsdemonstrationer av människor, ofta inspelade med en Apple Vision Pro, för att göra robotinlärning mer effektiv och prisvärd. Det är ett betydande steg från de traditionella, komplexa metoderna för att lära ut robotar.
Kärnidén är att samla in egocentriska mänskliga demonstrationer, som är videor av människor som utför uppgifter från sitt eget perspektiv. Detta står i skarp kontrast till den dyra och arbetskrävande processen att endast samla in robotgenererad träningsdata. Genom att kombinera över 25 000 mänskliga och 1 500 robotdemonstrationer till en enhetlig datamängd som kallas PH2D, strävar Apple efter att skapa en enda AI-policy som förstår både mänskliga och robotars handlingar, vilket avsevärt förbättrar effektiviteten.
För att uppnå detta utvecklade Apple en specifik app för Vision Pro. Den använder headsetets kamera och ARKit för att fånga exakta 3D-huvud- och handrörelser, vilket ger den detaljerade handlingsdata som robotar behöver. För att göra detta tillgängligt skapade Apple också ett fäste för en ZED Mini stereokamera, vilket möjliggör liknande högkvalitativ datainsamling med mer prisvärda headset som Meta Quest 3.
Denna nya metod förbättrar träningseffektiviteten drastiskt. Även om traditionell teleoperation kan ta evigheter, registrerar Apples tillvägagångssätt fullständiga demonstrationer på några sekunder, vilket minskar kostnaderna och ökar skalbarheten. Intressant är att mänskliga demonstrationsvideor saktas ner med en faktor fyra under träning för att matcha robothastigheter, vilket förenklar inlärningsprocessen utan extra justeringar.
Rekommenderad läsning:Apple utvecklar robotar för smarta hem, men förvänta dig dem inte före 2028
Kärnan i detta system är Human Action Transformer (HAT)-modellen. HAT bearbetar både mänskliga och robotdemonstrationer i ett enhetligt format och lär sig universella regler för manipulationsuppgifter. Detta integrerade tillvägagångssätt gör att robotar kan bemästra nya och obekanta uppgifter mer effektivt, vilket kräver mindre data än traditionell robotutbildning.
Studien "Humanoid Policy ∼ Human Policy" visar upp ett avgörande ögonblick inom AI och robotik, och visar hur mänskliga insikter kan påskynda utvecklingen av sofistikerade humanoida robotar.
Kolla in hela tidningenhär.