Potrivit materialelor publicate de NVIDIA, Cosmos 3 este primul model AI fizic omnimodal complet deschis din lume. Bazat pe arhitectura hibridă Transformer proprietary a NVIDIA, modelul integrează atât ramuri de raționare, cât și de generare, permițând raționarea vizuală, generarea de lumi și predicția acțiunilor într-un singur model. Acesta poate reproduce cu acuratețe regulile fizice ale lumii reale, cum ar fi gravitația, coliziunea și frecarea. Spre deosebire de modelele multimodale generale, concepute în principal pentru generarea de conținut de divertisment, Cosmos 3 suportă nativ introducerea și generarea a cinci modalități: text, imagini, video, audio ambiental și mișcare umană și robotică. Preantrenat pe seturi de date fizice annotate la scară largă, modelul poate genera autonom date realiste despre scene și traiectorii de mișcare care respectă legile fizice ale lumii reale.
Informațiile oficiale arată că Cosmos 3 este planificat în mai multe niveluri de model. Versiunea Super, cu parametri mai mari, este destinat producătorilor auto și companiilor de robotică umanoidă pentru sintetizarea de date la scară largă și dezvoltarea de algoritmi avansați. Versiunea de bază vizează echipele de R&D mici și medii din diverse industrii, în timp ce versiunea Tiny este optimizată pentru implementarea locală pe hardware edge și integrat. NVIDIA a deschis complet greutățile modelului, codul sursă și seturile de date de evaluare suport, resursele fiind disponibile pe platforme deschise precum Hugging Face și GitHub. Dezvoltatorii din întreaga lume pot accesa resursele gratuit și le pot ajusta după nevoie. În ceea ce privește eficiența implementării, NVIDIA afirmă că modelul poate comprima ciclurile tradiționale de simulare și depanare pentru robotică, conducere autonomă și proiecte digitale twin industriale de la câteva luni la doar câteva zile, ajutând la reducerea costului de colectare a datelor și testare pentru dezvoltarea AI fizice.
Pe lângă anunțul produsului, NVIDIA a dezvăluit de asemenea strategia sa de ecosistem prin formarea Coaliției NVIDIA Cosmos, o alianță globală de colaborare. Membrii fondatori includ laboratoare AI de frunte și companii de robotică, cum ar fi Agile Robots, Black Forest Labs, Runway, LTX și Skild AI. În cadrul cadrului de colaborare al coaliției, organizațiile membre pot împărtăși întreaga stivă tehnologică Cosmos 3, pot accesa resursele de calcul NVIDIA DGX Cloud după necesitate și pot schimba algoritmi, benchmark-uri și date de testare din industria reală. Alianța își propune să dezvolte în comun standarde comune pentru modelele open world și să accelereze iterația și comercializarea tehnologiilor AI fizice de generație următoare.
Informațiile disponibile public indică că mai mulți producători auto și fabricanți de echipamente de automatizare au început deja testarea internă a proiectelor bazate pe Cosmos 3. Scenariile potențiale de implementare includ dezvoltarea roboților umanoid, simularea condusului autonom, inspecția vizuală industrială și crearea de conținut digital realist.