Kalbant apie itin žmogišką Vakarų pasaulis– Stiliaus robotai, vienas iš svarbiausių jų bruožų yra lūpos, kurios juda tobulai sinchroniškai su ištartais žodžiais. Naujas robotas ne tik sportuoja, bet ir gali treniruoti save kalbėti kaip žmogus.
Robotikos mokslų daktaro Yuhango Hu, profesoriaus Hodo Lipsono ir kolegų iš Kolumbijos universiteto sukurtas EMO „robotas“ iš tikrųjų yra roboto galvutė su 26 mažais varikliais, esančiais po lanksčia silikonine veido oda. Kadangi tie varikliai įjungiami įvairiais deriniais, veidas įgauna skirtingas išraiškas, o lūpos formuoja skirtingas formas.
Mokslininkai pradėjo pastatydami EMO prieš veidrodį, kur jis galėjo stebėti save, kai atsitiktinai padarė tūkstančius atsitiktinių veido išraiškų. Tai leido sužinoti, kurie motorinių aktyvacijų deriniai sukuria kokius vizualius veido judesius. Šio tipo mokymasis yra vadinamas „vizijos į veiksmą“ (VLA) kalbos modeliu.
Tada robotas žiūrėjo daugybę valandų „YouTube“ vaizdo įrašų, kuriuose žmonės kalba ir dainuoja, kad suprastų, kurie burnos judesiai lydi kokius balso garsus. Jos AI sistema vėliau sugebėjo sujungti šias žinias su tuo, ką išmoko naudodama VLA modelį, leisdama suformuoti lūpų judesius, atitinkančius žodžius, kuriuos ji kalbėjo per sintetinį balso modulį.
Robotas mokosi sinchronizuoti lūpas
Technologija vis dar nėra tobula, nes EMO kovoja su tokiais garsais kaip „B“ ir „W“. Tačiau tai turėtų pasikeisti, kai jis įgyja daugiau kalbėjimo praktikos, kaip ir gebėjimas užmegzti natūraliai atrodančius pokalbius su žmonėmis.
„Kai lūpų sinchronizavimo galimybė derinama su pokalbio AI, pvz., „ChatGPT“ ar „Gemini“, efektas prideda visiškai naują ryšį roboto ir žmogaus kuriamam ryšiui“, – sako Hu. „Kuo daugiau robotas stebės besikalbančius žmones, tuo geriau jis imituos niuansuotus veido gestus, su kuriais galime emociškai susisiekti. Kuo ilgesnis pokalbio konteksto langas, tuo šie gestai taps jautresni kontekstui.”
Straipsnis apie tyrimą neseniai buvo paskelbtas žurnale Mokslo robotika.
Šaltinis: Kolumbijos universitetas
Nuoroda į informacijos šaltinį