把Stable Diffusion 接入機器人會怎樣?
告訴它你想讓它畫什麽,然後一筆一筆畫出來。
隻見它一邊與旁邊的人類工程師談笑風生,一邊熟練地用馬克筆在白闆上畫出一隻簡筆的貓。
最後還不忘簽下自己的名字"Ameca",然後擡起執筆的手,用眼神繼續審視着剛剛完成的作品。
當 Ameca 詢問人類對它的作品是否滿意的時候,工程師老哥耿直地回答 " 這畫的有點簡略了 "。
然後高能來了。
Ameca 生氣地嗆了回去:
如果你不喜歡我的畫,你可能隻是不懂藝術。
機器人 Ameca,來自英國公司Engineered Arts,之前就以表情逼真到吓人出名過一次。
現在它 get 到用筆畫畫的新能力,又驚豔了一衆網友。
每一筆畫完後輕輕舉起筆,就像一個真正的素描藝術家一樣,這個小細節太酷了。
機器人怎麽用筆畫畫的?
Ameca 具體是怎麽學會畫畫的,它自己就能解釋明白:
我使用開源的 Stable Diffusion,對生成的圖像做骨架化和向量化,然後再把轉化出的軌迹轉換成動作并執行。
就這樣,Ameca 的身體動作和面部表情由 Engineered Arts 自研技術驅動,語言能力來自 GPT-3(沒錯,不是 3.5),再加上 Stable Diffusion,組成了一位機器人畫家。
有網友表示,這樣的能力在教育中很有用,對于學生來說,用機器人比盯着電腦屏幕看有意思多了。
Engineered Arts 自研技術包括機器人操作系統 Tritium 和機器人生産平台 Mesmer。
首先用 36 台攝像機無死角捕捉海量真人面部數據,包括骨骼結構,皮膚紋理和表情等。
對這些數據做 3D 建模,并 3D 打印出機器人的矽膠皮膚。
Tritium 操作系統連接了硬件、軟件和雲端,可以驅動機器人的每一個組件,除了面部,還會牽動頭頸、肢體的不同 " 肌肉 "。
最終實現更逼真的表情。
再加上語言模型 GPT-3 和語音技術,Ameca 已經初步具備了與人類互動的能力。
這次除了畫畫以外,Engineered Arts 還公布了另一條人類與 Ameca 讨論音樂的視頻,或許暗示這是下一個挑戰方向。
Ameca 說自己喜歡爵士古典和電子樂,人類給他出的難題 " 如果要把這三種風格融合在一起寫一首歌,第一句歌詞是什麽。"
Ameca 略加思索就給出了回答。
另外 Ameca 還在搞一場與網友互動的活動。
如果你有什麽問題想問它,可以去原視頻評論區留言,下一條視頻可能就是 Ameca 回答你的問題了。
參考鏈接:
[ 1 ] https://www.youtube.com/watch?v=_1OA_9_wW70
[ 2 ] https://www.youtube.com/watch?v=L32BRcvnWRU
[ 3 ] https://www.engineeredarts.co.uk/mesmer-creation/