注意看,這人的面前沒有鍵盤。
但他在桌上做出打字動作後,電腦屏幕上就出現了對應的字母:
△亞克力闆隻印刷了鍵位,不發出信号
這個神奇的 " 虛空打字 " 能力,來自一款智能皮膚。
與其他材料不同,它可以像噴霧一樣被附着在手上,其中的微型電子網絡可以感知皮膚的變形情況。
不止是憑空打字,有了它甚至能通過觸摸 3D 物體感知形狀、以及用電腦識别手語。
如果将它噴到臉上,還可以識别人臉面部表情,在元宇宙裡做個有表情的人指日可待了(doge)
這款智能皮膚來自斯坦福鮑哲南團隊、韓國建國大學、首爾大學和 KAIST,目前已經登上 Nature Electronics。
所以它究竟是如何識别手勢的?
超薄皮膚如何識别手指信号?
先來看看這塊皮膚是如何基于 " 超薄材料 " 收集手指信号的。
整體來看,它由一個無線信号收發模塊和一塊納米級網狀網絡組成。
其中,無線模塊用于收集并傳輸從人類手上感知到的皮膚變形狀态,當人類的手指皮膚因為拉伸産生變形時,相應部位就會改變網絡導電能力(電導率),從而成功傳遞手部運動信号。
至于納米級網絡的 " 網線 ",則由一個 " 金包銀 " 的結構制成,即銀線外面鍍金。
這樣既能保證強大拉伸能力,又可以抵抗反複的摩擦力,同時還能确保一定的透氣性和生物相容性(降低過敏概率)。
将智能皮膚噴塗到手上,隻需要将手伸進一個特殊的 " 印刷機 " 裡:
在那之後,就是用 AI 算法來識别不同的手部信号、并判斷它具體在做什麼動作了。
論文基于對比學習開發了一種 AI 算法,可以區分不同的未标記運動信号。
然而,雖然皮膚噴塗能很好地适應不同大小的手,但對于 AI 算法來說可不是這樣。
一方面,目前針對智能皮膚收集的 AI 數據有限,用來訓練遠遠不夠;另一方面,由于不同人手部差異較大,即使 AI 模型成功學習,運用到不同手上也會出現差異性的效果。
如何解決這一問題?
不同大小的手怎麼适應?
作者們想到用元學習的方式,基于少量數據快速讓 AI 算法适應不同大小的手。
首先,基于已有的傳感器信号數據進行無監督學習,讓模型掌握基本識别能力。
随後收集任意用戶擊打9 宮格數字的少鏡頭标注數據集,快速訓練模型學會識别對應的動作,相當于給不同的人定制專屬模型。
這樣的思路還能被用在适應更多其他任務上。
不止是輸入 9 宮格數字,類似的預測還能被用在雙手鍵盤輸入上。
如果給兩隻手都印上智能皮膚,這樣用戶連續輸入句子時,預測的字母就會出現在界面上。
據一作 Kyun Kyu Kim 介紹,如果能将這類智能皮膚進一步推廣到臉上,還能更精準、高效低成本地識别用戶表情。
作者介紹
論文作者來自斯坦福大學、韓國科學技術院(KAIST)、首爾大學和韓國建國大學。
一作 Kyun Kyu Kim,目前在斯坦福大學任博士後研究員,本科畢業于高麗大學,并在首爾大學獲得碩博學位。研究方向是人機交互,尤其是納米材料和機器智能相結合的制造技術。
通訊作者 Sungho Jo,KAIST 助理教授,碩博畢業于 MIT,研究方向為智能機器人、人機交互、計算智能、計算神經工程、仿生系統設計、仿生學習與控制等。
通訊作者 Seung Hwan Ko,首爾大學副教授,主要研究下一代非傳統微 / 納米制造方法的開發,包括新材料開發、高分辨率直接制圖工藝開發和應用開發等。
通訊作者鮑哲南,斯坦福大學化學工程、材料科學與工程教授,美國國家工程院院士,研究方向是利用化學、物理和材料科學開發人造電子皮膚。
你想好把這個智能皮膚用在哪裡了嗎?
論文地址:
https://www.nature.com/articles/s41928-022-00888-7
參考鍊接:
https://techxplore.com/news/2022-12-spray-on-smart-skin-ai-rapidly.html