見過用腳打遊戲,那你見過用臉的嗎?
上周在谷歌的開發者大會上,世超就發現了一個新鮮玩意兒。
玩遊戲隻需要動動嘴、晃晃頭,這個應用就是谷歌開發出來的 GameFace 。
它就像一個由 AI 驅動的遊戲鼠标,但這個鼠标不需要用手來操控,通過頭部運動和面部表情就能實現。
這打遊戲,真就純純看臉了啊。。。
當然玩笑歸玩笑, GameFace 這項目,其實是專門爲愛打遊戲的殘障人士準備的。
在開發者大會上,他們就講了講這項目背後的故事。
大概在兩年前,不幸患上了肌肉萎縮的遊戲玩家卡爾,家裏遭遇了火災。。
因爲這一場火災,他花大價錢定制的遊戲設備被燒沒了。
碰巧的是,谷歌的幾位工程師知道了這事兒,于是就和卡爾一起合作,琢磨出了這個能用臉來控制遊戲的免費開源項目 GameFace 。
不需要太多的硬件輔助,一個網格攝像頭、一台電腦還有 AI ,這裝備就齊活兒了。
具體來看, GameFace 是通過 MediaPipe 和 Tensor Flow Lite 兩組工具将識别到的頭部、面部動作轉換成了鼠标指令的。
其中 TensorFlow Lite 的作用,是讓 AI 模型能夠在 PC 設備上運行。
而 MediaPipe ,則是一個集成了人臉檢測、頭像分割和姿态識别等多個 AI 模型的工具庫。
它們會在人臉上創建一個有 468 個點的實時動态網格,這些點能夠追蹤你的頭部運動情況,并識别你的鼻子、嘴還有其他五官的位置。
接着,再通過 AI 模型,将這些點轉化成爲鼠标移動或點擊的指令。
就比如你在轉頭的時候,鼠标也會跟着在屏幕上移動,或者張開嘴的時候表示點擊 " 确認 " 。
目前, GameFace 能識别包括挑眉等在内的多種表情,而哪種表情代表着什麽指令,都可以自定義。
而且 GameFace 還能調節靈敏度,如果靈敏度低,動作就需要很誇張才能讓 AI 識别到你的意圖,反之,即使表情很細微,也會被捕捉到。
這樣一來用臉玩遊戲,就不成問題了,或許這也算得上是另一種角度的 " 嘴強王者 " 吧。
有意思的是, GameFace 在國内已經支持了《荒野行動 》和《 UNO! ™ 》兩款遊戲,恰好呢,這次同事也在谷歌開發者大會的現場,就先替你們體驗了一把用臉來吃雞。
坐在電腦面前,頭輕輕地晃了晃,就能看到鼠标也在跟着移動,如果要調整視角的話轉轉頭就行。
如果要往左邊移動就把嘴往左歪,往右移就歪右嘴,張開嘴是确認鍵,整個打遊戲的過程,用 " 面目猙獰 " 四個字來形容也不爲過。
還不到兩分鍾,同事就已經覺得臉開始酸了。。。但在靠臉打出一些高難度的操作時,成就感還是滿滿的。
體驗下來, GameFace 對我們動作的識别還是挺精準、靈敏的,唯一的缺點可能就是費臉吧。
另外世超也發現這些年,身邊的無障礙遊戲設計也正越來越多。
今年年初,索尼就新發布了一個 PS5 專用的無障礙手柄 Access Controller ,這種圓盤的設計讓手柄可以放在平面上,直接解決了手持的問題。
而且,這個手柄的按鍵是可以換位置的,覺得哪個按鍵用着不得勁兒就拆下來,根據自己的需求 DIY 就行。
在國内,騰訊之前也研發過一種爲視障人士提供幫助的 " 振動觸覺反饋 " 技術。
比如在給盲人導航時,觸覺反饋如果振動了,就是在提醒可能走錯路了,振動的幅度還會根據偏離程度進行調整。
最開始的時候這個技術其實是用在了《 和平精英 》裏。
除了上面提到的這些,還有很多比如 Minecraft access 的視障輔助模組、 VR 遊戲裏的眼球追蹤等等無障礙設計,可能在一些人看來,這些設計沒什麽大用處,但對于殘障遊戲愛好者來說,卻提供了一個從遊戲中重拾快樂的途徑。
最後世超想說,之前世衛組織的一份報告顯示,目前全球有超過 10 億的殘障人士。
其實他們也有自己的生活,有自己的愛好,也應該享受到科技所帶來的便利。
好在,無障礙設計在各種軟硬件的開發當中,正越來越被重視。
也希望未來能有更多像 GameFace 這樣的無障礙設計出現,或許這就是科技向善的一種體現吧。