現在，隻用 WiFi就能 " 看 " 到你在房間裡幹啥了……
（你…幹…嘛……啊啊啊啊）
多人追蹤也是 so easy：
過程中完全不需要拍下圖像、不需要攝像頭。
輸入的僅是 WiFi 一維信号，輸出則是三維人體姿态。
兩台路由器即可搞定！換算成本都不到 500 塊。
而且還不受環境光線、目标被遮擋的影響，效果接近于基于 2D 圖像進行識别的方法。
啊這，難道說 WiFi 能 " 看到 " 我？更進一步…… WiFi 能監視我？？
OMG，蝙蝠俠劇情要照進現實了？？
要知道在《暗黑騎士》裡，哥譚市所有人的手機都變成了監控設備，同一空間裡所有人的一舉一動都能被實時記錄。
網友們已經構思恐怖腦洞了：
想象一下，隻需一台連接 WiFi 接收器的電視機，别人就能看到我們全家在幹啥了。
有人甚至說，以後可能必須要在身上塗保護層來屏蔽 WiFi 信号。
搞全身追蹤，不要用攝像頭了
如上提到的方法，是卡耐基梅隆大學（CMU）機器人研究所的新成果。
研究的本身目的是為了保護隐私，畢竟在很多非公共場所，如養老院、獨居老人家中，監控非常有必要，但是使用攝像頭又很難保證隐私安全。
使用雷達倒是能解決隐私問題，但價格和具體可操作上就很勸退了。
于是，該團隊想到了用現在幾乎各家必備的 WiFi 來進行識别。
所以在設備上，僅需兩台再也普通不過的家用路由器（每個至少有 3 根天線）就可以了。
原理也很簡單，就是利用 WiFi 信号中的信道狀态信息（CSI）數據。
這些數據是一堆複雜的十進制序列，可以表示發射信号波和接收信号波之間的比率。
當它們在發射器和接收器之間傳輸時，一旦接觸到人體，就會被修改。
于是，通過解讀這些 " 改變 "，就可以檢測到人體姿态。
為此，研究人員開發了一個 " 基于區域 " 的卷積神經網絡分析 pipeline，該 pipeline 可以定位人體的各個部位。
然後再将 WiFi 信号的相位和振幅映射到24 個人體區域裡的坐标，實現最終的全身姿态追蹤。
具體來說，模型通過三個分量從 WiFi 信号中生成人體表面的 UV 坐标。
首先，通過振幅和相位 Sanitization 步驟對原始 CSI 信号進行 " 淨化 " 處理。
然後，将處理過的 CSI 信号通過雙分支編碼器 - 解碼器網絡轉換為 2D 特征圖。
接着，将 2D 特征饋送到一個叫做 DensePose RCNN 的架構中。
該架構靈感就來自 Facebook 已經開源的人體姿勢實時識别系統 DensePose。DensePose 入選了 2018 年 CVPR 的 Oral 環節，主要是把 2D 圖像轉換成 3D 人體模型。
所以這步的目的就是算出 2D 特征圖對應的 3D 姿态，也就是估計出 UV 坐标。
最後，在訓練主網絡之前，作者還将用圖像生成的多層次特征圖與 WiFi 信号生成的多水平特征圖之間的差異進行了最小化，進一步完善了最終結果。
盡管我們從肉眼看上去，兩種方法的最終結果差不多，但在數據方面，基于圖像的方法效果還是更好一些。
比如在同樣環境布局下，基于 WiFi 方法的精确度都低于圖像方法。
△數值越高意味着越好
不同環境布局的情況也是如此。
與此同時，如果遇到數據集中不包含的動作，該方法也無法識别成功。如果人數超過 3 個，也發生 " 丢人 " 情況。
下圖中左邊兩幅是罕見動作失敗案例，右邊兩幅是 3 人以上識别失敗情況。
不過團隊認為，如上問題可以通過進一步擴充數據集來解決。
除此之外，該方法對路由器的放置位置要求很高，并且會對其他 WiFi 網絡造成影響。
來自 CMU 團隊，有 2 位華人作者
論文一作為Jiaqi Geng，他來自卡耐基梅隆大學，去年 8 月獲得了機器人專業碩士學位。
△Jiaqi Geng
另一位華人作者是Dong Huang，他現在是卡耐基梅隆大學高級項目科學家。
△Dong Huang
他的研究方向一直都是利用深度學習進行信号識别。比如之前已經實現了用 WiFi 信号實時識别 2D 人體姿态。
最後一位作者是Fernando De la Torre，他現在卡耐基梅隆大學機器人研究所副教授。
△Fernando De la Torre
他的研究方向主要為計算機視覺，涉及領域包括人體姿态識别、AR/VR 等。
2014 年曾創辦過一家開發人臉識别技術的公司 FacioMetrics LLC，2 年後被 Facebook 收購。
作者團隊表示，目前該方法性能還受限于可用來訓練的數據不多，未來，他們計劃擴充數據集。
論文地址：
https://arxiv.org/abs/2301.00250
