蘋果的許多重要新技術,事實上都是通過數年的提前布局加上「鈔能力」瘋狂收購别的公司達成的。表面上看起來,似乎蘋果是無腦買買買,都是「拿來主義」。但實際上,提前數年去構思一種新技術,同時在這期間考慮每一步需要發展怎樣的功能技術,這絕非一件很簡單的事情。就拿 Face ID 來說,其布局時間甚至長達七年之久,七年的時間足以改變一個人,而要提前七年去預測未來的技術完成度,這絕不是有錢就能做到的。
今年是 2024 年,距離 iPhone X 面世已經過去七年之久。和第一塊全面屏給我們帶來的震撼相比,iPhone X 上首次搭載的 Face ID 顯然是對于蘋果更爲核心重要的一環。Face ID 不僅左右着 iPhone 的屏幕設計,它同時也把控着蘋果生态帝國中的每一處細節。本文主要探究蘋果是如何在背後實現了 Face ID 的設計與制造。
Face ID 和 Touch ID
讓我們先把時間撥回七年前的秋天,也就是 iPhone X 發布的 2017 年。
彼時,世界上還有着數億台搭載着 Touch ID 的設備被使用着,人們還沉浸在成熟的指紋識别技術爲生活帶來的便利之中。而就在 iPhone 發布十周年,蘋果拿出了全新的交互方式 Face ID。既然蘋果敢發布,那就必然有它的底氣,畢竟這将颠覆大家的使用習慣。而要想讓消費者接受适應新的交互方式,首先要保證 Face ID 在解鎖速度體驗以及安全性方面,至少能夠做到和 Touch ID 的體驗持平,甚至是更好的水平。
Face ID 從交互上,拿起手機觸發擡起喚醒屏幕功能,再順勢向上滑動屏幕,解鎖完成。确實做到了一氣呵成,無縫銜接。單論解鎖的過程體驗,可以說和 Touch ID 解鎖體驗不分伯仲。而最初的時候,曾有過一個小小的争議,那就是爲什麽非要增加一個用手指滑動的操作去解鎖屏幕,而不是點亮屏幕的瞬間解鎖完成直接進入主界面呢?
蘋果給出的解釋是,有時候我們并不想立刻進入主屏幕,或許隻是想看一眼時間,又或是看一眼彈出來的消息新聞。因爲在以前使用 Touch ID 的時候,也需要擡一下手指,所以對于 Face ID 的解鎖操作,并不存在額外的學習成本。而在使用了七年的 Face ID 後,我再回顧當時這一想法,不禁感慨還得是蘋果的設計師啊。
再來說說 Face ID 的結構以及安全性。Face ID 在硬件上,依賴于 iPhone X 前置留海區的「TrueDepth Camera」,劉海内一共藏了八個傳感器。其中,與 Face ID 識别過程直接相關的主要有紅外鏡頭、泛光感應元件、距離傳感器、點陣投影器。其中,點陣投影器向外投射出 3 萬個肉眼不可見的紅外點光源,由紅外鏡頭拍攝一張紅外照片,根據照片上的位移變形情況,分析出被探測物的景深信息,并由此合成相應的 3D 模型。
同時,距離傳感器會探測在一定範圍内,是否存在被探測物,以決定是否開啓點陣投影器與紅外鏡頭的工作。而在夜晚等暗光環境下,泛光感應元件會向外投射不可見的紅外光源,以幫助 Face ID 更好地工作。不同于彼時的三星手機或支付寶刷臉登錄功能,它們使用的其實隻不過是一張 2D 的照片,而 Face ID 形成的 3D 景深模型顯然從安全性上要比一張平面的照片高得多了。即便是對比 Touch ID,安全性方面也毫不遜色,甚至更勝一籌。
「誰」創造了 Face ID?
蘋果公司可能不是最會創新的公司,但絕對是最會收購的公司。Touch ID 的最終呈現,也是通過了一系列的收購伏筆達成的。而這一次 iPhone X 上 的 Face ID 的實現,也是蘋果通過大量的收購以及對未來規劃的預判提前埋下的一個個伏筆,這真正是一款十年磨一劍的産品。
對于 Face ID 的布局,最早的時間甚至可以追溯到 2009 年,在 iPhoto 上推出的照片分類功能中,iPhoto 會辨識照片中的臉孔,再将辨識後認爲是相同的臉孔進行歸類。蘋果在 2009 年後開始投入較多研發重心在臉部辨識技術開發,自主研發的技術主要在臉部偵測方面,對于辨識方面的技術着墨不深。爲了加速臉部辨識技術商用化的進程,2010 年蘋果開始大舉采用收購策略以完善布局,并購技術涵蓋其所有臉部辨識技術缺口。2011 年庫克上任後開始瘋狂加速這一收購過程。而這一過程也是爲了那個新時代的目标:Face ID。現在就讓我們細數那一家家 Face ID 背後的英雄們。
2010 年 9 月,蘋果收購 Polar Rose 公司,其公司主要技術爲面部識别。Polar Rose 是一家位于瑞典的公司,公司成員僅有 15 人。2010 年 9 月 20 日,蘋果以 2 千 9 百萬的價格将其收入囊中。但這次收購并不是突如其來,早在兩個星期之前 Polar Rose 就宣布關閉了他旗下一個免費的臉部标簽(FaceTagging)服務,可謂是早有預謀。
而蘋果之所以願意不遠千裏之外,從美國跑到瑞典收購這家隻有 15 人的小公司,是爲了 Polar Rose 所獨有的臉部識别枝術,此公司開發出一個應用叫做 Recognizr。而在 這個應用 Recognizr 的演示視頻上,當其(Recognizr) 識别出一個人的臉部時,就可以顯示出這個人資料信息,包括 Facebook、推特等,這在當時看來很是科幻。
2013 年 11 月,蘋果收購 Prime Sense 公司, 這家公司的主要技術就是爲後來出現的 3D 深感相機系統量身定做。要深究蘋果深度傳感相機的技術源頭,就不得不提被譽爲 3D 傳感技術「鼻祖」的 Prime Sense。Prime Sense 創立于 2005 年,是一家誕生于色列的公司,之後收購的幾家科技公司同樣來自色列。
創始人 Maizels 和其他 4 名聯合創始人早期爲以色列軍方服務,他們都有很強的科研背景,分别擁有工程學、計算機科學以及數學學位。在與軍方的合作停止後,Maizels 及夥伴們并沒有去找工作,而是在思考,通往下一場變革的道路在何方。他們覺得此前人機交互方式很單一,于是 Maizels 及團隊決定做一項能賦予機器視覺能力的技術。通過不斷地讨論,他們很快将目光聚焦在了停滞不前的遊戲領域,并決定作出一款能讓電腦「看見」人的動作的攝像頭;緊接着,公司名字也敲定下來了——「Prime Sense」。之後 Prime Sense 發展很快,成立一個月後他們就拿出了産品硬件原型,于 2006 年宣布完成 3D 感應芯片的研發,并推出一個裝載 Prime Sense 3D 傳感器的 RGB 紅外相機,聲稱其能追蹤幾英尺外的整個人體的動作。
之後與微軟的合作成爲 Prime Sense 的一個重要轉折點,讓 Prime Sense 迅速成長爲一個國際化的公司,并将業務擴展到了亞洲與美洲。2010 年,Prime Sense 與微軟合作推出了一款3D 體感攝影機名叫 Kinect,這是一款能讓玩家通過肢體動作直接控制遊戲的硬件産品。很快 Kinect 就成爲世界上賣的最快的消費類電子設備,據統計在 2010 年 11 月 4 日至 2011 年 1 月 3 日這段時間中,微軟平均每天售出 13 萬台 Kinect 設備。
但不久後 Prime Sense 與微軟的合作就破裂了,微軟開始自研體感相機技術,并于 2013 年發布微軟内部研發的全新一代 Kinect;而從 2010 年底 , PrimeSecse 也相繼與華碩合作打造了 Xtion Pro(即華碩版的 Kinect),建立了 3D 視覺技術開源社區 OpenNI,并開始尋求在遊戲之外領域的合作。
2012 年,Prime Sense 遭遇了一場裁員風波,公司員工數從 190 位員工中減少到 140,原因是産品路線變更。2013 年 Prime Sense 發布了Cari,這款當時世界上最小的 3D 芯片,能探測到的深度是之前處理器的 3 倍,尺寸卻是原有版本的十分之一。或許正是 Cari 的推出,讓蘋果看見了這款芯片應用在智能手機上的可能。2013 年 11 月,蘋果以 3.6 億美元的價格收購了 Prime Sense,自那以後 Prime Sense 便宛如消失了一般,再沒對外發布過任何産品和技術。
直至 iPhone X 的發布,我們再次從新一代 iPhone 身上看到了 Prime Sense 的影子,從某種程度上說,甚至可以将蘋果的「劉海」視作一個縮小版的 Kinect。
2014 年 12 月蘋果公司收購 Faceshift 公司,其主要技術爲面部識别捕捉。在 iPhoneX 的發布會現場, Animoji 功能的出現幾乎是讓所有人眼前一亮。上面說道,Prime Sense 的 3D 深度相機奠定了整個蘋果 AR 技術的硬件基礎,但Faceshift 才是真正構成 Animoji 的技術原型。Faceshift 成立于 2011 年,最初由蘇黎世學者 Thibaut Weise、Brian Amberg 和 Sofien Bouaziz 創立,是從瑞士洛桑法蘭克福理工學院計算機圖形和幾何實驗室孵化出的創業項目。
Faceshift 起初關注的焦點在遊戲與影視領域,在被蘋果收購前 其最出色的作品便是「星球大戰:原力覺醒」,能通過對人類面部表情進行精準動态捕捉,并幾乎無延時地反饋到 3D 動畫人物模型上。這意味着電影工作者能實時制作演員的面部表情,而無需使用昂貴的後期制作技術。
2015 年 4 月,蘋果公司收購 LinX 公司,這家公司專注于利用軟件算法優化移動端攝像頭的效果。在被蘋果收購前,LinX 隻是一家名不見經傳的以色列創業公司。LinX 成立于 2011 年,由一位三星前高管和一位以色列國防部供應商的光學專家在共同創建,專注于爲移動設備設計微型多孔攝像頭。
2015 年被蘋果以 2500 萬美元收購。LinX 此前一直宣稱自己的目标是「通過多鏡頭系統,讓移動設備的拍攝效果達到單反級别」。通過 LinX 開發的鏡頭,配合一系列傳感器,可以從每個像素提取深度信息,創建深度貼圖,并用來進行 3D 圖像重建。在 2014 發布多鏡頭系統的公告中,LinX 特地強調,他們的傳感器可以大幅度提高昏暗條件下的拍照效果、縮短曝光時間,并放出了對比圖。
看到「景深」「低光拍攝」「光學防抖」這些關鍵詞,你是不是立馬能想到發布會上蘋果全球營銷高級副總裁 Phil Schiller 介紹 iPhoneX 時用到的詞彙。
沒錯,在當時實現這些以往隻有專業的單反相機才有的功能,靠的就是 LinX 的技術。如果說此前 iPhone 6 及 iPhone 7 系列在相機上的改變還體現在二維層面,那麽當時的 iPhone X 的攝像能力則是一次革命性的升級,不僅從二維升級到三維場景 ,iPhone X 還具有了場景光制造能力。
2015 年 5 月,蘋果公司收購 Metaio 公司。與其他小而美的收購不同,在被蘋果收購之前,Metaio 早已是 AR 界的霸主之一。其包括 Metaio Creator 在内的多項增強現實技術被用于零售、汽車等多個民用行業,在全世界 30 個國家有 1000 多個企業客戶和超過 15 萬開發者用戶,服務的公司包括奧迪、寶馬、樂高玩具、微軟等知名企業。在早期 Metaio 的技術視頻中,也能看到 ARKit 的影子:2003 年,Metaio 成立于德國慕尼黑,是從大衆一個子項目孵化出來的 AR 軟件公司,一直專注于增強現實與計算機視覺解決方案,公司創始人爲 Thomas Alt 和 Peter Meier。
2005 年,Metaio發布了第一款終端 AR 應用KPS Click & Design,讓用戶把虛拟的家具放到自家的客廳圖像中。此後,Metaio 陸續發布多款 AR 産品,在 2011 年赢得了國際混合與增強現實會議追蹤比賽(ISMAR Tracking Contest)大獎。在 2015 年 5 月 被蘋果收購後 ,Metaio 的 SDK 便不再向開發者開放,就像所有被蘋果收購的技術公司一樣,經曆了兩年的沉默期後,其 AR 技術已經被蘋果吸收進新一代 iPhone 中并化身爲 ARKit 重出江湖了。
2016 年 1 月,蘋果公司同時收購了兩家公司,它們分别是 Emotient 和 Flyby Media。如果說 Faceshift 将面部識别實時映射技術做到了頂級水平,那麽蘋果在 2016 年對 Emotient 的收購則是大大豐富了其人臉識别技術的應用場景,可以認爲是繼 Prime Sense 與 Faceshift 之後的一次技術補充型收購。
Emotient 項目起源于加利福利亞大學「機器感知實驗室」,項目成員曾宣稱他們的終極目的是要打造一套「無處不在」的人類感情分析系統。簡單來介紹其 Emotient 的技術就是:除了能夠利用攝像頭來捕捉、記錄面部肌肉運動,還能通過計算模型分析出類似于喜悅、憤怒、悲傷、驚訝等基礎表情。而在 Animoji 的現場演示中,我們也能看到其能準确的模拟人類的情緒化表情。
同年 1 月,蘋果收購了增強現實公司 Flyby Media,以強化其虛拟現實(VR)和增強現實(AR)團隊。Flyby Media 公司的核心就是空間感知平台(V-Fusion),可以利用移動設備強化人們對其周圍環境的了解,讓人們真正看到、理解現實世界。
2017 年 2 月,蘋果公司收購 Realface 公司,看中的是它們的生物識别登錄系統。Realface 同樣來自以色列,與收購 Prime Sense 不同,Realface 的目的性更加明确,那就是專爲 iPhone 8 及 iPhone X 的推出而做出的補充性收購。這家做人臉識别的公司成立于 2014 年,最開始做的也不是人臉識别,而是做照片篩選功能。在被蘋果收購前,曾拿過一筆 100 萬美元的融資,被蘋果收購時公司人數隻有 10 人。
它的第一款産品是名爲Pickeez的 App。利用 Pickeez,手機幫用戶迅速從相冊中選出一張照得最好的照片。由于後來出了不少類似應用,RealFace 才開始做起了人臉識别功能。它的人臉識别功能主要利用深度學習技術,讓計算機對大量圖片進行學習,并建立模型實現對照片中人臉的識别。
2017 年 6 月,蘋果公司收購 SensoMotoric Instruments(SMI)公司。該公司成立于 1991 年,總部位于柏林,專注于開發眼球追蹤硬件和軟件産品。這家公司的眼球追蹤技術解決了 VR 常見的短闆,它能夠以 120Hz 的采樣率實時記錄用戶的自然凝視行爲,可以分析佩戴者的目光,并幫助減少眩暈。能被 SMI 的眼球追蹤技術輔助的主要 AR/VR 功能被稱作視網膜中央凹渲染(foveated rendering),這涉及到追蹤用戶眼球注視的位置,對注視範圍作高精度渲染,并模糊化周圍區域,從而大幅度降低處理運轉的工作量。
這項技術被許多專家認定爲是爲 AR/VR 頭盔實現高精度顯示屏的關鍵。此外,眼追蹤技術也在 AR/VR 信号輸入中有着許多其他應用。Face ID 上的眼動識别大概率是來自這家公司的技術。而在如今看來,事實證明蘋果收購這個公司的戰略意義應該是爲了給 Vision Pro 做鋪墊。
最後
七年時間,蘋果用了其無比強大的鈔能力完成了對于自己技術缺陷的一次次重要收購,将無數優秀科技公司納入懷中,最終完成一次革命性設計。不得不說,蘋果強制性的讓這些不爲人知的科技公司「參與了一次偉大設計的過程」。
畢竟如果沒有蘋果公司,大多數被收購的科技公司或許永遠不會被人所知。
原文鏈接:
https://sspai.com/post/92798?utm_source=wechat&utm_medium=social