Meta 的元宇宙探索，還在繼續。
最近，Meta 用虛幻引擎開發了全新的逼真合成數據集，希望拉近合成數據與真實世界數據的距離。
他們還計劃制作一款全新的 AR 眼鏡，僅用于内部開發和公衆展示。
據悉，這款眼鏡的制造流程涉及中國大陸、中國台灣和美國的工廠。原因是鏡片内包含一款軍用材料，無法輕易出口到美國以外的地方。
另外，Meta 甚至還成立了一個「前員工門戶」，把從前解雇的員工慢慢招了回來。
真實虛幻圖像數據集
Meta 推出的真實虛幻圖像（PUG，Photorealistic Unreal Graphic）數據集，能夠對人工智能視覺系統進行更可控、更穩健的評估和訓練。
這個數據集通過虛幻引擎 Unreal Engine 合成了超過 20w 個動物圖像，以及數十萬張包括各種姿勢，光照和背景的圖像，來作爲訓練，評估圖像模型和圖像系統的基礎。
PUG 因爲使用了 Unreal Engine 合成的圖像，保證了圖像素材的真實感，使得它的使用範圍比之前類似的圖像數據集要大大擴展。
PUG 由 4 個部分構成：
1. PUG Animal
用于研究分布外泛化和研究基礎模型的表征空間，包括了：
215,040 張預渲染圖像，涵蓋了 70 種動物資源，囊括了 4 種尺寸，3 種紋理，4 種不同的方向。
2. PUG ImageNet
數據集提供了一個新穎和高效的基準測試，用于細粒度評估圖像分類器在多個變化因素上的穩定性，包含了：
151 種 ImageNet 類型（class），64 種背景，7 種尺寸，10 種紋理，18 個視角，18 角色方向（Character Orientation），7 種光照強度。
3. PUG SPAR（場景、位置、屬性、關系）
數據集用于評估視覺語言模型，展示了如何使用合成數據來解決當前基準測試的局限性。它包含了：
43,560 張預渲染圖像，10 個背景，32 種動物，4 種關系（左 / 右，下 / 上），4 種屬性（藍 / 紅，草 / 石）。
4. PUG AR4T
提供大約 250,000 張圖像，用于微調空間關系和屬性的視覺語言模型。
Meta 使用虛幻引擎來創建逼真的交互環境，從中他們可以輕松地對給定規格的圖像進行采樣。
下圖說明了 Meta 如何使用虛幻引擎和示例圖像來生成 PUG 數據集。
合成圖像數據集爲設計和評估深度神經網絡提供了非常多的優勢。
合成數據集能根據需要渲染盡可能多的數據樣本，還可以精确控制每個場景并産生細粒度的标注數據标簽，精确控制訓練和測試之間的分布變化，以隔離感興趣的變量以進行合理的實驗。
但是現有的合成數據集最大的問題就是不夠真實，這使得數據集的使用範圍嚴重受限。
而如果用真實的圖像數據集，又會受到隐私和版權方面的限制。
而通過虛幻引擎來合成真實的圖像數據集，就能非常好解決這些問題。
Meta 稱，與現有測試基準相比，生成涵蓋一系列領域的數據的能力可以使視覺語言模型的評估和訓練更加可靠。
除了數據集之外，研究人員還可以使用 PUG 環境創建自己的數據，精确指定現實世界數據集難以控制的光照和視角等因素。
如何創建自己 PUG 數據集
而且，Meta 還詳細介紹了如何利用虛幻引擎來建立自己獨有的 PUG 數據集。
指導手冊：https://github.com/facebookresearch/PUG/tree/main/torchmultiverse
首先是下載 Epic Games 來獲取虛幻引擎 5。 然後創建一個新的 Pixel 流媒體項目。
如果之前完全沒有了解過虛幻引擎，可以下載官方的這個 Demo 來進行一個簡單的入門。
https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo
然後閱讀官方對于虛幻 5 引擎的入門介紹，了解 Blueprintsd 的基本機制。
https://docs.unrealengine.com/5.0/en-US/introduction-to-blueprints-visual-scripting-in-unreal-engine/
下載 Demo 後，打開位于 Content/Blueprints/CharacterConfig 文件夾中的 DTCharSelect 表文件，如下圖所示。
該表列出了可以通過虛幻環境加載的所有資源。如果您想添加新字符，隻需在表中創建一個新條目即可。
明年或推出 AR 眼鏡：軍用材料，在美國組裝
另外，Meta 還計劃在 2024 年推出第一代 AR 眼鏡，産量大約在 1000 台左右。
這 1000 台 AR 眼鏡将僅用于内部測試以及公衆展示，不會向公衆發布。
盡管數量不多，但 Meta 爲了生産這個 AR 眼鏡可謂是費盡周折。
這款眼鏡被定位爲一款價格昂貴的空間計算設備。
而且由于鏡片涉及到被限制出口的材料，所以這款眼鏡的手持控制器和無線計算核心會在中國大陸和中國台灣生産，再運到美國，和鏡片一起組裝成成品。
原因是 Meta 準備在這個内部代号爲「Orion」的 AR 眼鏡中使用一種名爲碳化矽（SiC）的化合物作爲鏡片材料。但這種化合物被政府限制出口到其他國家。
相比過去的玻璃材料，碳化矽可以投射更寬的圖像到鏡片中，視野更寬闊。但它的價格也更貴。
Orion AR 眼鏡視場角約爲 70° 對角線，略大于 Magic Leap 2（66°），遠大于 HoloLens 2（52°）。
Meta 爲了一個不會對外發布的産品投入了如此巨大的成本，可能會引起投資者對 Meta 的 Reality Labs 部門的支出擔憂。
其中，Reality Labs 部門主要開發增強現實（AR）和虛拟現實 ( VR ) 産品。
然而，直到現在，虛拟現實的市場仍然很小，增強現實的技術還在發展中，落地場景較爲受限。
Meta 向這兩個領域投入了大量資金，希望确立 Meta 在市場中的領先地位。
在這兩個領域中，Meta 不得不和資金實力都十分雄厚的對手：蘋果的 Vision Pro 頭顯競争。
鑒于收入增長放緩和投資者壓力增加，Meta 已經在整個公司範圍内削減成本，但是 Meta 在 Reality Labs 部門的總投資仍在增加。
最近 18 個月，該部門今年的虧損達到了 210 億美元。
Meta 決定僅将第一代 AR 眼鏡作爲内部産品發售，這本身就是一項削減成本的舉措。
此外，在選擇中國的工廠也是削減成本的一環。
在美國招聘組裝工人，時薪在 16.75 美元到 28.27 美元不等。遠遠高于在中國大陸和中國台灣的生産成本。
同樣，其他制造硬件的美國科技公司，如蘋果，大部分産品也都是在中國制造的。
盡管如此，因爲不得不在美生産鏡片、組裝 AR 眼鏡，第一代 AR 眼鏡的造價成本還是相當高昂。
重招被裁員工
最近幾周，Meta 慢慢開始加快招聘步伐，尤其是工程和技術崗位。
自去年 11 月以 來，通過一個專門「前員工門戶」，被 Meta 解雇的員工都可以重新申請正在招聘的崗位。
現在正在招聘的數百個職位，主要是軟件、硬件和 AR/VR 的崗位，還有一些基礎設施和數據中心中的主要技術崗。
一位知情人士表示，運營崗似乎沒有放開招聘，而且招聘的崗位都是有具體産出要求的崗位，因爲 Meta 整體上已經縮減了經理級别的崗位。
Meta 招聘主要是針對有豐富工作經驗的員工，減少了應屆畢業生和實習生的聘用。
被裁的工程師級别越高、業績評價越好，被重新聘用的概率會更高。
許多人被重新雇用的員工會被安排到新的崗位上去，職位和薪水都會比以前更低。
一名被 Meta 重新聘用的職員說，他接受了大約 10% 的降薪。但鑒于 Meta 的股價最近一直在上漲，他預計一年内會達到之前的薪酬水平。
嘗到了降本增效甜頭的小紮，似乎依然堅定地走在通向元宇宙的路上。
參考資料：
https://pug.metademolab.com/index.html
https://www.theinformation.com/articles/behind-metas-made-in-usa-ar-glasses-a-military-grade-material
