無需文字标簽，完全自監督的 Meta 視覺大模型來了！
小紮親自官宣，發布即收獲大量關注度——
在語義分割、實例分割、深度估計和圖像檢索等任務中，這個名叫DINOv2的視覺大模型均取得了非常不錯的效果。
甚至有超過當前最好的開源視覺模型 OpenCLIP 之勢。
雖然此前 Meta 就發布過自監督學習視覺大模型 DINO，不過這次 AI 識别圖像特征的能力顯然更進一步，準确分割出了視頻中的主體：
可别以爲 DINOv2 通過自監督學會的隻有圖片分割。事實上，它已經能根據不同類别、不同場景下的照片，準确識别出同種物體（狗）的頭部、身體和四肢長在哪：
換而言之，DINOv2 自己學會了找圖像特征。
目前 Meta 官方不僅已經放出了開源代碼，而且還給了網頁版 Demo 試玩。有網友内涵：
什麽叫開源，LLaMA，SAM，DINOv2 這才叫開源！
一起來看看，DINOv2 的效果究竟如何。
準确識别不同畫風的同種物體
事實上，DINOv2 是基于上一代 DINOv1 打造的視覺大模型。
這個模型參數量是 10 億級，也仍然是視覺 Transformer 架構（ViT），但與 DINO 不太一樣的是，這次 DINOv2 在數據集上經過了精心挑選。
具體來說，DINOv2 構建了一個數據篩選 pipeline，将内容相似的圖片精心篩選出來，同時排除掉相同的圖片：
最終呈現給 DINOv2 的訓練數據圖片雖然沒有文字标簽，但這些圖片的特征确實是相似的。
采用這類數據訓練出來的視覺模型，效果如何？
這是 DINOv2 在 8 個視覺任務上的表現，包括語義分割、分類、深度估計等，其中橙色是自監督方法的效果，深粉色是弱監督方法的效果。
可以看見，經過自監督學習的視覺模型，表現上已經與經過弱監督學習的模型性能相當。
實際效果也不錯，即便在一系列照片中，相同物體的畫風并不相似，DINOv2 也能準确識别它們的特征，并分到相似的列表中。
如（a）組中都具有翅膀的鳥和飛機、（b）組中的大象和大象雕塑、（c）組中的汽車和汽車玩具模型、（d）組中的馬和塗鴉版馬：
而且從 PCA（主成分分析）圖像效果來看，DINOv2 不僅能準确分類，還能用不同顔色标出它們 " 相同 " 的部分，例如象鼻都是綠色、車輪都是紅色、馬的尾巴是黃色等。
換而言之，DINOv2 能理解這些圖像中的相似之處，就像人會形容飛機 " 看起來像一隻鳥 " 一樣。
目前 DINOv2 已經放出 Demo，我們也試了試它的實際效果。
Demo 直接可玩
官網已經開放語義分割、圖像檢索和深度估計三大功能的試玩。
據 Meta 介紹，這幾個任務中，DINOv2 在大多數基準上超過了目前開源視覺模型中表現最好的 OpenCLIP。
我們先來看看深度估計的效果。
值得一提的是，在效果更好的情況下，DINOv2 運行的速度也比 iBOT 更快，相同硬件下隻需三分之一的内存，運行速度就能比 DINOv2 快上 2 倍多。
這是 Meta 論文中與 OpenCLIP 在實際例子上的比較效果：
我們用這張猛男版新寶島試一下，看起來還不錯，即使是高糊圖片也能比較好地估計出深度：
接下來是語義分割的效果，這裏也先給出 Meta 論文中的數據對比情況：
這裏也給出 OpenCLIP 和 DINOv2 的對比，中間的圖片是 OpenCLIP 的效果，右邊是 DINOv2 分割的效果：
我們也用一張辦公室的圖片試了一下，看起來 DINOv2 還是能比較準确地分割人體、物體的，但在細節上會有一些噪點：
最後是圖片檢索。
官網上給出的圖片效果還是挺不錯的，輸入鐵塔照片，可以生成不少含鐵塔的相似藝術圖片：
這裏我們也試了試，輸入一張華強買瓜，給出來的藝術圖片大多數與西瓜有關：
那麽，這樣的自監督視覺大模型可以用在哪裏？
從 Meta 給出的視頻來看，目前有一些比較環保的用途，例如用于估計全球各地的樹木高度：
除此之外，如同紮克伯格所說，DINOv2 還能被用于改善醫學成像、糧食作物生長等。當然這裏小紮還進一步強調：
可以被用于制作更具沉浸感的元宇宙。
嗯，看來 Meta 的元宇宙路線還将繼續……
試玩 Demo 地址：
https://dinov2.metademolab.com/demos
項目地址：
https://github.com/facebookresearch/dinov2
參考鏈接：
https://www.facebook.com/zuck/posts/pfbid02f3chCYQphfYnzRaDXeJxsT5EmyhbrFsjqLaU31KuTG63Ca4yMXFcDXQcukYPbWUMl
