近日，美國專利商标局正式授予蘋果一項專利，該專利涉及其使用頭部和視覺裏程計的眼動追蹤系統。更具體地說，該專利涵蓋了用于在 Vision Pro 中檢測用戶眼睛位置和運動的低功耗眼動追蹤。HMD 的眼動追蹤系統可能包括眼動追蹤攝像頭和視覺裏程計，可以降低系統的功耗。視覺裏程計可用作低功耗組件，以追蹤用戶眼睛相對于 HMD 在眼動追蹤攝像頭捕獲的幀之間的相對運動，這可以使眼動追蹤攝像頭的幀速率降低。
蘋果專利涵蓋了用于追蹤設備相對于用戶頭部的相對運動的方法和裝置，其中傳感器（本文中稱爲頭部運動傳感器或頭部裏程計）放置在設備内部或上的一個或多個位置。
在眼動追蹤系統的一些實施例中，爲了準确地确定用戶眼睛相對于眼動追蹤攝像頭的位置，控制器可以執行一種算法，該算法使用由眼動追蹤攝像頭捕獲的圖像來執行 3D 重建，以生成用戶眼睛的 3D 模型。
在一些實施例中，當檢測到設備相對于用戶眼睛的運動時，可以确定檢測到的運動的大小和方向，而不是執行 3D 重建，并且可以根據檢測到的 HMD 運動的大小和方向調整先前通過 3D 重建方法生成的用戶眼睛的 3D 模型。
該專利還描述了使用視覺裏程計追蹤用戶眼睛相對于 HMD 的相對運動的方法和裝置。在一些實施例中，傳感器（本文中稱爲眼部運動傳感器或視覺裏程計）被放置在設備中的一個或多個位置以增強眼動追蹤攝像頭。視覺裏程計可用作低功率組件，以追蹤用戶眼睛相對于設備的相對運動，以處理由眼動追蹤攝像頭以幀速率捕獲的幀之間的間隔。
該專利描述了包括頭部裏程計和視覺裏程計的 HMD，或者包括頭部裏程計和眼動追蹤攝像頭的 HMD，這些攝像頭捕獲低分辨率圖像，以追蹤眼睛的相對運動。
用于 HMD 眼動追蹤系統的實施例，其包括頭部裏程計和視覺裏程計，或者替代地同時包括頭部裏程計和眼動追蹤攝像頭，其捕獲低分辨率圖像以追蹤眼睛的相對運動，例如可以進一步降低執行 3D 重建的頻率，并且還可以降低對由眼動追蹤攝像頭捕獲的幀進行 2D 圖像處理的頻率，以進一步降低眼動追蹤系統的功耗。
蘋果專利圖 10 展示了一個示例 VR/AR HMD，該系統實現了眼動追蹤系統，該系統包括檢測 HMD 相對于用戶眼睛運動的頭部裏程計和在處理眼動追蹤攝像頭捕獲的幀之間的間隔内追蹤眼動運動的視覺裏程計。
蘋果專利圖 11 是一種眼動追蹤方法的流程圖，其中頭部裏程表用于檢測 HMD 相對于用戶眼睛的運動，并且視覺裏程計用于追蹤眼睛在處理由眼動追蹤攝像頭捕獲的幀之間的間隔内的運動。
