毫無疑問，新款 iPad Pro 仍然是閱讀、游戲、觀看視頻及繪畫等領域的最佳平板。但隨著 M4 芯片、妙控鍵盤及 Apple Pencil Pro 的加入，iPad 比任何時候都更接近一臺筆記本電腦。

那么，是否 iPad 會在未來漸漸成為一款帶有觸控功能的 MacBook？

答案可能是否定的。

在最新的 iOS 18 中，蘋果用這項「輔助功能」，為我們預言了一種關于 iPad 交互的新未來。

眼動追蹤：從 Vision Pro 到 iPad

近期，蘋果公司公布了其 iPadOS 18 操作系統中新加入的「眼球追蹤」功能，這項看似不起眼的功能卻被放在了介紹頁面之首。

說起眼動追蹤，可能很多人第一個想到的還是此前蘋果發布的 Vision Pro，這款設備最突出的特征之一就是采用了眼動追蹤的方式代替傳統手柄。

用戶可以通過眼球的移動，來控制應用程序，進行菜單導航，甚至是玩游戲，無需依賴觸控或外部設備，大大提升了使用的便捷性，展示出了這種交互方式的魅力。

這主要得益于 Vision Pro 分布在內的數個紅外攝像頭及 M2、R1 雙芯片的設計，使其能夠利用圖像處理技術提取與眼動相關的特征，并通過建立模型的方式實現眼動追蹤。

Vision Pro 攝像頭分布，圖片來自蘋果

而不久前發布的新款 iPad Pro 在形態上的一個重要改變，就是把攝像頭從窄邊挪到了長邊上。

攝像頭模組中的點陣投影儀、泛光感應元件、前置攝像頭、紅外攝像頭搭配全新 M4 芯片，如今看來或許就是在為后續計劃鋪路。

此次的更新描述中也顯示，蘋果的眼球追蹤功能完全由設備上的機器學習實現，這意味著它不需要任何額外的硬件，并且可以立即在所有運行 iPadOS 18 的設備上使用，印證了這一判斷。

圖片來自嗶哩嗶哩博主：微機分 WekiHome

目前業界公認的眼動追蹤方法，有基于外觀的眼動追蹤方法與基于二維映射的眼動追蹤方法兩種。

前者主要以人臉圖像或眼部圖像為輸入進行特征提取，然后通過機器學習將這些特征和視線方向關聯起來。這種方法設備簡單，只需要攝像頭就能完成，但它需要大量的訓練數據來建立準確的模型，從而正確地解讀你的視線方向。

而另一種基于二位映射的眼動追蹤方法，則主要通過分析眼球和角膜反射的相對位置變化來確定眼球運動。

由于眼球運動時角膜反射光斑位置不會變化，因此就可以作為瞳孔運動的參照點，根據兩者相對位置的變化，計算實現方向。

校準時你需要注視屏幕上的特定點，系統會記錄這些點和你的眼睛數據，建立一個映射模型。之后，當你看向其他地方時，系統就能通過這個模型準確地知道你在看哪里。

瞳孔-角膜反射向量法示意圖，圖片來自網絡

其實如今看來，眼動追蹤的原理并不十分復雜，以現有的硬件條件足以滿足需求。但實際上，想要實現這一功能，蘋果其實經歷了很長的歷程。

布局多年的最后一步

早在多年以前，蘋果就開始布局眼動追蹤領域，網絡相關人才及技術。

2013 年，蘋果收購了來自以色列的 PrimeSense，該公司曾為微軟提供 Xbox 的 Kinect 的動作控制技術提供支持。

PrimeSense 創始人合影

這家公司曾推出過一款非常小巧，可嵌入手機、平板等設備的 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 大會上展示的內容：

Capri 被安裝在谷歌 Nexus 平板電腦上

Capri 對真實場景進行 3D 建模，并獲得場景內物體的長、寬、高等具體數據

通過 AR 技術模擬出椅子在真實空間中的碰撞信息

將 3D 圖像傳輸到 3D 打印機完成 3D 打印

一同推出的還有在當時號稱 “全球最小的 3D 感知芯片”，由于不錯的性能和小巧的體積，使其能夠部署到手機、電視等諸多電子設備上。

2017 年，蘋果又收購了一家來自德國的老牌眼球追蹤技術公司 SensoMotoric Instruments，它曾一度是全球最大的眼動設備的生產商。

憑借「鈔能力」帶來的一系列關于眼動追蹤的硬件及軟件，蘋果在同年首次將眼動追蹤功能用于其 Face ID 中，來提升解鎖的安全性。

此后數年間蘋果不斷有眼動追蹤相關的專利申請流出，蘋果也在不斷探索，這不僅促成了 Vision Pro 基于眼動追蹤的交互方式，也催生出了其他蘋果設備上關于的眼動追蹤的無限可能。

早期關于眼動追蹤及「注意力檢測」專利內容

眼動追蹤的未來暢想

相比傳統交互方式（鼠標、鍵盤、觸控等），眼動追蹤存在這樣幾個優勢：

• 自然直觀：眼動追蹤利用人眼的自然運動進行交互，不需要額外的操作設備。用戶只需注視目標即可完成相應的操作，降低了學習成本，交互更符合直覺。
• 提升效率：眼部肌肉是人體反應速度最快的肌肉之一，通過眼動追蹤，用戶可以更快地選擇和控制界面元素，還可以減少手部動作，提高操作速度和效率。
• 與其他輸入方式組合：眼動追蹤可以與其他輸入方式結合使用，如語音控制和手勢操作，提供更豐富和靈活的交互方式。
• 多任務處理：用戶可以在執行其他任務（例如駕駛或行走時）或同時處理多項任務時，僅僅使用眼動追蹤控制而不需要多余的動作，提高操作效率。
• 數據分析與個性化：眼動追蹤可以提供關于用戶注意力和興趣的寶貴數據。這些數據可以用于優化界面設計、廣告投放和用戶體驗個性化，使系統更加智能和用戶友好。
• 增強現實（AR）：在 AR 環境中，眼動追蹤可以提供更加沉浸式和自然的交互體驗。用戶可以通過注視來選擇和操作虛擬對象，提升使用體驗。

也正是得益于這些優勢，使其在很多具體場景中展現出了巨大潛力。

例如在很多游戲中，除了帶來更加便捷的操作以外，眼動追蹤也會給玩家帶來更好的沉浸感，讓玩家只需通過實現就能控制游戲內角色進行互動。

使用眼動追蹤控制游戲，圖片來自網絡

此外，實現眼動追蹤功能后，開發者還能根據眼動數據調整場景光照、視角變化等諸多參數，適配用戶個人視覺習慣，使游戲畫面更加逼真。

游戲中的社交，也可以通過虛擬人物實現隨玩家面部實時變化的各種動作狀態，例如實現方向、眨眼、瞇眼等，豐富人物的情緒表達，從各個方面提升游戲的沉浸性。

除了游戲以外，這項技術給日常生活帶來的變化或許才是更值得期待的。

Vision Pro 在發布后，一個重要應用場景就是教育、醫療等場景，毫無疑問這在實現眼動追蹤的 iPad 上同樣適用。

諸如飛行員模擬訓練、手術模擬等職業訓練領域，通過跟蹤學員的眼球運動來評估決策速度和準確性。

眼動追蹤可為教師提供關于學生學習過程中的注意力集中點和理解程度的實時反饋，有助于個性化教學策略的指定和改進課程內容。

安裝在飛行駕駛模擬教學設備上的眼動追蹤設備

還有一些場景非常適合眼動追蹤這種交互方式，例如家居環境就是其中之一。通過眼動追蹤，使 iPad 成為智能家居中控臺，實現對家居的控制；或者在手上有其他事情，或手很臟的時候提供更好的交互體驗等。

雖然眼動追蹤應用潛力非常巨大，但也有部分業內人士對該技術的安全性提出了質疑。

數據表明，一個人的眼部數據會暗含用戶的年齡、性別、種族、情緒狀態、性格特征等等多種信息。

加州大學洛杉磯分校技術、法律和政策研究所的創始人和教職聯席主任 John Villasenor 表示：

一旦眼動追蹤技術成熟，它將收集更多的信息：我們在網上閱讀的內容，甚至我們的閱讀過程。比如，我們是否看到了網頁廣告，想了一會，最后沒去點擊？我們在閱讀整個網頁的時候，眼球是怎么移動的？我們更喜歡或者避開哪些字，詞語，或者主題？在未來，展示到我們眼前的廣告，是否將不僅僅只是取決于我們買過什么東西，還將取決于我們眼球的運動狀態？