抬頭仰望夜空，面對浩瀚星海，心中無限遐想，雖知遙不可及，卻期待能像航海者那樣，在星光的指引下破浪而行。銀河，凝聚了從古至今人類對宇宙的無限憧憬，也代表了人類智慧對文明科技孜孜不倦，不斷探索的精神。

以“銀河”命名的吉利旗艦車型E8，不久前剛完成其首秀，內外飾采用了全新的”漣漪”設計語言，并搭載了虛幻引擎為用戶提供更具創意、安全、智能的座艙體驗，備受公眾關注的同時也引入了不少專業領域的話題和討論。

其實長久以來，智能座艙都無可爭議地被視為新能源汽車的”大腦“，無論是內飾的美學設計還是人機界面（HMI）的交互體驗，都已成為智能汽車發展道路上引領潮流和邁向成功的重要標志。那么，銀河E8智能座艙的設計與實現的目標是什么？怎樣依靠實時技術在反復迭代中提升品質？虛幻引擎有哪些技術能幫助團隊提升座艙體驗？如何利用有限的芯片算力來挑戰超大屏幕的實時畫質和性能？

上述的幾個問題一直以來都是智能座艙/車機（HMI）開發過程中被時常提及和關注的焦點，筆者一時之間也無法給出正確有效的答案，幸運的是后來我在同事的幫助下聯絡到吉利汽車研究院，得此機會與負責研發銀河E8智能座艙的團隊一起來深入探討關于量產車智能座艙的設計、實現、和落地這幾個業內最為關心的核心話題。

Q：首先祝賀吉利研究院智能座艙的團隊使用虛幻引擎成功研發出銀河E8智能車機系統，能否先跟大家先介紹一下團隊？

A：在21年的時候，我們開始孵化并建立了一個3D HMI的專項，目標是把游戲行業成熟的3D交互技術，應用在汽車行業的HMI里面，提升智能座艙的”娛樂”體驗，并基于這個目標開始構建團隊及工具鏈。核心成員參考了游戲行業的研發團隊結構結合汽車行業的特定需求做了“本地化融合”，HMI工具鏈也根據對游戲引擎的使用經驗和項目需求，最終選擇了Unreal。團隊構成包括模型師、地編、特效師、TA、UE4開發等，負責座艙3D技術相關的前瞻POC及3D HMI產品的全棧落地。

Q：E8 的外觀和內飾設計讓人耳目一新， 對于車機系統還了解不多，能否結合軟硬件先介紹一下？

A：銀河E8內外飾設計采用了西湖“漣漪”的設計語言，在智能車機（HMI）方面為了給用戶表現出最大的誠意，通過采用8K分辨率的貫穿式高清屏幕+高通8295芯片的硬件組合，來呈現出極致的沉浸式視覺體驗。回顧當初設立的這一目標，在智能車機領域當時還鮮有項目落地，團隊從8295-DHU到實現8K-全屏的3D引擎渲染，可以說一路上處處充滿了挑戰。雖然高通8295在行業里已經是最頂級的車規級芯片，但對于8K屏幕、駕駛、娛樂一拖三的產品需求來說，仍然是充滿了未知。

Q：當時市面上大多數車型搭載的芯片還都處于高通8155這個代次，吉利研究院最初出于哪些考慮要為E8的車機選用新一代的高通驍龍8295芯片？

A：E8作為吉利銀河的首款純電旗艦車型，希望能給到用戶的是高價值感的產品，在座艙和HMI的層面需要給用戶提供最高的硬件配置、最安全的平臺架構，最強的軟件工具和最好的用戶體驗，以當時行業內普遍應用的8155芯片算力來講，無論是在測試數據還是落地項目的表現方面都無法達到E8的既定目標和滿足相應的需求，所以很快就決定放棄8155，選用高通下一代具有更高算力的8295芯片。

Q：近幾年市場上可選擇的3D引擎和HMI開發工具也不少，能否講下最終選擇用虛幻引擎來開發的原因和過程？

A：在公司層面：項目開發上需要純自研車機系統（ 銀河N OS） 進行代碼級融合，作為一款3D引擎：Unreal不僅有行業領先的視覺渲染效果，還提供了開發車機系統的定制化引擎，最重要的是源碼全部開源，方便我們做二次開發和功能定制，在性能上也有更寬域的壓榨空間。在團隊執行層面，首先大家公認游戲引擎的能力和可拓展性相比傳統工具更強，在后來的引擎選型方面，主要是在Unreal、Unity、Cocos這幾款商業引擎中選擇，Unreal在PC/主機類游戲里有著完整的工具鏈生態及高品質渲染的優點，強大的交互和渲染能力帶來的是移動端基礎包體存儲的增加；Unity在智能手機生態興起時上市并在移動端得到廣泛的應用，大量的移動端引擎的開發者，是首批為移動端低功耗而誕生的引擎，包體大小靈活可控，但在渲染品質和可拓展性上相對較弱，需要有團隊具有較強的渲染管線定制的能力；Cocos同Unity一樣是智能手機興起時誕生的2D引擎，有較多數量的開發者和較高的使用率，通過后續的更新了加入了3D引擎的模塊，優點也是輕量化+國產引擎。基于以上的研究和對于HMI視覺品質的需求，我們最終選擇了Unreal，同時也對Epic Games團隊的技術能力和支持力度表示由衷的感謝。

Q：團隊在實現將虛幻引擎整合到銀河N OS無界的過程中有遇到過哪些挑戰？

A：首先就是關于芯片平臺的問題，因為銀河E8是首批用到8295芯片的車型，在開發DHU的主板時就遇到了很大的阻礙和難度；之后就是解決8K分辨率的貫穿式長屏的顯示，無論從DHU芯片平臺的視頻驅動上，還是引擎渲染窗口的負載率上，都需要面對很大的挑戰；在開發過程中，設計與開發的分離，也對落地的實現還原效果以及性能損耗造成了一定流程上的阻力；在內容制作過程中，8K屏幕的抗鋸齒方案的選擇上，也給我們帶來了比較大的困擾，是選擇FXAA還是TAA，是選擇低性能還是接受一定的性能損耗，最后我們還是選擇了TAA，在保持住整體視覺效果的基礎上，后面再通過其他手段來優化性能。

Q：用戶可以在銀河N OS無界上體驗到哪些使用虛幻引擎開發的應用場景？

A：在銀河N OS無界中，我們首次引入了還原真實世界以及數字孿生的概念；進入車機系統，首先映入眼簾的就是具有視覺震撼力的一個桌面場景，我們稱之為靈境無界的3D主題，在場景中我們融入了富有中國韻味的西湖元素，搭配銀河E8特有的漣漪美學，表現出一個既真實又虛幻，既有科技感又富有詩意的環境氛圍；

我們還運用虛幻引擎的特性，設計了跟隨時間變化的環境光照，美輪美奐的雨雪天氣，當用戶打開車門進入座艙，點點星光從門開的一側飄向另一側，這些都是依靠虛幻引擎賦予的能力所實現；在數字孿生方面，我們在桌面上放置了銀河E8的可交互車模，用戶可以方便快捷的控制大燈、門窗、后備箱等；其他功能比如車輛的運動模式，空調的吹風效果，車控的效果示意等等也都是通過虛幻引擎開發實現的；并且在后續的智駕版本中加入了銀河輔助駕駛，自動泊車，記憶泊車等功能，還可以通過虛幻引擎搭建虛擬視圖，可以說在銀河N OS無界版中，幾乎每一處都使用了虛幻引擎的能力。

Q：這些實時交互的場景是在虛幻引擎哪個版本上開發的？從idea 到落地上車大致是怎樣的一個開發流程？

A：虛幻 4.27 車機定制版流程-概念提出、需求分析、界面概念設計、美術3D引擎還原、引擎軟件開發、整車功能集成、引擎和系統優化、上車測試交付。

Q：在HMI的開發過程中有哪些虛幻引擎的功能或工具對項目幫助比較大？

A：開發：Level：流關卡在一鏡到底和場景切換得流暢和資變體：運行時資產管理方便快捷Sequencer：結合Level創建得Level Sequences讓轉場動畫得制作更高效還有常用得藍圖(動畫、材質)、lightmap、后效等優化：Insights：啟動耗時優化工具FrontEnd：性能優化工具命令行控制臺：stat 系列、MemReport等除了以上虛幻提供得工具外，還結合一些外部工具提高更好得使用效果和便捷性，比如：安卓工具：AndroidStudio Profile、SnapDragon（產看GPU使用率，busying脈沖耗時占比）、RenderDoc、BootChart（查看啟動時系統資源競爭關系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）可視化編程：虛幻引擎提供了藍圖系統，允許開發人員使用可視化的節點來創建邏輯和交互。這對于設計和實現HMI中的各種交互邏輯非常有用。高品質渲染：虛幻引擎擁有先進的渲染引擎，可以實現高質量的圖形效果。這對于創建逼真的用戶界面和可視化效果至關重要。車輛動力學仿真：如果項目涉及到與車體對象的交互，虛幻引擎的物理仿真系統可以幫助模擬真實世界中的物理效果，從而增強HMI的真實感和交互性。多平臺支持：虛幻引擎支持多種平臺，包括PC、主機、移動設備等，這意味著開發的HMI可以輕松地在不同的設備上部署和運行。工具：Insights（查看cpu消耗）、FrontEnd、Stat（Mesh合批、drawcall的優化）安卓工具：AndroidStudio Profile、SnapDragon（產看GPU使用率，busying脈沖耗時占比）、RenderDoc、BootChart（查看啟動時系統資源競爭關系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）

Q：最終package部署上車之后在屏幕上實際呈現的分辨率和運行效率是多少？調試過程中最大的難點是什么，如何解決的？

A：分辨率：7680*936 (8K)性能參數：CPU:34%(單核)、GPU:40%、內存(700M)、顯存(700M)最大的難點還是集中在這個8K屏幕上，產品需要 “一鏡到底、即時響應”之外還要兼顧系統消耗占用最低、運行流暢無卡頓和最優視覺效果，做了如下的解決方案：• 動態幀策略：HMI在前臺鎖定25幀，除此之外在其他場景下會設置15fps、5fps以及freeze三擋策略，來優化系統的占比• 分層資源管理：2D和3D的資產占比在1:9，除了車模常駐在內存外，其他資源都是通過后臺靜默加載來無縫銜接鏡頭切換，做到體驗絲滑無卡頓• UE4和車機系統交互策略：車機信號和觸控作為HMI的唯二信號源，我們對數據鏈路進行了即時和緩存的區分；此外在場景對高頻信號的“無序”且“反復”的處理上做了2級緩存和分類。

Q：在銀河E8這個HMI的項目上，虛幻引擎與傳統工具相比有什么優勢？

A：最大的優勢就是工具鏈和能力比較全，基礎的DCC到關卡導入的地編的工具與流程很便捷；獨特的藍圖功能，覆蓋了關卡藍圖、普通藍圖、gameplay藍圖、材質藍圖，可以通過藍圖節點來對邏輯、材質、轉場等功能進行快速實現，加速了POC和后期項目工程開發的進度；