長期以來，機器學習被認為是一項有前途的技術(shù)，將改變現(xiàn)有的傳統(tǒng)光網(wǎng)絡(luò)，推動其向下一代智能和自主實體邁進。過去幾年里，工業(yè)界和學術(shù)界都見證了機器學習在光纖通信不同方面的應(yīng)用，利用機器學習的研究顯著增加。研究者們在多個領(lǐng)域展開了積極探索，從網(wǎng)絡(luò)組件的設(shè)計到關(guān)鍵傳輸損傷的補償，再到網(wǎng)絡(luò)數(shù)據(jù)流量模式的預測。然而，盡管過去十年該領(lǐng)域的研究興趣空前高漲，開發(fā)的機器學習方法在現(xiàn)實世界光纖網(wǎng)絡(luò)中的實際部署、聲譽和影響仍未達到預期。
近日，清華大學深圳國際研究生院副教授費薩爾·納迪姆·汗（Faisal Nadeem KHAN）在研究中指出，在商業(yè)光纖網(wǎng)絡(luò)中廣泛部署基于機器學習解決方案的主要障礙在于一些尚未解決的非技術(shù)性限制因素，這些因素對實際網(wǎng)絡(luò)來說至關(guān)重要，但在很大程度上被利益相關(guān)者忽略。為此，團隊系統(tǒng)地確定了七個主要的非技術(shù)性障礙（圖1），包括遺留系統(tǒng)和流程的普遍存在、成本限制、專家勞動力的限制、數(shù)據(jù)可訪問性和隱私保護問題、機器學習模型的可解釋性以及透明性和問責性問題、缺乏機器學習輔助方法的標準和監(jiān)管政策、人為因素和認知偏見。
圖1.機器學習輔助方法在實際光纖網(wǎng)絡(luò)中面臨的七個關(guān)鍵非技術(shù)挑戰(zhàn)
為了證明此觀點，研究人員以光網(wǎng)絡(luò)中的網(wǎng)絡(luò)故障管理、端到端（E2E）通信系統(tǒng)優(yōu)化、光路傳輸質(zhì)量（QoT）估計、光性能監(jiān)測（OPM）和網(wǎng)絡(luò)安全管理五個主要機器學習應(yīng)用領(lǐng)域為例，詳細分析了面臨的非技術(shù)性障礙，并討論了上述障礙如何顯著削弱了機器學習輔助方法在實際光纖網(wǎng)絡(luò)中的部署前景。
研究還根據(jù)解決這些問題所面臨的難度對非技術(shù)挑戰(zhàn)進行了排名（圖2）。研究人員認為首先要克服的兩大挑戰(zhàn)是遺留問題和成本限制，因為改造現(xiàn)有光纖網(wǎng)絡(luò)基礎(chǔ)設(shè)施所需的財務(wù)影響至關(guān)重要。接下來，實現(xiàn)標準化和監(jiān)管框架是開發(fā)可在光網(wǎng)絡(luò)中普遍操作的機器學習輔助方法的關(guān)鍵問題，因為這需要工業(yè)界、標準化組織和監(jiān)管機構(gòu)的共同努力，而這方面的努力目前仍然不足。第四個關(guān)鍵挑戰(zhàn)是提供全球訪問相關(guān)數(shù)據(jù)源的途徑，同時保護數(shù)據(jù)隱私和匿名性。然而，建立這樣的數(shù)據(jù)共享機制并為專有網(wǎng)絡(luò)數(shù)據(jù)定義明確的數(shù)據(jù)使用條款仍在進行中。
接下來的兩個問題依次是機器學習模型的可解釋性/問責性問題和存在的故意/無意偏見問題，雖然這些問題不會從根本上阻礙機器學習輔助工具的實施，但解決這些問題對于在光網(wǎng)絡(luò)中實現(xiàn)可信的決策過程至關(guān)重要。最后，專家勞動力的限制在短期內(nèi)是一個緊迫問題，因為世界各地的工業(yè)界、學術(shù)界和政府最近對培養(yǎng)基本的機器學習知識和技能表現(xiàn)出了興趣，這可能會在未來應(yīng)對可用勞動力短缺問題時有所改善。
圖2.阻礙在光纖網(wǎng)絡(luò)中大規(guī)模部署機器學習解決方案的七個關(guān)鍵非技術(shù)性障礙的難度級別
更深層次地，團隊提供了一套廣泛的新穎解決方案，可以在解決現(xiàn)有的各個非技術(shù)挑戰(zhàn)中發(fā)揮重要作用，從而為未來光纖通信網(wǎng)絡(luò)中機器學習驅(qū)動的智能操作和決策的廣泛應(yīng)用鋪平道路。
近日，相關(guān)研究成果以“非技術(shù)性障礙：通往AI驅(qū)動智能光網(wǎng)絡(luò)的最后一關(guān)”（Non-technological barriers: the last frontiertowards AI-powered intelligent opticalnetworks）為題，發(fā)表在《自然·通訊》（Nature Communications）。
費薩爾·納迪姆·汗（Faisal Nadeem KHAN）為論文作者。該研究得到了清華大學深圳國際研究生院科研啟動基金的支持。