摘要
在基于車聯(lián)網(wǎng) (C-V2X) 的車路協(xié)同應(yīng)用中，路側(cè)感知設(shè)備獲取的交通目標(biāo)與交通環(huán)境信息由路側(cè)邊緣計算設(shè)備進行分析處理，生成各類I2V (Infrastructure-to-Vehicle) 消息，并由路側(cè)單元（RSU）通過無線鏈路發(fā)送給各類道路交通參與者（包括聯(lián)網(wǎng)車輛和弱勢交通參與者），用于提升交通安全與交通效率。作為路側(cè)感知設(shè)備的激光雷達，由于其3D成像和精確測距等卓越性能，受到越來越廣泛的應(yīng)用。基于英特爾架構(gòu)的路側(cè)邊緣計算設(shè)備，在處理激光雷達生成的3D點云中（無論是深度學(xué)習(xí)還是傳統(tǒng)計算機視覺），都顯示出了卓越的性能。本文介紹了基于第11代英特爾酷睿處理器和英特爾OpenVINO工具套件分發(fā)版的集和誠路側(cè)MEC設(shè)備，用于支持基于深度學(xué)習(xí)的3D點云處理和鐳神雷視一體機（激光雷達與攝像頭）的感知融合計算。我們?yōu)檐嚶?lián)網(wǎng)產(chǎn)業(yè)界提供了高性價比的路側(cè)感知和路側(cè)邊緣計算解決方案。
背景：中國的智能交通基礎(chǔ)設(shè)施的快速發(fā)展
近幾年，國家有關(guān)部門出臺多項產(chǎn)業(yè)政策支持智能交通發(fā)展，如《交通強國建設(shè)綱要》、《國家綜合立體交通網(wǎng)規(guī)劃綱要》和《國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標(biāo)綱要》
等，均強調(diào)全方位布局交通感知系統(tǒng)是實現(xiàn)交通基礎(chǔ)設(shè)施智能化的重要步驟。
車聯(lián)網(wǎng)作為半導(dǎo)體、智能計算、無線通信、汽車制造和交通運輸?shù)刃袠I(yè)深度融合的新型產(chǎn)業(yè)形態(tài)，在提升交通安全與交通效率方面擁有巨大的潛能。隨著人工智能、邊緣計算和移動組網(wǎng)等技術(shù)的快速發(fā)展，車聯(lián)網(wǎng)的功能與性能也不斷的完善和提升之中，將在未來的智能交通系統(tǒng)中將發(fā)揮重要的作用。我國高度重視車聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展，相繼出臺了《車聯(lián)網(wǎng)（智能網(wǎng)聯(lián)汽車）產(chǎn)業(yè)發(fā)展行動計劃》和《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》等系列政策文件。中國產(chǎn)業(yè)界一直在積極推動圍繞C-V2X技術(shù)構(gòu)建的車路協(xié)同技術(shù)路線。
路側(cè)基礎(chǔ)設(shè)施是車聯(lián)網(wǎng)新基建的重要組成部分，其技術(shù)與標(biāo)準(zhǔn)體系正在持續(xù)完善之中，而相關(guān)的細分產(chǎn)業(yè)鏈（包括路側(cè)感知、路側(cè)邊緣計算和路側(cè)通信等）也在加速形成。2020年8月出臺的《關(guān)于推動交通運輸領(lǐng)域新型基礎(chǔ)設(shè)施建設(shè)的指導(dǎo)意見》 明確指出要讓泛在感知設(shè)施深度覆蓋交通運輸行業(yè)。 2021年9月，中國IMT-2020 (5G) 推進組所轄的C-V2X工作組發(fā)布研究報告《基于邊緣計算的路側(cè)感知融合系統(tǒng)研究》系統(tǒng)性地介紹了路側(cè)感知融合的技術(shù)和產(chǎn)業(yè)發(fā)展現(xiàn)狀[1]。
作為全球最領(lǐng)先的芯片廠商，英特爾也與包括鐳神與集和誠在內(nèi)的國內(nèi)廣大合作伙伴，加速研發(fā)相關(guān)的產(chǎn)品與解決方案，促進基于車聯(lián)網(wǎng)的車路協(xié)同早日實現(xiàn)商用。
車路協(xié)同中的路側(cè)感知與路側(cè)邊緣計算
如圖1所示，車路協(xié)同依靠路側(cè)感知設(shè)備（包括攝像頭、激光雷達和毫米波雷達在內(nèi)的各類交通傳感器）采集交通目標(biāo)的原始信息（包括2D視頻圖像和3D點云等），交給路側(cè)邊緣計算設(shè)備進行分析計算（包括目標(biāo)檢測與目標(biāo)分類）以及與感知融合，生成結(jié)構(gòu)化數(shù)據(jù)用以表示交通目標(biāo)的屬性（例如車輛的速度與航向、交通事件的類別與影響范圍等）。這些結(jié)構(gòu)化數(shù)據(jù)被進一步處理成V2X消息，準(zhǔn)確地說是I2V消息。這些I2V消息被RSU (路側(cè)單元) 經(jīng)由PC5無線空中接口、或者5G/4G基站經(jīng)由Uu無線空中接口發(fā)送給包括機動車和行人在內(nèi)的道路交通參與者。
圖1. 車路協(xié)同的系統(tǒng)概念
車路協(xié)同的路側(cè)系統(tǒng)架構(gòu)由圖2所示，可分為路側(cè)感知（包括攝像頭、激光雷達和毫米波雷達在內(nèi)的各種交通傳感器）、路側(cè)邊緣計算（包括路側(cè)MEC計算設(shè)備）和路側(cè)通信（包括RSU）三大部分。本文主要涉及路側(cè)感知和路側(cè)邊緣計算這兩個部分。
圖2. 車路協(xié)同的路側(cè)系統(tǒng)架構(gòu)
路側(cè)感知
在車路協(xié)同的路側(cè)感知領(lǐng)域，常用的傳感器包括攝像頭、激光雷達與毫米波雷達。本文中介紹的技術(shù)方案涉及前兩種，下面我們分別介紹它們的技術(shù)特點。
攝像頭
攝像頭是最為常見的交通路側(cè)傳感器，基于對其所采集的圖像和視頻的分析，能夠獲得豐富的色彩、紋理和語義信息，實現(xiàn)精細化的交通目標(biāo)的分類。但其局限性也比較突出，主要體現(xiàn)在受夜晚弱光或惡劣天氣條件的影響較大，難以對交通目標(biāo)進行有效可靠的感知。攝像頭作為交通傳感器的性能優(yōu)缺點總結(jié)于表1中。
激光雷達
激光雷達正在成為智能交通領(lǐng)域越來越重要的一種傳感器。它主動向待測空間區(qū)域發(fā)射激光光束，并接收反射回來的信號并將其與發(fā)射信號進行比較生成3D點云，經(jīng)過進一步的處理，可獲得目標(biāo)物體的距離、方位、速度、3D尺寸及類別等精確信息。
激光雷達按照其內(nèi)部激光掃描機構(gòu)的工作原理可以分為以下大、小類別：
◆ 機械式
● 整體旋轉(zhuǎn)式
● 棱鏡旋轉(zhuǎn)式
◆ 非機械式
● Flash
● 光學(xué)相控陣
● 以微機電(MEMS)鏡式為主
● 混合固態(tài)式
● 固態(tài)式
激光雷達作為交通傳感器的性能優(yōu)缺點總結(jié)于表1中。
表1. 攝像頭與激光雷達的優(yōu)缺點對比
感知融合：基于激光雷達與攝像頭
感知融合指的是兩種或兩種以上傳感器互相配合共同完成對目標(biāo)的檢測與分類。由于在性能上“取長補短”，感知融合比單種傳感器具有更全面的感知能力和更優(yōu)秀的性能。基于激光雷達和攝像頭組合的感知融合在發(fā)揮激光雷達精確測距性能優(yōu)勢的同時，可以依靠攝像頭來識別目標(biāo)顏色、交通標(biāo)志和交通信號等信息。也就是說，感知融合可以通過攝像頭與激光雷達的“分工”，將攝像頭用于目標(biāo)分類而激光雷達用于目標(biāo)檢測。在這種情況下，3D點云的處理可以使用PCL (Point Cloud Library) [2][3]等非深度學(xué)習(xí)的方法，從而降低了算法的整體復(fù)雜度及相應(yīng)的硬件成本，使得高性價比的解決方案成為可能。
路側(cè)邊緣計算：促進感知融合在車路協(xié)同中的應(yīng)用
基于英特爾架構(gòu)的路側(cè)邊緣計算設(shè)備可對2D視頻圖像和3D點云信息，分別進行基于深度學(xué)習(xí)的推理或基于傳統(tǒng)計算機視覺的分析，并將兩者得到的結(jié)果進行融合。
系統(tǒng)架構(gòu)
在車路協(xié)同的應(yīng)用中，MEC發(fā)揮著無可替代的重要作用。根據(jù)部署的位置和對時延與算力的具體需求，MEC可以有多種形式，包括路側(cè)MEC和網(wǎng)絡(luò)邊緣MEC等（如圖2所示）�；谟⑻貭柤軜�(gòu)的各種MEC設(shè)備[4][5]為實現(xiàn)車路協(xié)同的各種用例提供強大可靠的通用和AI算力支持，從而使得我們能夠?qū)碜圆煌N類傳感器的信息進行實時的高效分析并將結(jié)果融合，顯著提升了智能交通系統(tǒng)的安全與效率。
面向交通安全的車路協(xié)同應(yīng)用對于端到端時延有著比較嚴(yán)格的要求，部署地點靠近路側(cè)感知設(shè)備和路側(cè)通信設(shè)備（RSU）的路側(cè)MEC對于降低時延有著更好的保障。
第11代英特爾酷睿處理器 (產(chǎn)品代號：Tiger Lake)
針對于包括車路協(xié)同在內(nèi)的眾多垂直行業(yè)應(yīng)用，英特爾發(fā)布了第11代酷睿系列處理器，在具備強大通用計算與AI加速運算能力的同時，功耗很低、散熱設(shè)計容易，是路側(cè)邊緣計算設(shè)備非常理想的高性價比和高能效比計算平臺。這一系列處理器中的很多型號還支持寬溫工作以及對設(shè)備進行遠程管理維護的英特爾博銳平臺技術(shù)。
本文中的性能評估基于以下兩款第11代英特爾酷睿處理器，其配置如表2中所示。
● 英特爾酷睿i7-1185GRE處理器
● 英特爾酷睿i7-1165G7處理器
兩款處理器的最高性能詳見產(chǎn)品技術(shù)規(guī)格[6][7]。
表2. 第11代英特爾酷睿處理器 (Tiger Lake) 配置
集和誠路側(cè)MEC設(shè)備
基于上述兩款第11代英特爾酷睿處理器，集和誠開發(fā)了全新的KMDA-3301型路側(cè)MEC設(shè)備（如圖3所示）。其主要特點包括：無風(fēng)扇散熱、IO接口豐富、鋁型材質(zhì)、機身纖薄、減震設(shè)計等，非常適合部署在路側(cè)等嚴(yán)苛環(huán)境，為車路協(xié)同應(yīng)用提供穩(wěn)定可靠的高算力保障。產(chǎn)品規(guī)格詳見集和誠公司網(wǎng)站[8]。
圖3. 集和誠路側(cè)MEC設(shè)備（KMDA-3301型）
英特爾OpenVINO工具套件分發(fā)版 （以下簡稱OpenVINO）
OpenVINO是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件，用于加速高性能計算機視覺和深度學(xué)習(xí)豐富多樣的應(yīng)用開發(fā)[9][10]。其顯著的三個特點是：高性能深度學(xué)習(xí)推理，非常易于使用的簡化開發(fā)流程，一次編寫可任意部署。
具體來說，OpenVINO支持快速開發(fā)豐富多樣的應(yīng)用和解決方案，來模擬人類的視覺。它能顯著提升視頻分析的準(zhǔn)確度，加速推理，并節(jié)約算力資源。該工具套件基于卷積神經(jīng)網(wǎng)絡(luò) (CNN: Convolutional Neural Network)，支持直接異構(gòu)執(zhí)行，可在多種英特爾芯片平臺中擴展計算機視覺和深度學(xué)習(xí)的工作負(fù)載，實現(xiàn)卓越性能。套件中的英特爾Media SDK 支持在英特爾核芯顯卡上進行高性能的視頻編碼和解碼。OpenVINO支持多種操作系統(tǒng)（包括Windows、Linux和macOS）和編程語言（包括Python和C++）。
OpenVINO免費提供超過280個經(jīng)預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型和參考代碼，支持模型的量化和調(diào)優(yōu)，加速深度學(xué)習(xí)的推理運算。
操作系統(tǒng)與軟件配置
本文的性能實測部分所涉及的操作系統(tǒng)與軟件采用表3中所列的配置。
表3. 操作系統(tǒng)與軟件配置
基于英特爾架構(gòu)的激光雷達3D點云處理方案
作為車路協(xié)同中的路側(cè)感知設(shè)備，激光雷達可以作為獨立的傳感器使用，也可和攝像頭配合形成感知融合的技術(shù)方案。這兩種方案中信息處理所需要的算力，均由MEC設(shè)備中最核心的英特爾處理器來承載。下面，我們分別介紹這兩種方案所需解決的技術(shù)挑戰(zhàn)、基于英特爾架構(gòu)的解決方案和性能實測效果。
激光雷達作為獨立傳感器
基于英特爾架構(gòu)的解決方案
在這種方案中，交通目標(biāo)的檢測基于對激光雷達生成的3D點云進行深度學(xué)習(xí)的推理，對算力的要求非常高。在實際的交通應(yīng)用中，處理速度需要達到至少10幀/秒。通過優(yōu)化基于深度學(xué)習(xí)的3D點云處理流程[11][12]來提升處理速度，對于提升基于部署于路側(cè)的MEC平臺的性價比和能效比，至關(guān)重要。
我們使用OpenVINO對開源3D點云深度學(xué)習(xí)模型PointPillars [12]做了優(yōu)化。如圖4所示，藍色模塊依然沿用原生代碼的Python實現(xiàn)，而綠色模塊則使用了OpenVINO中的模型優(yōu)化工具 (Model Optimizer) 進行了加速，具體細節(jié)詳見[13][14]。
圖4. 基于英特爾酷睿處理器 (Tiger Lake) 實現(xiàn)的PointPillars模型
性能實測效果
我們采用KITTI數(shù)據(jù)集[15]中的訓(xùn)練集來測試性能。相對于OpenVINO優(yōu)化之前的PyTorch格式模型，OpenVINO優(yōu)化之后IR格式模型可以顯著提升吞吐率與處理時延性能（如表4所示）。
表4. 吞吐率與處理時延（基于深度學(xué)習(xí)的3D點云處理）
感知融合：激光雷達與攝像頭
鐳神雷視一體機
鐳神雷視一體機及其實際部署場景如圖5所示。該設(shè)備采用攝像頭和鐳神CH128X1型激光雷達相結(jié)合的方式，獲取交通目標(biāo)與交通環(huán)境的原始數(shù)據(jù)，通過以太網(wǎng)將其傳遞給基于第11代英特爾酷睿處理器的集和誠路側(cè)MEC設(shè)備進行分析處理。
圖5. 鐳神雷視一體機（激光雷達與攝像頭）及實際部署場景
鐳神CH128X1型激光雷達的激光源不動，通過棱鏡旋轉(zhuǎn)來掃描空間區(qū)域，實現(xiàn)對水平120°區(qū)域的掃描。其具體規(guī)格參數(shù)如下表5所示。
表5. 鐳神CH128X1激光雷達規(guī)格參數(shù)表
基于英特爾架構(gòu)的解決方案
為了兼顧處理效率與準(zhǔn)確性的需求，鐳神和英特爾共同提出了基于傳統(tǒng)算法和深度學(xué)習(xí)相結(jié)合的目標(biāo)級感知融合方案，其處理流程如圖6所示。其中，對于激光雷達所采集的3D點云數(shù)據(jù)，我們采用PCL [2][3]中的聚類和追蹤算法來獲取目標(biāo)的的位置距離和速度等信息；對于攝像頭所采集的2D圖像數(shù)據(jù)，我們采用基于Yolo-v5神經(jīng)網(wǎng)絡(luò)和OpenVINO的深度學(xué)習(xí)算法來獲取目標(biāo)的類別信息。
我們將3D點云數(shù)據(jù)聚類得到的目標(biāo)中心點投影到2D圖像上，判斷該點與基于深度學(xué)習(xí)算法得出的2D圖像中目標(biāo)位置中心的距離是否小于某一閾值：若是，則確定激光雷達和攝像頭分別檢測到的目標(biāo)為同一物體，并將該兩種傳感器獲取的目標(biāo)級結(jié)果進行融合。如圖6所示，融合的結(jié)果包括目標(biāo)的類別、位置距離和速度等信息，可根據(jù)需要顯示在2D圖像或者3D點云中。
圖6. 激光雷達與攝像頭的目標(biāo)級感知融合
性能實測效果
我們使用采集自鐳神CH128X1型激光雷達的3D點云數(shù)據(jù)集，其數(shù)據(jù)文件包含多幀點云數(shù)據(jù)，每個點的參數(shù)包括3D坐標(biāo)（x, y, z）和反射率（r）。3D點云經(jīng)過處理之后生成圍繞目標(biāo)的3D框，其檢測結(jié)果的標(biāo)注采用類似于KITTI數(shù)據(jù)集所采用的格式。我們使用集和誠KMDA-3301型路側(cè)MEC設(shè)備[8]和OpenVINO[9][10]，對于感知融合方案進行了測試，其性能如表6所示。
表6. 感知融合方案的實測性能
實測性能表明，激光雷達無論是作為獨立的傳感器使用，還是和攝像頭配合形成感知融合的技術(shù)方案，基于英特爾架構(gòu)的激光雷達3D點云處理可實現(xiàn)優(yōu)異的性能。
結(jié)語與展望
5G在中國已經(jīng)大規(guī)模商用，為終端設(shè)備的互聯(lián)互通奠定了高速率、低時延和廣泛連接的網(wǎng)絡(luò)基礎(chǔ)。作為 5G 垂直行業(yè)應(yīng)用中最受矚目的應(yīng)用場景之一，車聯(lián)網(wǎng)也將在此基礎(chǔ)上加速發(fā)展�；� 5G 新空口的蜂窩車聯(lián)網(wǎng)標(biāo)準(zhǔn)已經(jīng)于 2020 年 6 月完成制定，大規(guī)模試驗和測試即將展開。基于英特爾架構(gòu)的激光雷達3D點云處理和感知融合方案為車聯(lián)網(wǎng)積極賦能，使能豐富多樣的智能交通場景，顯著提升交通安全與效率。
以數(shù)據(jù)為中心的英特爾公司以世界領(lǐng)先的端到端 AI 與計算機視覺技術(shù)以及性能強大、功能完善的硬件與軟件產(chǎn)品組合，聯(lián)合產(chǎn)業(yè)界伙伴，為全球車聯(lián)網(wǎng)產(chǎn)業(yè)的加速發(fā)展奠定了堅實的基礎(chǔ)。
PDF文檔下載
中文版
https://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov.html
英文版
ttps://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov-en.html
參考文獻
[1] IMT-2020(5G)推進組C-V2X工作組，“基于邊緣計算的路側(cè)感知融合系統(tǒng)研究”，2021年9月.
[2] "Point Cloud Library", URL: https://pointclouds.org/
[3] R. B. Rusu and S. Cousins, "3D is here: Point Cloud Library (PCL)," in Proc. 2021 IEEE International Conference on Robotics and Automation (ICRA).
[4] 雷鳴，程加鋼，姜榮華，“基于英特爾架構(gòu)的集和誠MEC設(shè)備加速車聯(lián)網(wǎng)的商用部署”，Intel解決方案白皮書，2020年12月.
[5] 雷鳴，周長軍，姜榮華，“基于英特爾AI計算機視覺的新創(chuàng)中天智能交通路側(cè)視頻邊緣計算設(shè)備”，Intel解決方案白皮書，2020年9月.
[6] "IntelCorei7-1185GRE Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208082/intel-core-i7-1185gre-processor-12m-cache-up-to-4-40-ghz.html
[7] "IntelCorei7-1165G7 Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208662/intel-core-i7-1165g7-processor-12m-cache-up-to-4-70-ghz.html
[8] “集和誠KMDA-3301產(chǎn)品規(guī)格”，URL: http://www.jhctech.com.cn/pro_show.php?id=91
[9] "OpenVINOToolkit Overview", URL: https://docs.openvinotoolkit.org/latest/index.html
[10] OpenVINO Chinese Community, URL: https://zhuanlan.zhihu.com/p/225441633
[11] C. R. Qi, H. Su, K. Mo and L. J. Guibas, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," in Proc. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
[12] A. H. Lang, S. Vora, H. Caesar, L.-B. Zhou, J. Yang and O. Beijbom, “PointPillars: Fast Encoders for Object Detection From Point Clouds,” in Proc. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
[13] Q. Xu, S.-X. Liu, H. Ma, J. Du, M. Lei and Y. Wang, “Optimization of PointPillars by using IntelDistribution of OpenVINOToolkit,” online article: https://software.intel.com/content/www/us/en/develop/articles/optimization-of-pointpillars.html, Aug. 2021.
[14] S.-X. Liu, Q. Xu, H. Ma, J. Du, M. Lei, J. Tao and J.-L. Bao, “Optimization of PointPillars (A Deep Learning Network for LiDAR-based 3D Object Detection) on Intel Platform,” in Proc. IEEE International Conference on Power, Intelligent Computing and Systems 2021 (ICPICS 2021), Shenyang, China, July 2021.
[15] "KITTI 3D detection dataset," URL: http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d
