【導(dǎo)讀】現(xiàn)代機(jī)器人（包括人形機(jī)器人、自主移動(dòng)平臺(tái)和工業(yè)自動(dòng)化系統(tǒng)）必須在各種操作條件下以高精度、低延遲和一致的可靠性來(lái)感知環(huán)境。像視覺(jué)傳感器這樣的當(dāng)前技術(shù)在暴露于霧、眩光、灰塵、雨水或弱光環(huán)境中時(shí)，性能往往會(huì)下降，而單模態(tài)深度傳感器經(jīng)常難以在雜亂或動(dòng)態(tài)場(chǎng)景中提供穩(wěn)定的測(cè)量結(jié)果。
本文將概述如何使用德州儀器 (TI) IWR6243 毫米波雷達(dá)傳感器和部署在 NVIDIA Holocan 平臺(tái)上的攝像頭構(gòu)建實(shí)時(shí) AI 原始傳感器融合流程，如圖 1 所示。
圖 1 由攝像頭、IWR6243 毫米波雷達(dá)傳感器和 NVIDIA Holoscan 平臺(tái)組成的系統(tǒng)示意圖
TI 的毫米波雷達(dá)技術(shù)提供了一種從根本上不同的感應(yīng)方式，這種方式本身就能應(yīng)對(duì)各種環(huán)境挑戰(zhàn)。IWR6243 毫米波雷達(dá)傳感器可在不受光照條件影響的情況下提供精確的距離、速度和角度測(cè)量，并且具有很強(qiáng)的環(huán)境干擾抗擾性。當(dāng)原始數(shù)據(jù)與基于攝像頭的感知和 AI 驅(qū)動(dòng)的傳感器融合相結(jié)合時(shí)，與僅雷達(dá)或僅視覺(jué)方法相比，這種功能能夠?qū)崿F(xiàn)穩(wěn)健可靠的周圍環(huán)境感知，并且具有更高的保真度。
IWR6243 是一款在 57GHz 至 64GHz 頻段內(nèi)工作的高度集成的單芯片 4RX 和 3TX 毫米波雷達(dá)收發(fā)器。這種集成水平能夠顯著降低系統(tǒng)復(fù)雜性、功耗和物料清單成本，從而使其適用于可擴(kuò)展機(jī)器人和邊緣 AI 部署。該器件支持高分辨率點(diǎn)云生成，專為需要低延遲和確定性性能的實(shí)時(shí)感應(yīng)應(yīng)用而設(shè)計(jì)。
通過(guò)部署 IWR6243 以及 NVIDIA 的 Jetson Thor 和 NVIDIA Holoscan Sensor Bridge，開(kāi)發(fā)人員可以將 TI 久經(jīng)考驗(yàn)的毫米波雷達(dá)感應(yīng)與 NVIDIA GPU 加速的 AI 和流媒體基礎(chǔ)設(shè)施無(wú)縫結(jié)合。這種組合使雷達(dá)數(shù)據(jù)能夠高效地流入 AI 傳感器融合流程，同時(shí)保持 TI 雷達(dá)著名的物理測(cè)量精度和可靠性。
在機(jī)器人應(yīng)用中，IWR6243 能夠?qū)崿F(xiàn)精確的短距離人體檢測(cè)和運(yùn)動(dòng)跟蹤，從而在倉(cāng)庫(kù)等擁擠環(huán)境中進(jìn)行安全導(dǎo)航。借助雷達(dá)的直接距離和速度測(cè)量功能，可以在機(jī)器人周圍創(chuàng)建一個(gè)動(dòng)態(tài)安全緩沖區(qū)，可以根據(jù)物體距離和相對(duì)速度定義和連續(xù)調(diào)整保護(hù)區(qū)域。在人形機(jī)器人中，雷達(dá)傳感器進(jìn)一步支持在行走、運(yùn)行或操作任務(wù)期間實(shí)現(xiàn)穩(wěn)定的平衡控制和動(dòng)態(tài)避障。
系統(tǒng)概述
系統(tǒng)架構(gòu)以低延遲、以 GPU 為核心的數(shù)據(jù)通路為中心，在保留傳感器原始精度的同時(shí)，支持高級(jí) AI 處理。該設(shè)計(jì)集成了 TI 的 IWR6243 毫米波雷達(dá)模塊、攝像頭模塊、用于高帶寬和確定性傳感器數(shù)據(jù)收集的 NVIDIA Holoscan Sensor Bridge，以及所有在 Holoscan SDK（軟件開(kāi)發(fā)套件）上運(yùn)行的 NVIDIA Jetson Thor 邊緣計(jì)算平臺(tái)，如圖 2 所示。
圖 2 系統(tǒng)概述
IWR6243 毫米波雷達(dá)傳感器通過(guò)高速 CSI-2 接口提供原始測(cè)量數(shù)據(jù)，可實(shí)現(xiàn)對(duì)原始雷達(dá)信息的直接、低延遲訪問(wèn)，且傳輸開(kāi)銷極低。該接口可將雷達(dá)數(shù)據(jù)高效流式傳輸至 NVIDIA Holoscan Sensor Bridge，借助零拷貝機(jī)制將數(shù)據(jù)直接傳入 GPU 內(nèi)存，全程兼具以太網(wǎng)的可擴(kuò)展性與靈活性。該方案在保持 TI 高精度雷達(dá)測(cè)量數(shù)據(jù)完整性的同時(shí)，最大限度降低延遲并減少 CPU 參與度。
傳入 GPU 之后，Holoscan 運(yùn)行時(shí)會(huì)使用基于圖形的執(zhí)行模型來(lái)編排處理流程。雷達(dá)信號(hào)處理、攝像頭預(yù)處理、神經(jīng)網(wǎng)絡(luò)推理及多模式融合均采用確定性調(diào)度，確保在傳感器高數(shù)據(jù)率下仍能滿足實(shí)時(shí)性約束要求。借助這種架構(gòu)，開(kāi)發(fā)人員可以充分利用 TI 毫米波雷達(dá)的測(cè)量精度，同時(shí)高效擴(kuò)展 AI 工作負(fù)載。
AI 傳感器融合流程
傳感器融合流程首先同步收集雷達(dá)和攝像頭數(shù)據(jù)。雷達(dá)處理利用 IWR6243 的能力提供距離、速度和角度測(cè)量的原始數(shù)據(jù)，生成可捕獲環(huán)境空間結(jié)構(gòu)和運(yùn)動(dòng)特性的點(diǎn)云。同時(shí)，使用 GPU 加速的 AI 模型對(duì)攝像頭幀進(jìn)行處理，這些模型提取語(yǔ)義信息，如對(duì)象身份、姿勢(shì)和分類。
圖 3. 雷達(dá)處理流程
融合階段將 TI 雷達(dá)測(cè)量與空間和時(shí)間的視覺(jué)檢測(cè)保持一致。雷達(dá)衍生的深度和速度信息補(bǔ)充了基于視覺(jué)的推理，可提高穩(wěn)健性并減少模糊性。在涉及高速運(yùn)動(dòng)目標(biāo)、部分遮擋或視覺(jué)環(huán)境惡化的場(chǎng)景中，僅依靠攝像頭感知極易失效，融合感知的價(jià)值尤為突出。
通過(guò)將 TI 不受照明影響的精確雷達(dá)傳感與 AI 驅(qū)動(dòng)的視覺(jué)語(yǔ)義相結(jié)合，融合感知輸出可實(shí)現(xiàn)更高的置信度、更高的跟蹤穩(wěn)定性和更可靠的對(duì)象分類。生成的融合數(shù)據(jù)可用于實(shí)時(shí)決策、導(dǎo)航、安全監(jiān)控或下游自主堆棧。
TI 毫米波雷達(dá)在傳感器融合中的優(yōu)勢(shì)
TI 的毫米波雷達(dá)為傳感器融合系統(tǒng)帶來(lái)了獨(dú)特的優(yōu)勢(shì)，這種優(yōu)勢(shì)難以通過(guò)其他傳感技術(shù)實(shí)現(xiàn)。直接測(cè)量距離和速度的能力可實(shí)現(xiàn)精確的運(yùn)動(dòng)理解，從而增強(qiáng)跟蹤和預(yù)測(cè)。毫米波傳感的穩(wěn)健性使感知系統(tǒng)能夠在光學(xué)傳感器性能退化的環(huán)境（包括低光照、眩光、霧和灰塵）中可靠運(yùn)行。
IWR6243 的高集成度可降低系統(tǒng)復(fù)雜性和功耗，同時(shí)實(shí)現(xiàn)可擴(kuò)展的多傳感器部署。TI 在汽車和工業(yè)雷達(dá)領(lǐng)域的長(zhǎng)期專業(yè)知識(shí)還為功能安全性、可靠性和長(zhǎng)期可用性奠定了堅(jiān)實(shí)的基礎(chǔ)，這些都是對(duì)機(jī)器人和自主系統(tǒng)的關(guān)鍵要求。
IWR6243 集成到基于 Holoscan 的 AI 流程時(shí)，可用作傳感器前端，為實(shí)際測(cè)量的 AI 推理提供可靠的傳感器數(shù)據(jù)。這種組合可提高整體系統(tǒng)性能，并降低邊緣部署中出現(xiàn)感知故障的風(fēng)險(xiǎn)。
開(kāi)始使用硬件
基于德州儀器毫米波雷達(dá)與 NVIDIA Holoscan 構(gòu)建雷達(dá)視覺(jué)傳感器融合系統(tǒng)，首先需搭建一套硬件平臺(tái)，支持從傳感器到集中式 AI 計(jì)算平臺(tái)的高帶寬、低延遲數(shù)據(jù)傳輸。參考硬件配置將 TI 的雷達(dá)評(píng)估硬件與 NVIDIA Holoscan Sensor Bridge 和 NVIDIA Jetson Thor 相結(jié)合。
IWR6243 級(jí)聯(lián) EVM 用作雷達(dá)傳感前端。該評(píng)估模塊集成了兩個(gè) IWR6243 毫米波雷達(dá)器件，以及快速開(kāi)發(fā)和驗(yàn)證所需的電源管理、時(shí)鐘和連接。借助 IWR6243 EVM，開(kāi)發(fā)人員可以配置雷達(dá)線性調(diào)頻脈沖和幀時(shí)序，同時(shí)公開(kāi)適用于高級(jí)信號(hào)處理和基于 AI 的融合的原始雷達(dá)數(shù)據(jù)。借助該 EVM 可加速系統(tǒng)啟動(dòng)，并提供經(jīng)過(guò)驗(yàn)證的可靠硬件基準(zhǔn)，能夠真實(shí)反映量產(chǎn)雷達(dá)方案的性能特性。
為了實(shí)現(xiàn)從 IWR6243EVM 到 Holoscan 生態(tài)系統(tǒng)的高效數(shù)據(jù)傳輸，在雷達(dá)評(píng)估模塊和 NVIDIA Holoscan Sensor Bridge 之間使用了一個(gè) CSI-2 適配器板，如圖 4 所示。此適配器板將雷達(dá)輸出接口的信號(hào)橋接至傳感器橋預(yù)期的 CSI-2 輸入。
圖 4. 硬件概述
Lattice CertusPro-NX 傳感器到以太網(wǎng)橋接板在低延遲、低功耗、靈活的 FPGA 上運(yùn)行，可用作高帶寬傳感器數(shù)據(jù)的中央聚合和傳輸設(shè)備。它接收來(lái)自雷達(dá)的 CSI-2 數(shù)據(jù)流，以及攝像頭等其他傳感器的各類接口信號(hào)。傳感器橋接器負(fù)責(zé)確定性數(shù)據(jù)移動(dòng)，并將傳感器數(shù)據(jù)直接傳送到計(jì)算平臺(tái)上可由 GPU 訪問(wèn)的存儲(chǔ)器中。
NVIDIA Jetson Thor 用作系統(tǒng)的集中計(jì)算平臺(tái)。Jetson Thor 提供雷達(dá)信號(hào)處理、攝像頭推理、多模式融合和實(shí)時(shí)決策所需的 GPU 性能和 AI 加速。在 NVIDIA Jetson Thor 上運(yùn)行 Holoscan SDK 使開(kāi)發(fā)人員能夠定義和執(zhí)行流式 AI 流程，以可預(yù)測(cè)的延遲處理雷達(dá)和視覺(jué)數(shù)據(jù)。集中計(jì)算方法允許系統(tǒng)通過(guò)提高計(jì)算能力在不同的自主級(jí)別之間進(jìn)行擴(kuò)展，而無(wú)需重新設(shè)計(jì)傳感器硬件。
IWR6243EVM、CSI-2 適配器板、NVIDIA Holoscan Sensor Bridge、攝像頭模塊和 NVIDIA Jetson Thor 共同構(gòu)成了雷達(dá)視覺(jué)傳感器融合的完整硬件基礎(chǔ)。這種配置使開(kāi)發(fā)人員能夠?qū)Ｗ⒂诟兄惴ê?AI 融合，同時(shí)依賴于針對(duì)高帶寬檢測(cè)、低延遲和面向量產(chǎn)人形機(jī)器人和機(jī)器人系統(tǒng)的可擴(kuò)展性進(jìn)行優(yōu)化的硬件架構(gòu)。IWR6243 級(jí)聯(lián) EVM 硬件和適配器板可直接從德州儀器 (TI) 獲取，開(kāi)發(fā)人員應(yīng)聯(lián)系其德州儀器 (TI) 售代表以了解供貨情況、訂購(gòu)信息和支持選項(xiàng)。
開(kāi)始使用軟件
在 NVIDIA Holoscan Bridge 上搭建雷達(dá)視覺(jué)傳感器融合軟件棧，需完成 Holoscan SDK 配置、啟用 Holoscan Sensor Bridge 軟件組件，并部署實(shí)現(xiàn)雷達(dá)處理與傳感器融合功能的應(yīng)用軟件。
NVIDIA Holoscan SDK 為構(gòu)建實(shí)時(shí)流式 AI 應(yīng)用程序提供了核心軟件框架。它包括基于圖形的執(zhí)行模型、GPU 加速運(yùn)算符、確定性調(diào)度，以及對(duì)傳感器推理、可視化和數(shù)據(jù)移動(dòng)的集成支持。該 SDK 在 NVIDIA Jetson Thor 上運(yùn)行，并管理雷達(dá)處理和攝像頭推理的執(zhí)行。
NVIDIA Holoscan Sensor Bridge 軟件棧通過(guò)支持高帶寬傳感器將數(shù)據(jù)高效地流式傳輸?shù)?Holoscan 運(yùn)行時(shí)來(lái)補(bǔ)充 SDK。它提供了必要的驅(qū)動(dòng)程序、固件和接口，可將傳感器數(shù)據(jù)從基于 Lattice 的傳感器橋接硬件直接移動(dòng)到 GPU 可訪問(wèn)的存儲(chǔ)器中。該軟件層可將傳感器傳輸細(xì)節(jié)提取出來(lái)，并驗(yàn)證確定性時(shí)序，使應(yīng)用程序的開(kāi)發(fā)人員能夠?qū)Ｗ⒂诟兄惴ǘ皇堑图?jí)別的數(shù)據(jù)移動(dòng)。Holoscan Sensor Bridge 與 Holoscan SDK 之間的緊密集成對(duì)于在實(shí)時(shí)融合應(yīng)用中保持雷達(dá)與攝像頭流之間的同步至關(guān)重要。
在 NVIDIA Holoscan 平臺(tái)之上，應(yīng)用軟件實(shí)現(xiàn)了雷達(dá)配置、信號(hào)處理、傳感器對(duì)齊和融合邏輯。在此系統(tǒng)中，應(yīng)用軟件由 D3 Embedded 開(kāi)發(fā)，專門設(shè)計(jì)用于利用德州儀器 (TI) 毫米波雷達(dá)、Lattice Semiconductor 的 Holoscan Sensor Bridge 板和 NVIDIA Holoscan 基礎(chǔ)設(shè)施。該軟件將 IWR6243 雷達(dá)數(shù)據(jù)集成到基于 Holoscan 的流程中，從而在集中式處理架構(gòu)內(nèi)實(shí)現(xiàn)雷達(dá)點(diǎn)云生成、攝像頭對(duì)齊和 AI 驅(qū)動(dòng)的融合。
D3 Embedded 開(kāi)發(fā)的應(yīng)用軟件可作為 D3 Embedded sales@d3embedded.com 服務(wù)項(xiàng)目的一部分獲得。
NVIDIA Holoscan SDK、Holoscan Sensor Bridge 軟件棧和 D3 Embedded 的應(yīng)用軟件共同構(gòu)成了用于實(shí)時(shí)雷達(dá)視覺(jué)傳感器融合的完整軟件設(shè)計(jì)。這種組合實(shí)現(xiàn)了快速啟動(dòng)和可擴(kuò)展的性能，并為從評(píng)估硬件到可直接用于生產(chǎn)環(huán)境的人形機(jī)器人和機(jī)器人系統(tǒng)提供了清晰的途徑。
結(jié)語(yǔ)
TI 的 IWR6243 毫米波雷達(dá)與 NVIDIA Holoscan 平臺(tái)上的攝像頭數(shù)據(jù)之間的實(shí)時(shí) AI 傳感器融合提供了穩(wěn)健、可擴(kuò)展且可立即投入生產(chǎn)的感知設(shè)計(jì)。TI 的毫米波雷達(dá)技術(shù)可對(duì)距離和速度進(jìn)行準(zhǔn)確且不受光照影響的測(cè)量，而 NVIDIA Holoscan 可實(shí)現(xiàn)超低延遲 GPU 處理和 AI 驅(qū)動(dòng)的融合。這些技術(shù)可以讓開(kāi)發(fā)人員共同構(gòu)建能夠在復(fù)雜、動(dòng)態(tài)和具有挑戰(zhàn)性的環(huán)境中可靠運(yùn)行的高級(jí)感知系統(tǒng)，加快下一代機(jī)器人和自主機(jī)器的部署。
