發布詢價單
您的位置:首頁 > 資訊 > 科技探索 > 正文

無人機空中對接中的視覺導航方法

2019-10-09 19:59 性質:轉載 作者:劉愛超,佘浩平,楊欽寧,周思成 來源:導航定位與授時
免責聲明:無人機網(www.yullro.live)尊重合法版權,反對侵權盜版。(凡是我網所轉載之文章,文中所有文字內容和圖片視頻之知識產權均系原作者和機構所有。文章內容觀點,與本網無關。如有需要刪除,敬請來電商榷!)
劉愛超,佘浩平,楊欽寧,周思成(北京理工大學宇航學院,北京 100081)摘 要:無人機空中加油是一種能有效提升巡航里程及續航時長的技術手段,近距相對位置和姿...

劉愛超,佘浩平,楊欽寧,周思成

(北京理工大學宇航學院,北京 100081)

摘 要:無人機空中加油是一種能有效提升巡航里程及續航時長的技術手段,近距相對位置和姿態測量技術是其中需要解決的關鍵問題之一。針對該問題研究了無人機自主空中對接中的視覺導航方法,完成了近距對接的地面實驗。首先,利用移動對接圖標和無人機的GPS/INS信息進行無人機的粗略導航,完成會合;再充分利用視覺圖標的顏色與形狀信息,通過顏色分割選取目標可能區域,在這些區域中進行快速橢圓檢測,針對橢圓檢測算法存在誤檢測及邊緣不重合的問題,提出了橢圓檢測與輪廓檢測相結合的方法,能夠更準確地描述圖標邊緣;最后,利用改進的OI算法進行相對位姿的估計,實現近距的精確導航。實驗結果表明,無人機在較高速度下的跟蹤效果良好,采用的視覺導航方法能夠滿足空中對接中精度與實時性的要求。

關鍵詞:無人機;空中對接;視覺導航;位姿估計;橢圓檢測


0 引言


空中加油技術已經成為現代化戰爭中能有效提升作戰距離和機動能力的技術手段。而無人機最突出的弱點是續航時間短和有效載荷不足,需要定期返回基地進行補給,嚴重削弱了無人機執行長航時和復雜任務的能力,限制了無人機的使用[1-2]。為解決這種矛盾,美國國防預研局、空軍研究實驗室及美國國家航空航天局(National Aeronautics and Space Administration,NASA)等機構已開展了多項自動空中加油(Automated Aerial Refueling,AAR)驗證計劃[3-4],將自主空中加油技術應用到無人機中,既是一種趨勢又是一種必然。

相對位姿的解算是自主空中加油的重要一環,目前測量相對位姿信息的傳感器主要包括慣性導航系統(Inertial Navigation System,INS) 、差分全球定位系統(Differential Global Positioning System,DGPS)、視覺傳感器等。慣導系統由于會產生累積誤差,無法滿足對接過程中的精度要求。DGPS可以滿足精度要求,但在對接過程中加油機容易遮擋GPS信號,導致精度下降。視覺傳感器以其精度高、應用范圍廣、價格低廉等優勢在自主空中加油中得到了廣泛的應用。目前,最為廣泛的錐套檢測手段按特征可以分為基于顏色信息和基于紅外信息兩類;按攝像頭數量又可分為單目及多目。采用顏色信息又可分為兩種情況,一種是直接在錐套的圓環形邊緣噴涂顏色,如文獻[5];另一種則在邊緣粘貼數個帶有顏色的圓形小圖標,如文獻[6]。基于顏色信息的方法優點在于十分簡便,不需要對現有的對接裝置做過多改動,適用范圍廣泛;其缺點在于依賴良好的光照環境。基于紅外信息的研究主要采取在錐套邊緣安裝數個紅外LED信標的方案,如文獻[7-10],過濾出特定波長的紅外光來排除大部分環境干擾。這種方法優點在于可以全天候使用,不依賴光照環境;其缺點在于需要對錐套進行一定程度的改造,加裝信標供電裝置,而且在光照強烈的情況下如何排除自然界中的紅外干擾也是一項難題。目前,針對單目以及多目系統在自主對接中的應用都有涉及,單目的如文獻[5-7],多目的如文獻[8-12]。近些年來,一些研究人員將深度學習應用于自主空中加油中,如Siyang Sun等訓練的多任務并行深度卷積神經網絡(Multitask Parallel Deep Convolutional Neural Networks,MPDCNN)可以同時完成錐套的檢測與相對位姿的解算[13]。

本文采用單目與顏色信息結合的方式,首先利用GPS/INS信息使無人機接近運動的圖標,進行粗略導航;再充分利用視覺圖標的顏色與形狀信息,通過顏色分割選取目標可能區域,在這些區域中進行快速橢圓檢測,針對橢圓檢測算法存在誤檢測及邊緣不重合的問題,提出了橢圓檢測與輪廓檢測相結合的方法;最終利用改進的正交迭代(Orthogonal Iteration,OI)算法進行相對位姿的估計,實現了近距的精確導航。

1 空中對接導航方案

1.1 對接流程

當無人機與對接圖標的距離較遠時,超出視覺識別的范圍,此時采用GPS導航,使無人機不斷接近圖標。當兩者的相對距離足夠小時,捕捉無人機前方圖標的圖像信息。根據后文的視覺算法,識別對接圖標并計算準確的相對位姿,開始精確導航并完成對接。對接流程及實驗系統組成分別如圖1和圖2所示。其中視覺檢測算法具體內容在第3節。

圖1 對接流程圖

Fig.1 Docking flow

1.2 視覺標志物

用于模擬對接的視覺圖標如圖3所示,圖標仿照真實情況中的錐套,主體是一個窄圓環,內部呈輻射條輪狀。其中,最外層圓的半徑為0.3m,內層圓半徑為0.25m,整個圖標的顏色為深藍色。

圖2 系統組成圖

Fig.2 System composition diagram

圖3 視覺對接標志

Fig.3 Visual docking icon

2 視覺圖標識別

對接圖標的識別是整個流程的基礎,本文為了提高識別的準確率,利用圖標自身的2個重要信息:顏色和形狀。對攝像機獲取的視野中圖像分別進行顏色分割與橢圓檢測,只有同時符合這2個標準的物體才會判定為對接標志。

2.1 顏色分割

彩色圖像相比于灰度圖像具有更加豐富的信息,而顏色信息相比于形狀信息更加直觀,具有很高的辨識度。本文首先將攝像頭捕捉到的圖像由RGB顏色空間轉化為HSV顏色空間,然后在HSV空間中按圖標設計的顏色進行分割以減小搜索范圍。將圖像轉化到HSV空間后,根據標志物的顏色設定H、S、V的具體范圍,最終從圖像中確定標志物的大體范圍。不同光照條件下顏色分割結果如圖4所示。

(a)光照正常

(b)光照較強

(c)光照較弱 

圖4 顏色分割結果

Fig.4 Color segmentation

感興趣區域(Region of Interest,ROI)的劃定主要依據二值圖中不同連通區域的面積與長寬比,當二值圖中白色連通區域的面積大于225像素及長寬比在1~3之間時,即可歸為感興趣區域。一般一張圖像中會存在1~5個不等的感興趣區域。

2.2 橢圓檢測

無論是本文用到的圖標還是實際應用的錐套,其外形都是圓,但由于加油機與受油機之間的相對位置,在受油機看來,大多數情況下是橢圓。本文用到一種快速橢圓檢測算法[14],流程大體如下:對圖像進行邊緣檢測,將邊緣點聚合成一段段的弧線。對這些弧線按特定的邊緣方向和凸度進行分類。根據3個判斷依據找出橢圓。圖5所示為不同角度下橢圓檢測的結果。

(a)

(b)

(c)

圖5 不同角度下橢圓檢測結果

Fig.5 Ellipse test results at different angles

3 相對位姿解算

相對位姿解算主要涉及N點透視(Perspective-N-Point,PNP)問題。它指通過世界坐標系中的N個特征點與圖像成像中的N個像素點,計算出其投影關系,從而獲得相機或物體位姿的問題。PNP問題的求解方法分為迭代算法和非迭代算法,兩者各有利弊,迭代算法勝在精度高,而非迭代算法計算量小。本文根據對接過程精度要求高的特點,選擇采用迭代算法。一些研究人員如文獻[15]采用的是非迭代算法。也有些研究人員利用特征線而不是點來進行相對位姿的解算,如文獻[16]根據固定翼飛機跑道的線特征完成姿態的解算。

3.1 輪廓提取

如圖5(a)所示,由于本文所用到的圖標主體為深藍色的圓環,導致在橢圓檢測時內外環的弧段會出現誤匹配,檢測出多個橢圓。而且,橢圓擬合為保證一定程度的容錯率,其中心位置、半長軸長度等參數存在一些誤差,即擬合后橢圓的邊緣不與實際邊緣重合。如果直接使用擬合之后的結果會對位姿解算產生很大影響。

本文在橢圓檢測的同時又對圖像進行邊緣檢測。邊緣檢測分為兩步,首先對圖像進行均值濾波,去除細微的干擾邊緣,然后進行Canny邊緣檢測。由于Canny邊緣具有良好的邊緣描述能力,可以彌補橢圓檢測的邊緣不重合問題。圖6是對圖5(a)原圖進行Canny邊緣檢測的結果。

圖6 Canny邊緣檢測結果

Fig.6 Canny edge detection results

進行邊緣檢測后還需要對邊緣圖進行輪廓提取,把邊緣圖中的點信息轉化為多條輪廓信息。最后將得到的每條輪廓與檢測到的橢圓進行對比,判斷依據主要有3點:輪廓中心與橢圓中心是否重合;輪廓面積與橢圓面積是否相近;輪廓周長是否與橢圓周長相近。滿足上述3個條件即認為該輪廓是圖標最外環的邊緣輪廓。具體流程及輪廓篩選結果分別如圖7、圖8所示。

圖7 視覺算法流程圖

Fig.7 Visual algorithm flow

(a)

(b)

圖8 兩種算法檢測結果比較圖

Fig.8 Comparison of two algorithms

圖8所示為2組對比圖,左圖為單純橢圓檢測結果圖,綠線是經橢圓檢測擬合出的結果;右圖為本文提出的橢圓檢測結合輪廓檢測算法的結果圖,紅線表示檢測結果。可以看出,如果只進行橢圓檢測,得到的擬合橢圓與實際邊緣有誤差,而經過本文提出的結合算法,邊緣描述能力得到明顯提高。

3.2 最小外接矩形

識別出視覺標志物之后還需要尋找標志的最小外接矩形,利用該矩形的4個頂點作為特征點進行后續的位姿解算。采用該方法的優點是簡單可靠,不需要識別標志上的角點等特征點,節省計算時間。最小外接矩形(Minimum Bounding Rectangle,MBR)可以分為:最小面積外接矩形(Minimum Area Bounding Rectangle,MABR)、最小周長外接矩形(Minimum Perimter Bounding Rectangle,MPBR)。通常情況,MABR與MPBR差異并不大,本文采用MABR。

圖9中,綠色實線方框為找到的對接圖標的最小外接矩形。

圖9 圖標的最小外接矩形

Fig.9 The minimum bounding rectangle of the icon

3.3 位姿解算

LU 等針對位姿估計提出了 OI 算法[17]。OI算法通過最小化目標空間共線性誤差迭代求解得到最優旋轉矩陣和平移矢量,具有迭代次數少、計算速度快、全局收斂、對初值不敏感的特點。OI算法是以目標空間最小共線性誤差作為目標函數的迭代算法。

設特征點i在圖像中的坐標為wi=[ui vi 1]T,i=1,2,3,4,記

(1)

目標空間中的線性誤差是

ei=(I-Wi)(Rpi+t)

(2)

其中,pi=(xi,yi,zi)T表示該特征點在圖標系中的坐標;R是相機坐標系與圖標坐標系的姿態旋轉矩陣;t是平移矢量。位姿解算就是求解R、t。

在OI算法中,位姿解算等價于使誤差平方和最小化的求解。誤差平方和的定義為

(3)

其中,n為特征點的個數。

算法通過不斷地進行迭代計算,估計出姿態旋轉矩陣R與平移矢量t,迭代終止時即可求得相對位姿(R,t)。

傳統的位姿估計算法在目標特征點共面的情況下往往存在位姿模糊問題,這會導致位姿估計結果出現較大偏差,降低視覺導航系統的準確性。針對這個問題,Schweighofer 等提出的魯棒共面目標位姿估計(SP)算法[18]。該算法大致流程如下:

1) 將由OI算法解算出的(R,t)用作SP算法的初始值;

2) 把(R,t)代入式(3),經過推導,把E(R,t)化為僅與繞俯仰軸所成角度的單變量函數形式,再求解E(R,t)的極值,解得2個局部殘差極小值;

3) 將這2個極小值解作為正交迭代的初始值,經過不斷迭代,獲得2組相對位姿的解,從中選取E(R,t)較小的1組解,此解即為準確的相對位姿。

4 實驗結果與分析

對提出的空中自主加油中的視覺導航算法進行了實驗驗證。飛行平臺為大疆M100四旋翼無人機,具有良好的飛行性能,能夠有效驗證算法的準確性及穩定性。

4.1 視覺識別準確率分析

本文的視覺導航方法主要在于結合圖標的顏色與形狀信息,從而提高空中對接過程中目標識別的準確率。表1所示為在運動情況下,結合顏色與形狀信息識別的準確率與只進行形狀識別的準確率的對比。

表1 識別準確率對比

Tab.1 Identification accuracy comparison

從表1中可以看出,結合顏色與形狀可以有效提升識別的準確率,尤其是在光照條件過亮與過暗的情況下。主要原因是在HSV顏色空間中,亮度對顏色分割的影響不是很大。

4.2 靜態誤差分析

靜態誤差是在保持對接標志物靜止不動的情況下,無人機的對接精度偏差。表2所示為分別在15m、10m、5m、3m這4個實際距離中,由視覺解算的相對距離與實際距離之間的偏差。在實際的自動空中加油過程中,要求插頭和對接錐套之間的相對位置精度達到10cm級別,本文的視覺導航能夠滿足實際的精度要求。靜態對接場景如圖10所示。

表2 靜態誤差分析

Tab.2 Static error analysis

圖10 靜態對接場景

Fig.10 Static docking scenes

4.3 動態誤差分析

動態誤差是指對接標志物在勻速直線運動情況下,無人機的對接精度偏差。圖11所示為對接圖標以7m/s的速度勻速直線運動時,無人機與圖標在3個方向上的相對距離。其中,x表示在豎直方向上的相對距離,y表示在左右方向上的相對距離,z表示在前后方向上的相對距離。

圖11 對接過程相對距離曲線

Fig.11 Relative distance curve in docking process

圖12所示為圖11中28s之后的詳細曲線。y方向由于無人機氣壓計受微風影響會出現小幅抖動,而z方向則由于實際場景中小車速度并非嚴格勻速,且PID控制器存在一定的超調而出現較強程度抖動,但在實際加油過程中主要關注x、y這2個方向精度,z方向要求并沒有那么嚴格。z方向距離會出現正值是為了保證安全,將對接目標設在距圖標中心2m處,而不是圖標表面。動態對接場景如圖13所示。

圖12 對接末段曲線

Fig.12 Terminal docking curve

圖13 動態對接場景

Fig.13 Dynamic docking scenes

5 結論

本文根據實際中對接錐套的特點,使用了一種兼顧顏色與形狀的錐套圖標識別算法。本文的主要創新點在于為解決橢圓檢測算法存在邊緣描述誤差太大的問題,提出了一種結合橢圓檢測與邊緣檢測的算法,從對比圖中可以看出,這種結合方法相比于單純的橢圓檢測能夠更好地描述圓形標志的邊緣。針對整個識別算法,在真實環境中進行地面模擬測試,結果表明在較高運動速度下,本文的視覺導航算法能夠很好地完成對接任務。

作者簡介:劉愛超(1994-),男,碩士研究生,主要從事無人機視覺導航方面的研究。

E-mail:[email protected]

通信作者:佘浩平(1978-),男,博士,副教授,主要從事無人機自主控制、飛行器制導與控制方面的研究。

E-mail:[email protected]

收稿日期:2018-07-31;

修訂日期:2018-10-20.

基金項目:裝備預研教育部聯合基金(6141A02022340)

中圖分類號:V249.3

文獻標志碼:A

文章編號:2095-8110(2019)01-0028-07

本文引用格式:劉愛超,佘浩平,楊欽寧,等.無人機空中對接中的視覺導航方法[J].導航定位與授時,2019, 6(1):28-34.

網友評論
文明上網,理性發言,拒絕廣告

相關資訊

  • 重慶航拍無人機飛行解析
    無人機的飛行感知技術主要用作兩個用途,其一是提供給飛行控制系統,由于飛行控制系統的主要功能是控制飛機達到期望姿態和空間位置,所以這部分的感知技術主要測...

    2019-11-14 07:18

  • 無人機變電站巡檢中的RTK技術
    在“爬電桿”時代,巡檢人員每天只能完成3~5基桿塔任務,整個線路巡視可能需要1個月。而運用5G技術的“無人機”時代,巡檢一條60公里的線路只需3小時,不僅能夠...

    2019-11-11 10:40

  • 淺談無人機上的常見接口
    無人機上各種設備層出不窮,接口種類越來越多,比較主要的有:PWM、PPM、SBUS、串口(包括TTL,232,422,485幾種)、SPI、I2C、CAN、USB、Relay(GPIO)、AD、S...

    2019-11-11 10:33

  • 碳纖維復合材料給無人機帶來無限可能
    在瀏覽世界各國的無人機設計時發現,無論是何種外觀、何種應用,唯一不變的就是都有著更輕更強的追求,只有如此,無人機才能勝任更多任務。在此背景下,碳纖維復...

    2019-11-11 10:31

  • 多旋翼無人機的控制分配
    引 言本文內容主要闡述控制分配在多旋翼無人機上的使用方法,想要更多了解“控制分配”的朋友可以在無人機系統技術公眾號內回復“控制分配”獲取兩篇經典參考文...

    2019-11-11 10:30

  • 科普專題-無人機飛控姿態調參方法
    前 言無人機的調試工作很大一部分是對飛行控制參數的調試,廣義的飛控參數包含了制導、導航、控制律以及各種控制策略中的可調參數。一般的飛控都有上百項需要人...

    2019-11-10 12:10

  • 測繪無人機的精度到底有多高?
    導 讀據統計,目前國內測繪無人機市場容量已達2000+ 架,市場起量是否意味著產品方案已經成熟?測繪無人機的精度到底有多高?無人機作業效率又有什么優勢?這...

    2019-11-08 16:50

  • 無人機技術的7大關鍵點
    無人機是一款利用無線電遙控設備和自備的程序控制裝置操縱的不載人飛行器,也稱之為無人駕駛飛機,英文縮寫為“UAV”。在無人機市場規模正在以一種不可思議的速...

    2019-11-06 17:33

  • 無人機航測傾斜實景三維建模進行土方計算(基于Smart3D全面講解)
    土石方工程量的核算往往是工程預算與結算中的爭議與焦點,然而運用天星系列多鏡頭傾斜攝影測量系統的實景3D建模方法模擬土方石的開挖與回填,可以讓施工方直觀有...

    2019-11-06 17:11

  • 【知識科普】看靈動鷹系列無人機如何在測繪行業綻放光彩!
    傳統測繪中,測繪人員需要冒酷暑、斗嚴寒,扛著各種儀器翻山越嶺,風餐露宿更是家常便飯。那么問題就來了:你們聽過測繪嗎? 聽過無人機測繪嗎?而你們又可曾知道...

    2019-11-05 17:04

關注官方微信

手機掃碼看新聞

福彩35选7开奖结果