本發(fā)明涉及移動(dòng)機(jī)械臂焊接，特別是一種大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤系統(tǒng)及方法。

背景技術(shù)：

1、隨著現(xiàn)代工業(yè)規(guī)模逐漸擴(kuò)大，對(duì)艦船艙體、航天航空設(shè)備、橋梁建筑、球罐(儲(chǔ)罐)等大型復(fù)雜構(gòu)件的焊接需求日益增多，且這類(lèi)大型構(gòu)件的焊接工作往往需要在施工現(xiàn)場(chǎng)進(jìn)行。

2、傳統(tǒng)的焊接機(jī)械臂，其基座被固定安裝在特定位置上，臂展空間有限、靈活性不足，只適用于批量化生產(chǎn)的流水線工作場(chǎng)景；移動(dòng)焊接小車(chē)則需要在人工預(yù)先鋪設(shè)好的軌道或者龍門(mén)架上移動(dòng)，其移動(dòng)方向和移動(dòng)距離均受到制約，難以實(shí)現(xiàn)在不同空間位置對(duì)各種復(fù)雜形式的焊縫進(jìn)行焊接作業(yè)，且部署費(fèi)用昂貴。而由移動(dòng)底盤(pán)和多自由度機(jī)械臂組合而成的移動(dòng)焊接機(jī)械臂，結(jié)合了兩者的優(yōu)點(diǎn)，能夠根據(jù)不同的焊接場(chǎng)景進(jìn)行自主移動(dòng)、變換作業(yè)位置，焊接運(yùn)動(dòng)中焊槍姿態(tài)調(diào)整靈活，非常適用于大型復(fù)雜構(gòu)件的焊接作業(yè)。因此，利用移動(dòng)焊接機(jī)械臂實(shí)現(xiàn)智能化、自動(dòng)化焊接已經(jīng)成為焊接領(lǐng)域的研究熱點(diǎn)和發(fā)展趨勢(shì)。

3、現(xiàn)在技術(shù)存在的問(wèn)題及缺陷為：大型復(fù)雜構(gòu)件的曲率不規(guī)則變化、焊縫長(zhǎng)度長(zhǎng)且焊接姿態(tài)多變，移動(dòng)底盤(pán)定位精度不足，在移動(dòng)過(guò)程中不可避免存在抖動(dòng)、打滑等情況，嚴(yán)重影響了移動(dòng)焊接機(jī)械臂的焊縫提取與跟蹤精度。專(zhuān)利cn108941848a公開(kāi)了一種平面自主移動(dòng)焊接機(jī)器人焊縫初始檢測(cè)定位系統(tǒng)，使用單目視覺(jué)傳感器采集焊縫圖像，實(shí)現(xiàn)對(duì)帶有不規(guī)則流水孔的船艙底部格子型構(gòu)件直角焊縫的焊接作業(yè)；專(zhuān)利cn119589235a公開(kāi)了一種永磁吸附式自動(dòng)越障爬壁焊接機(jī)器人，通過(guò)調(diào)節(jié)移動(dòng)小車(chē)與十字滑塊機(jī)構(gòu)協(xié)調(diào)運(yùn)動(dòng)實(shí)現(xiàn)焊縫跟蹤，僅適用于高空直線焊接，且無(wú)法實(shí)現(xiàn)焊接過(guò)程中焊槍姿態(tài)自主調(diào)整；專(zhuān)利cn114769962a公開(kāi)了一種基于視覺(jué)傳感的移動(dòng)焊接機(jī)器人的焊縫識(shí)別跟蹤系統(tǒng)，使用攝像機(jī)拍攝多幀焊縫光學(xué)圖像，基于圖像處理算法拼接形成焊縫數(shù)字圖像數(shù)據(jù)，提取目標(biāo)軌跡點(diǎn)獲得焊縫軌跡數(shù)據(jù)，對(duì)環(huán)境光敏感、焊縫提取精度有限；專(zhuān)利cn116423114a公開(kāi)了一種移動(dòng)焊接機(jī)器人車(chē)臂協(xié)同跟蹤方法，通過(guò)航速航向-底盤(pán)坐標(biāo)系模型和車(chē)體運(yùn)動(dòng)狀態(tài)估計(jì)模型構(gòu)建航速角速度-tcp位移模型，部署移動(dòng)焊接操作臂協(xié)調(diào)控制架構(gòu)，但忽略車(chē)體在轉(zhuǎn)向過(guò)程中會(huì)產(chǎn)生滑移的情況，缺乏對(duì)實(shí)際場(chǎng)景約束的考量。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤系統(tǒng)及方法，該系統(tǒng)使用三自由度移動(dòng)底盤(pán)和六自由度機(jī)械臂組合成移動(dòng)機(jī)械臂，擴(kuò)大焊接范圍；通過(guò)雙目結(jié)構(gòu)光相機(jī)采集焊件點(diǎn)云數(shù)據(jù)，圖像精度高且受環(huán)境光干擾弱；采用移動(dòng)機(jī)械臂多站位分段式焊縫跟蹤策略，避免焊縫跟蹤過(guò)程因移動(dòng)底盤(pán)打滑、抖動(dòng)等因素導(dǎo)致的跟蹤精度不高的問(wèn)題。適用于多類(lèi)型未知大尺度對(duì)接焊件，解決了大尺度空間焊縫連續(xù)跟蹤的技術(shù)難題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤系統(tǒng)，包括移動(dòng)機(jī)械臂、視覺(jué)傳感器、焊槍、計(jì)算機(jī)以及大尺度待跟蹤焊件；所述移動(dòng)機(jī)械臂包括三自由度移動(dòng)底盤(pán)和六自由度機(jī)械臂；所述視覺(jué)傳感器為雙目結(jié)構(gòu)光相機(jī)；所述視覺(jué)傳感器和焊槍安裝于所述六自由度機(jī)械臂末端；所述視覺(jué)傳感器在不同視角拍攝大尺度待跟蹤焊件的表面生成至少三幀3d點(diǎn)云數(shù)據(jù)，并將點(diǎn)云數(shù)據(jù)傳輸給計(jì)算機(jī)；所述計(jì)算機(jī)通過(guò)算法配準(zhǔn)和拼接所述點(diǎn)云數(shù)據(jù)，識(shí)別并提取3d點(diǎn)云中的焊縫特征點(diǎn)，獲得所述焊縫特征點(diǎn)的空間軌跡，依據(jù)所述空間軌跡分別規(guī)劃所述六自由度機(jī)械臂的末端移動(dòng)軌跡與三自由度移動(dòng)底盤(pán)的移動(dòng)路徑，并轉(zhuǎn)換為運(yùn)動(dòng)指令；所述計(jì)算機(jī)將所述運(yùn)動(dòng)指令發(fā)送給所述移動(dòng)機(jī)械臂，所述六自由度機(jī)械臂帶動(dòng)焊槍先沿所述末端移動(dòng)軌跡完成對(duì)所述焊縫特征點(diǎn)的空間軌跡的精確跟蹤，所述三自由度移動(dòng)底盤(pán)再沿所述移動(dòng)路徑跟蹤移動(dòng)，通過(guò)所述六自由度機(jī)械臂和三自由度移動(dòng)底盤(pán)的交替軌跡跟蹤，實(shí)現(xiàn)大尺度空間焊縫的移動(dòng)跟蹤。

3、在一較佳的實(shí)施例中，所述大尺度待跟蹤焊件為帶有對(duì)稱(chēng)v型、x型、u型坡口的平面焊件或不規(guī)則曲面焊件，焊縫為空間直線、斜線或不規(guī)則曲線。

4、本發(fā)明還提供了一種大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤方法，所述方法采用多站位分段式焊縫跟蹤策略，基于權(quán)利要求1或2所述的大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤系統(tǒng)實(shí)現(xiàn)，包括如下步驟：

5、步驟s1、控制移動(dòng)機(jī)械臂運(yùn)動(dòng)至初始站位；

6、步驟s2、保持三自由度移動(dòng)底盤(pán)靜止，控制六自由度機(jī)械臂搭載視覺(jué)傳感器在預(yù)設(shè)的多個(gè)位姿拍攝大尺度待跟蹤焊件，生成至少三幀原始點(diǎn)云圖像；

7、步驟s3、對(duì)每幀原始點(diǎn)云圖像進(jìn)行點(diǎn)云預(yù)處理；

8、步驟s4、對(duì)預(yù)處理過(guò)后的至少三幀點(diǎn)云圖像采用點(diǎn)云配準(zhǔn)與拼接技術(shù)進(jìn)行融合，獲取當(dāng)前站位下對(duì)應(yīng)的焊件局部三維點(diǎn)云模型；

9、步驟s5、在焊件局部三維點(diǎn)云模型中，分割出坡口區(qū)域點(diǎn)云集；

10、步驟s6、提取坡口區(qū)域點(diǎn)云集的邊緣點(diǎn)，并基于此獲得焊縫特征點(diǎn)集；

11、步驟s7、擬合焊縫特征點(diǎn)集生成連續(xù)焊縫軌跡，對(duì)連續(xù)焊縫軌跡插值取點(diǎn)生成焊接路徑點(diǎn)序列，規(guī)劃焊槍在各焊接路徑點(diǎn)的位姿矩陣，將位姿矩陣序列轉(zhuǎn)換為運(yùn)動(dòng)指令并驅(qū)動(dòng)六自由度機(jī)械臂帶動(dòng)焊槍完成對(duì)連續(xù)焊縫軌跡的精確跟蹤；

12、步驟s8、基于所述連續(xù)焊縫軌跡，結(jié)合六自由度機(jī)械臂可操作度約束，規(guī)劃三自由度移動(dòng)底盤(pán)的移動(dòng)路徑，驅(qū)動(dòng)移動(dòng)機(jī)械臂大致沿移動(dòng)路徑從該站位移動(dòng)到下一站位；

13、步驟s9、重復(fù)執(zhí)行上述步驟s2-s8，通過(guò)多站位切換作業(yè)實(shí)現(xiàn)對(duì)大尺度空間焊縫的連續(xù)跟蹤，當(dāng)檢測(cè)到焊縫終點(diǎn)即焊縫特征點(diǎn)集為空時(shí)終止控制流程。

14、在一較佳的實(shí)施例中，所述步驟s3包括：對(duì)獲取的單幀原始點(diǎn)云圖像進(jìn)行處理，通過(guò)kd-tree空間索引結(jié)構(gòu)建立離散點(diǎn)云數(shù)據(jù)間的拓?fù)潢P(guān)系；使用改進(jìn)體素濾波方法降低點(diǎn)云密度，計(jì)算每個(gè)體素柵格內(nèi)與重心點(diǎn)歐式距離最近的點(diǎn)替代重心點(diǎn)；然后采用統(tǒng)計(jì)濾波算法剔除點(diǎn)云離群噪聲點(diǎn)。

15、在一較佳的實(shí)施例中，所述步驟s4中，對(duì)至少三幀點(diǎn)云圖像配準(zhǔn)、拼接的具體實(shí)現(xiàn)過(guò)程為：

16、重復(fù)執(zhí)行預(yù)設(shè)的點(diǎn)云圖像配準(zhǔn)、拼接步驟，直至完成所有幀點(diǎn)云圖像的拼接，獲得當(dāng)前站位下對(duì)應(yīng)的焊件局部三維點(diǎn)云模型；

17、所述預(yù)設(shè)的點(diǎn)云圖像配準(zhǔn)、拼接步驟包括：

18、步驟s4-1、將六自由度機(jī)械臂搭載視覺(jué)傳感器在相鄰兩個(gè)位姿拍攝大尺度待跟蹤焊件生成的兩幀點(diǎn)云圖像，通過(guò)手眼標(biāo)定矩陣etc和單幀點(diǎn)云圖像采集時(shí)對(duì)應(yīng)的六自由度機(jī)械臂末端位姿矩陣bte，將點(diǎn)云坐標(biāo)統(tǒng)一至六自由度機(jī)械臂基坐標(biāo)系下，分別表示為第一幀點(diǎn)云pi集和第二幀點(diǎn)云集pj，實(shí)現(xiàn)點(diǎn)云的粗拼接，實(shí)現(xiàn)公式為：bp＝bteetccp，式中，bp表示六自由度機(jī)械臂基坐標(biāo)系下的點(diǎn)云數(shù)據(jù)，cp表示視覺(jué)傳感器坐標(biāo)系下的預(yù)處理過(guò)的點(diǎn)云數(shù)據(jù)；其中，第一幀點(diǎn)云集pi和第二幀點(diǎn)云集pj存在部分重疊區(qū)域；

19、步驟s4-2、選擇點(diǎn)云數(shù)量最多的第一幀點(diǎn)云集pi作為目標(biāo)點(diǎn)云，第二幀點(diǎn)云集pj作為源點(diǎn)云，基于八叉樹(shù)空間索引結(jié)構(gòu)，利用歐式距離約束提取出第一幀點(diǎn)云集pi和第二幀點(diǎn)云集pj的第一重疊區(qū)域點(diǎn)云集qi和第二重疊區(qū)域點(diǎn)云集qj；

20、步驟s4-3、對(duì)第一重疊區(qū)域點(diǎn)云集qi中的每個(gè)點(diǎn)pi進(jìn)行半徑搜索獲取其鄰域點(diǎn)集，求解點(diǎn)pi與其鄰域點(diǎn)集構(gòu)成的加權(quán)協(xié)方差矩陣的特征值其中加權(quán)協(xié)方差矩陣為：式中，t表示對(duì)矩陣進(jìn)行轉(zhuǎn)置，k表示鄰域點(diǎn)數(shù)量，distij代表點(diǎn)pi與其第j個(gè)鄰域點(diǎn)pij之間的歐式距離，若特征值滿(mǎn)足條件：則點(diǎn)pi定義為iss特征點(diǎn)，將點(diǎn)pi放入第一iss特征點(diǎn)集si中；以同樣的方法篩選出第二重疊區(qū)域點(diǎn)云集qj中的iss特征點(diǎn)，并放入第二iss特征點(diǎn)集sj中；

21、步驟s4-4、對(duì)第一iss特征點(diǎn)集si和第二iss特征點(diǎn)集sj，使用點(diǎn)對(duì)面的最近點(diǎn)迭代算法icp進(jìn)行配準(zhǔn)，獲取兩片點(diǎn)云的剛體轉(zhuǎn)換矩陣；

22、步驟s4-5、將所述剛體變換矩陣作用于第二幀點(diǎn)云集pj進(jìn)行線性變換，得到在第一幀點(diǎn)云集pi坐標(biāo)系下的點(diǎn)云，將兩片點(diǎn)云合并為oi，實(shí)現(xiàn)點(diǎn)云精拼接；

23、在完成所有幀點(diǎn)云圖像的拼接，獲得當(dāng)前站位下對(duì)應(yīng)的焊件局部三維點(diǎn)云模型后，使用所述改進(jìn)體素濾波方法，降低重疊區(qū)域冗余點(diǎn)云密度。

24、在一較佳的實(shí)施例中，所述步驟s5的具體實(shí)現(xiàn)步驟為：

25、步驟s5-1、針對(duì)焊件局部三維點(diǎn)云模型，采用基于歐式距離的加權(quán)主成分分析法計(jì)算焊件點(diǎn)云法向量，基于kd-tree對(duì)每個(gè)點(diǎn)pm進(jìn)行k近鄰搜索獲取其鄰域點(diǎn)集，求解點(diǎn)pm的k鄰域點(diǎn)集構(gòu)成的協(xié)方差矩陣的最小特征值對(duì)應(yīng)的特征向量，此特征向量即為點(diǎn)pm的單位法向量協(xié)方差矩陣公式為：式中，k表示鄰域點(diǎn)數(shù)量，distmn代表點(diǎn)pm與其第n個(gè)鄰域點(diǎn)pmn之間的歐式距離，ε表示一個(gè)趨近于0的數(shù)，p表示點(diǎn)pm與其鄰域點(diǎn)集的幾何質(zhì)心；以視覺(jué)傳感器在六自由度機(jī)械臂基坐標(biāo)系下的空間位置pview作為基準(zhǔn)視點(diǎn)，對(duì)點(diǎn)云法向量進(jìn)行重定向，保證點(diǎn)云法向量統(tǒng)一指向相機(jī)方向，方法為：

26、步驟s5-2、基于點(diǎn)云法向量信息構(gòu)造表面變化特征描述子svfd，基于kd-tree對(duì)每個(gè)點(diǎn)pm進(jìn)行半徑搜索獲得其鄰域點(diǎn)集，遍歷pm的鄰域點(diǎn)集，計(jì)算點(diǎn)pm與每個(gè)鄰域點(diǎn)pmn的法向量夾角值θmn及其算術(shù)平均值計(jì)算公式為：使用方差表征點(diǎn)pm的局部svfd，計(jì)算公式為：依據(jù)點(diǎn)pm與其所有鄰域點(diǎn)pmn的局部svfd，構(gòu)建起點(diǎn)pm的全局svfd即表面變化特征描述子svfd，計(jì)算公式為：其中，σmn表示鄰域點(diǎn)pmn的局部svfd，表示點(diǎn)pm所有鄰域點(diǎn)局部svfd的算術(shù)平均值。

27、步驟s5-3、設(shè)置合適的篩選閾值，將表面變化特征描述子svfd大于篩選閾值的點(diǎn)篩選出來(lái)構(gòu)建成新的點(diǎn)云集合，使用歐式聚類(lèi)算法對(duì)該點(diǎn)云集合進(jìn)行聚類(lèi)分割，并對(duì)聚類(lèi)結(jié)果進(jìn)行排序，選擇點(diǎn)云數(shù)量最多的類(lèi)別作為坡口區(qū)域點(diǎn)云集合。

28、在一較佳的實(shí)施例中，所述步驟s6的具體實(shí)現(xiàn)步驟為：

29、步驟s6-1、遍歷坡口區(qū)域點(diǎn)云集合，基于kd-tree對(duì)每個(gè)點(diǎn)pu進(jìn)行半徑搜索獲得其鄰域點(diǎn)集，計(jì)算點(diǎn)pu與其所有鄰域點(diǎn)在擬合切平面上投影構(gòu)成的向量夾角的大小獲得點(diǎn)pu的夾角集合，取夾角集合中的最大值αmax，若αmax大于設(shè)定的角度閾值β，則判定點(diǎn)pu為邊緣點(diǎn)，放入坡口區(qū)域邊緣點(diǎn)集合中；

30、步驟s6-2、遍歷坡口區(qū)域邊緣點(diǎn)集合，使用主成分分析法計(jì)算每個(gè)點(diǎn)pu的局部切向量對(duì)于點(diǎn)pu，在坡口區(qū)域邊緣點(diǎn)集合中尋找滿(mǎn)足條件的點(diǎn)pv，并將其放入對(duì)應(yīng)點(diǎn)候選點(diǎn)集中，再?gòu)暮蜻x點(diǎn)集中，選擇與點(diǎn)pu歐式距離最近的點(diǎn)作為兩側(cè)邊緣對(duì)應(yīng)點(diǎn)pu′，篩選條件為：式中，w為坡口寬度值，δθ為角度閾值；

31、步驟s6-3、計(jì)算點(diǎn)pu與其對(duì)應(yīng)點(diǎn)pu′的幾何中心wu′與法向量均值計(jì)算公式為：式中為點(diǎn)pu的法向量，為對(duì)應(yīng)點(diǎn)pu′的法向量，根據(jù)已知的坡口深度d，按照計(jì)算出坡底特征點(diǎn)即焊縫特征點(diǎn)，放入焊縫特征點(diǎn)集合中。

32、在一較佳的實(shí)施例中，所述步驟s7中，使用非均勻有理b樣條算法nurbs擬合焊縫特征點(diǎn)獲取連續(xù)焊縫軌跡，基于等弧長(zhǎng)原則對(duì)連續(xù)焊縫軌跡進(jìn)行插補(bǔ)獲取焊接路徑點(diǎn)序列。

33、在一較佳的實(shí)施例中，所述步驟s8中，分析六自由度機(jī)械臂的可操作度，并基于蒙特卡洛法繪制tcp可操作度分布空間，在可操作度分布空間內(nèi)設(shè)置靈巧工作半徑，作為所述三自由度移動(dòng)底盤(pán)與大尺度待跟蹤焊件的跟蹤半徑，基于所述跟蹤半徑對(duì)所述焊縫軌跡作等距偏置，獲取三自由度移動(dòng)底盤(pán)移動(dòng)路徑。

34、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

35、1、本發(fā)明提出一種大尺度空間焊縫移動(dòng)機(jī)械臂自動(dòng)跟蹤系統(tǒng)，具備一定的通用性，適用于多類(lèi)型未知大尺度對(duì)接焊件，包括但不限于帶有對(duì)稱(chēng)v型、x型、u型坡口的平面焊件或不規(guī)則曲面焊件，焊縫為空間直線、斜線或不規(guī)則曲線，拓展了移動(dòng)焊接機(jī)械臂的應(yīng)用場(chǎng)景，提高大型復(fù)雜構(gòu)件的焊接智能化、精細(xì)化水平。

36、2、本發(fā)明提供的移動(dòng)機(jī)械臂多站位分段式焊縫跟蹤策略，在六自由度機(jī)械臂執(zhí)行焊縫軌跡跟蹤任務(wù)時(shí)，三自由度移動(dòng)底盤(pán)保持靜止不動(dòng)，能夠有效避免焊縫跟蹤過(guò)程因移動(dòng)底盤(pán)打滑、抖動(dòng)等因素導(dǎo)致的跟蹤精度不高的問(wèn)題。

37、3、本發(fā)明提供的點(diǎn)云圖像配準(zhǔn)、拼接技術(shù)，通過(guò)提取兩幀點(diǎn)云圖像重疊區(qū)域點(diǎn)云的iss特征點(diǎn)集，基于iss特征點(diǎn)集使用最近點(diǎn)迭代(icp)配準(zhǔn)算法，能夠有效提高高密度點(diǎn)云集配準(zhǔn)的效率與準(zhǔn)確性；移動(dòng)機(jī)械臂在單個(gè)站位內(nèi)通過(guò)位姿變換獲取至少三幀圖像，得到大視場(chǎng)的焊件三維成像，有效解決了雙目結(jié)構(gòu)光相機(jī)在面對(duì)大尺度焊件點(diǎn)云采集時(shí)視場(chǎng)范圍有限的問(wèn)題，提高焊縫跟蹤效率。

38、4、本發(fā)明提供的焊縫特征點(diǎn)識(shí)別、提取方法，通過(guò)表面變化特征描述子svfd與歐式聚類(lèi)算法分割焊件坡口區(qū)域點(diǎn)云集，基于投影向量夾角判定的方法提取坡口點(diǎn)云邊緣點(diǎn)，再基于兩側(cè)邊緣對(duì)應(yīng)點(diǎn)位置與其法向量信息獲取焊縫特征點(diǎn)，能極大程度提高對(duì)接焊件的焊縫特征點(diǎn)提取精度與效率。