【自有技術大講堂】雙目立體視覺技術介紹

工業視覺檢測中，2D視覺檢測是最常用的一種方式。2D視覺檢測雖然技術成熟，但隨著實際檢測需求越來越高，檢測環境越來越苛刻，2D視覺的不足越發體現。2D視覺難以獲取被測物的深度信息，就沒有辦法實現如物體的平整度檢測、相對高度檢測及一些只能通過深度區分的缺陷檢測。而為對應此類檢測需求，需要用到3D視覺檢測。

 

近年來，3D視覺檢測技術在取得不斷的突破，在精度、實用性方面相較于2D視覺有無法比擬的優勢。其中雙目立體視覺（Binocular Stereo Vision）是3D機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。

 

雙目立體視覺技術仿生自人類或靈長類動物的雙眼。人的雙眼位于頭部前方，左眼和右眼視野存在重疊區，也就是共視區。在共視區視野內的物像都存在相對視差。雙眼圖像經大腦高級中樞處理后，物像的視差信息可轉化為深度信息，讓人類可以感覺到空間中物體的距離，看到三維立體的視覺效果。

 

雙目視覺技術發展數十載，已深入工業視覺檢測、自動駕駛、機器人導航、人臉識別、虛擬現實、地理勘測等領域。本文將介紹雙目立體視覺的基本原理，與其應用于工業視覺檢測的案例。

 

一、雙目視覺系統

 

1、理想雙目視覺系統

理想的雙目模型是以一個攝像機為基準，沿x軸方向順延一段距離后能與另一個攝像機完美重合。兩個攝像機的焦距、參數基本相同，主光軸、Y軸平行且X軸重合。模型示意圖如下所示：

 

圖1、雙目視覺系統

 

對于空間內一點P，如果只用攝像機C1觀察，則像點坐落于左像平面的p1位置。無法只由p1一點的信息獲取空間P點深度坐標，實際情況下P點可能存在于O1p1的延長線上任意位置。此時，若用C1與C2攝像機同時觀察P點，左右像平面的對應點分別為p1、p2，那么空間點P將可以被確定于O1p1與O2p2延長線的交點，并且其三維信息將是唯一確定的。

 

2、視差

雙目視差是一種深度線索，在觀察立體視標時，因視角不同導致圖像位置不同，從而產生微小的水平像位差成為雙目視差。通過匹配找到圖像對應的同名點，則同名點間橫坐標像素差成為此點的視差。

 

比如下圖是雙目相機拍攝到的一組雙目圖像。在兩幅圖像中，我們關注到摩托車的后視鏡上。左視圖中，該像素點的坐標是（80,150），右視圖中的坐標是（35,150）。那么摩托車后視鏡在兩幅圖像中的視差就是80-35=45個像素。

 

圖2、雙目圖像

 

3、雙目系統測距基本原理

 

圖3、雙目測距原理示意圖

雙目系統測距原理可簡化如上圖所示。

 

物體P點的在雙目圖像中的視差可表示為d = x1 – x2 ；

 

根據上圖中相似三角形的幾何關系，可推導出P點的深度Z = bf/d 。

 

當點 P 在三維空間上移動時，點 P 在左右相機上的成像位置也會改變，從而視差也會發生相應變化。由上式可知P點深度與其視差為一一對應的關系，已知P點視差和相機的參數即可計算出P點的深度 。

 

4、雙目系統的運作流程

 

圖4、雙目系統的運作流程

 

一套雙目視覺系統硬件搭建完畢后，其與理想雙目模型存在一定差距，需經過以下流程才可準確輸出深度圖像：

 

1、標定（calibration）：通過對標定板成像，獲取相機內部及外部關鍵參數。如兩個相機的焦距f、主點位置O、成像畸變以及兩個相機拍攝圖像的相對差距數據 （旋轉、平移）、成像亮度差距等。

 

2、圖像矯正（Rectification）：根據標定數據，進行相應的矯正。如亮度矯正、噪聲矯正以及圖像幾何關系的矯正。

 

3、立體匹配（stereo correspondence）：雙目圖像進行像點匹配，獲取視差信息，根據視差信息生成視差圖像。

 

4、三角定位（Triangulation）：由于像點視差與像點深度為一一對應關系，根據視差信息生成深度點云圖像。

 

二、應用案例分享- IC焊線檢測

 

1、檢測需求

雙目視覺相機可應用于工業產品缺陷的高精度檢測，比如IC焊線檢測，雙目相機可對這些細微焊線進行精確的三維重建，檢測焊線高度、斷裂、彎曲、翹起等2D成像無法檢測的部分缺陷檢測。

 

圖5、IC焊線產品

 

2、IC焊線檢測方案介紹：

本方案由雙目相機、線掃式光源組成，采取線掃描運動成像方案。如下圖所示：

 

圖6、IC焊線-雙目視覺檢測系統

 

相機方面，本方案采取線掃描式雙目3D相機，該相機光學分辨率為5μm，高度方向分辨率到達0.5μm，高度方向量程（景深）為0.5mm。參數方面符合該類IC焊線缺陷樣品檢測需求；光源采用扁平式穹頂高亮定制光源。由于空間受限，常規穹頂光源/隧道光源由于體積過大的原因無法適用本方案。由此而設計扁平式穹頂線掃光源，該光源可以滿足安裝空間需求的同時，提供多角度高均勻性高亮度的照明。

 

3、方案檢測效果

下圖是對雙目圖像進行三維重建后的IC焊線的點云圖像。如圖所示，焊線3d結構可被高精度地被還原出來，由此結合3d點云算法，判斷焊線點云彎曲度、連續性、高度差進而判斷焊線是否存在形變、斷裂、翹起、脫焊等缺陷。

 

圖7、焊線三維重建點云圖

 

三、結語

 

雙目立體視覺是一種重要的三維視覺方法，其以2D圖像為基礎從兩個視點觀察同一物象獲取視差信息，最終構建物體的三維立體圖像，實現非接觸式檢測。整體系統具有效率高、成本低、結構簡單的特點，且可實現微米級超高精度視覺缺陷檢測，適用于晶圓外觀缺陷檢測、IC焊線缺陷檢測等精度需求高的場景。

 

參考文獻：王笛.基于雙目立體匹配的三維視覺方法研究[D]. 西安理工大學, 2021